2020/06/22 2020/06/22

深層学習はシステム1からシステム2へ

アクセス: 2670

コメント: 0

日本ディープラーニング協会（以下JDLA）の年頭所感[1]の中で、東京大学の松尾 豊教授は、次のように述べています。 
 
<blockquote>
今後、ディープラーニングの技術はさらに進んでいきます。ロボットや機械への応用、そして言語の処理のブレークスルーへと進んでいくはずです。昨年末、NeurIPS 2019でBengio氏が行った講演は、システム1のディープラーニングからシステム2のディープラーニングへという内容で、今後の技術の広がりが感じられる非常に挑戦的なものでした。
</blockquote>

ここで言うシステム2のディープラーニングとは何でしょうか？ 本記事では、システム2の最前線について探ってゆきます。

<h1>NeurIPS 2019招待講演</h1>

Conference and Workshop on Neural Information Processing Systems（略称：NeurIPS、旧称：NIPS）は、毎年12月に開催される機械学習・計算神経科学のカンファレンスです。NeurIPSは、もともと生物学的および人工的なニューラルネットワークを研究する研究者のための補完的でオープンな学際的な会議として設計されました。2019年にはカナダのバンクーバーで開催され、招待講演としてYoshua Bengio氏が講演しました。

図１　Yoshua Bengio招待講演

<img height="516" src="/p/3edu8hma7xwbd3achb3t-da5e8e52.jpg" style="width:920px;height:516px;" width="920" alt="3edu8hma7xwbd3achb3t-da5e8e52.jpg" /> 
　Yoshua Bengio氏は、モントリオール大学コンピュータサイエンス・オペレーションズリサーチ学科の教授であり、モントリオール学習アルゴリズム研究所（MILA）の科学ディレクターを務めています。同氏は、Yann LeCun氏、Geoffrey Hinton氏と並んでディープラーニングのゴッドファーザー（Godfathers of Deep Learning）と呼ばれています。この３名は、ディープニューラルネットワークにおける功績で2018年の「チューリング賞(ACM A.M. Turing Award)」を授与されています。JDLA E資格でおなじみの、「ディープラーニング」の共著者でもあります。 
図２　Yoshua Bengio | From System 1 Deep Learning to System 2 Deep Learning | NeurIPS 2019 <a href="https://www.youtube.com/watch?v=FtUbMG3rlFs">https://www.youtube.com/watch?v=FtUbMG3rlFs</a>

<h1>システム1とシステム2</h1>

人間の脳は、自動的で処理が速い「システム1」と、意識的で処理の遅い「システム2」の2つのモードで思考を処理するという理論です。もともとは心理学の分野で使われていましたが、ノーベル経済学賞を受賞した行動経済学者であるダニエル・カーネマン（Daniel Kerneman）が、この理論を発展させた一般向けの書籍「Thinking, Fast and Slow」[3]を2011年に出版し、2つの思考モードは広く知られるようになりました。 
  
　Bengio氏は、システム1とシステム2について、次のように述べています。

<blockquote>
　システム1は、直感的かつ無意識で考える際に努力を必要としない思考です。例えば、あなたが車で家に帰る時に、道に注意を払わず同乗者とおしゃべりしながら運転できるでしょう。現在のディープラーニングはシステム1が得意です。一方、はじめて訪れる都市で、誰かに教えてもらった道順で目的地に向かう時は、交差点や標識にいちいち注意を払う必要があるでしょう。同乗者に話かけられても、あなたは「運転に集中させてくれ」というでしょう。このように、システム2では、意識を集中し、言語化してより論理的に考えるのでスローになります。今後のディープラーニングはシステム2も扱える必要があります。
</blockquote>

図3　システム1とシステム2の違い（[2]から引用）

<h1>システム2を実現するには？</h1>

それでは、システム2を実現するには、機械学習が獲得すべきことは何でしょうか？ 
  
Bengio氏は、次のように述べています。

<blockquote>
ディープラーニングが人間レベルのAIを実現するためには、データ分布から外れたものへの汎化性（Out-of-distribution generalization）に加えて、少量データでも対応できるような転移学習が必要です。ディープラーニングのタスクは複数レベルの表現を学習することですが、最高レベルの表現は、「言語」で扱える「概念」になります。「言語」を扱う際には原因と結果が生じるので、因果関係の取り扱いが必要です。また、現実世界で動くためには、エージェントは「世界モデル」や、足りない知識についての「知識獲得力」を持っている必要があります。さらに、以上が相互につながっていることが必要です。
</blockquote>

Bengio氏は、これらの課題を解決しシステム2を実現するためには、次のようなロードマップが必要だと言います（図4）。

図4　システム2へのロードマップ（[2]から引用）

<img height="463" src="/p/f2ckaavsenk66knbyuzd-4f3e5881.jpg" style="width:920px;height:463px;" width="920" alt="f2ckaavsenk66knbyuzd-4f3e5881.jpg" />　Bengio氏の主張をまとめると、次のようになります。

<ul><li>現在の機械学習の前提は、「推論に用いるデータ」は、「学習に用いるデータ」と同様の確率分布をすることであり、想定外の状況では精度が悪い。解明するための方法の一つは、赤ちゃんの観察だ。少なくともルールや論理だけでは赤ちゃんが学ぶ過程を再現できない。</li>
	<li>近年のニューラルネットワークでよく用いられるアテンション機構は、脳内の仕組みと非常によく似ており、アテンション機構をもっと深く研究することで、より高度な認知を実現する</li>
	<li>言語を高度に表現する方法としてConsciousness prior(意識に関する事前確率モデル)というものを発案した[4]。Consciousness priorを実現するための手段としては、Sparse Factor Graph(スパース因子グラフ)が適している。</li>
</ul>  
　Bengio氏は、インタビュー[5]の中で、次のように語っています。

<blockquote>
「人間レベルのAI」と言いますが、そもそも人間は完璧に合理的なわけではありません。「完全な合理性」を達成するのはとても難しいことです。我々がAIで目指すものは、ある限られた計算量の基で「できる限り合理的」な状態です。そのために、まずは「人間の知能」についてしっかり理解することが重要です。
</blockquote>

<h1>おわりに</h1>
　Yoshua Bengio氏が2019年末に発表した「システム2のディープラーニング」について見てきましたが、如何でしたでしょうか？ 
  
　ディープラーニングのゴッドファーザーが、2010年代の最後に「レベル1のディープラーニング」の限界を述べるのは何か暗示的なものを感じるのは気のせいでしょうか？システム2のディープラーニングは問題が提起された段階ですが、2020年代の重要な研究テーマになることは間違いがないようです。今後の技術の発展が楽しみですね。 
 
<h1>参考文献</h1>

[1] 松尾豊氏の年頭所感に見る、2020年AI業界の展望, Ledge.ai, 2020/01/11. (<a href="https://ledge.ai/matsuo-new-years-impression/">https://ledge.ai/matsuo-new-years-impression/</a>) 
[2] Yoshua Bengio (2019). FROM SYSTEM 1 DEEP LEARNING TO SYSTEM 2 DEEP LEARNING, NeurIPS’2019 Keynote, December 11th, 2019, Vancouver BC. (http://www.iro.umontreal.ca/~bengioy/NeurIPS-11dec2019.pdf) 
[3] Daniel Kerneman (2014). ファスト&スロー あなたの意思はどのように決まるか?, ハヤカワ・ノンフィクション文庫, 2014. 
[4] Yoshua Bengio (2017).  The Consciousness Prior, 2017/9/25. (https://arxiv.org/abs/1709.08568). 
[5] 人間にできて、AIにできないこと, News Pics Magazine, 2019/12/20.

深層学習はシステム1からシステム2へ

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer