2020/08/22 2020/09/06

Deep Learningを学んで思ったこと-ベクトルのパワーってすごい！

アクセス: 292

コメント: 0

ちょっとおかしな話かもしれません。 
ただ、Deep Learningを学んだ時に自分が感じたこと、それは「ベクトルのパワーってすごい！」ということでした。 
（行列ってすごい！でもいいのですが、とりあえず数値化されたものということで、今回はベクトルという言葉だけを使います） 
  
メインの話に入る前に、機械学習とDeep Learningの違いについて。 
これは色々と言い方があると思いますし、定義も結構あいまいだったりします。ただ、今回は 
「Deep Learningは機械学習の一部でありDeep Learningの内容は機械学習が全て内包している」 
と言ってしまうとこれから先何も書けなくなってしまうので、今回、機械学習とDeep Learningの違いは以下のようなものであるとします（よく色々なところで見る絵だと思います）。 <img height="223" src="/p/z2jjax6un25ojytcnc94-b35a034a.png" style="width:643px;height:223px;" width="643" alt="z2jjax6un25ojytcnc94-b35a034a.png" /> 
  
ここでやはり重要なのは特徴量の準備の有無です。機械学習は特徴量を現状では主に人が準備する必要があります。もちろん人間は「効きそうな」特徴量を選んでくるので機械学習は学習があまり進まないということはあまりないように思います。 
  
また、モデルからの出力は準備された特徴量の世界をもとに作成されるので、モデルの中でどの要素（特徴量）が効いているのかが判断できる場合が多いのも機械学習の特徴だと考えています。 
  
一方で、特超量を元々準備しなくてはいい（と言われている）Deep Learningでは、整形前/特徴量抽出前のRawデータをそのままモデルに学習させることが出来るというメリットがあり、その代わりに（特徴量というモデルを構成する要素が人間からは見えないために）何を基準にモデルが動いているのかがわかりにくく 
  
「Deep Learningの気持ちになって考えてみる」 
  
というような理論屋から見ると「え？！冗談？冗談でしょ？冗談って言って！」みたいなことが普通に言われていたりします。 <img height="306" src="/p/s998ws7vy2whtecjxg3z-b8066084.png" style="width:564px;height:306px;" width="564" alt="s998ws7vy2whtecjxg3z-b8066084.png" /> 
ただ、ここで多くの人が強調していないのが、Deep Learningでは特徴量の準備はしていないが、Rawデータそのものを利用しているわけでもないということです。Deep Learningのどこかでニューラルネットワークが利用されていると仮定すると、その利用のためにデータはかならず数値化（ベクトル化）されている、更にはその数値化（ベクトル化）というものが実は成功するモデルと成功しないモデルの大きな差を生んでいるのだろうというのが自分が強く感じていることです。 <img height="261" src="/p/ddcrt36i3j7pvwb83fia-ad8e7437.png" style="width:686px;height:261px;" width="686" alt="ddcrt36i3j7pvwb83fia-ad8e7437.png" />  
何故そのように感じているのか？ということを簡単に言うと「人間の頭の中でも実はベクトルによって情報の認識や関連付けが行われている可能性がありそうだから」となります。 
  
ニューラルネットワークが人間の脳の動きをヒントにつくられているものだとすると、情報を我々の考え方に基づく（我々の考え方と同様な）ベクトルに変換してからニューラルネットワークに放り込むことが出来れば、人間のようなモデルが出来るのではないか？というようなことを自分は考えているわけです。 
  
（何故このようなことを考えるようになったのかということを、今後Word2VecとCIFER10の画像認識などを使って説明することを予定しています）

Deep Learningを学んで思ったこと-ベクトルのパワーってすごい！

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

自己教師あり可逆性対応の強化学習（AIの…

深層強化学習によるチップ設計の自動化（A…

ユーザーランキング

タグランキング

深層学習

deeplearning

ディープラーニング

AI

Transformer