2021/01/31

勾配法と学習率

アクセス: 1329

コメント: 0

「ゼロから作るDeep Learning」の第4章にある勾配法を輪読会で読んだ時にちょっとした確認をした結果を簡単に載せておきます。これでなんとなく自分はイメージがつかみやすくなりました。 
  
勾配法を簡単に言うと、最小値を見つけるために、微分した結果と逆（マイナス）方向に進んでいきましょう。そうするとうまくいくと最小値にたどり着けますよ。ということだと理解しています。微分した結果と逆にいかなければ最大値も見つけられるかもしれません。 
  
何故最小値を見つけると嬉しいのか？というと、Deep Learningのモデルの世界では微分可能な（かつ最小値が0となるように設定された）損失関数が0に近づくと＝モデルのエラーが0に近づく=モデルの精度が上がる（例えばAccuracyの値が上がって99.999%とかになる）ので、どうにかして損失関数を0に近づけたい、最小値を見つけたいというモチベーションがあったりするのです。 
  
そしてその勾配法の説明の中で出てくるのが学習率（Learning rate）。説明に使われている勾配法の式が以下の通りで、その中で登場する変な文字「η（イータ）」が学習率であるとか言われた時点で「なんだこの聞きなれない奴は・・・」とかなりビビってしまうのですが、実はシンプルなお話です。 <img height="104" src="/p/3ej4kinp73f4jjz2dk7v-7153b88e.png" style="width:793px;height:104px;" width="793" alt="3ej4kinp73f4jjz2dk7v-7153b88e.png" /> 
どういうことかというと <img height="177" src="/p/zkssvhwhdsicev7o6b3x-e1656a7b.png" style="width:793px;height:177px;" width="793" alt="zkssvhwhdsicev7o6b3x-e1656a7b.png" /> 
ということです。 
  
ただ、この学習率というものがなんで注目されるのかというと、ちょうどいい値を選ばないと決められた時間内で最小値にたどり着かなかったり、更にひどい場合には発散して全然とんでもないところに飛んで行ってしまったりしてしまうやんちゃ者だからなのです（と私は理解しています）。 
  
そのやんちゃぶりをイメージするために、ゼロつくにある以下グラフを使います。 <img height="576" src="/p/n5xvntdi6cofny4gyiy6-26b1d981.png" style="width:913px;height:576px;" width="913" alt="n5xvntdi6cofny4gyiy6-26b1d981.png" /> 
  
数式を見ると自明ですし、グラフからもなんとなくわかりますが、最小値は（0，0）に存在しています。 
  
勾配法を利用してこのグラフの最小値を探したい場合は、どこからスタートしても（0，0）にたどり着くようにできればOK。 
  
ここでゼロつくにあるgradient_method.pyというコードの中の学習率η（イータ）を変化させてみた結果が以下の通りです。（"lr"はlearning rateで学習率の値です） <img height="532" src="/p/7p5vvtzsb7ogm4uvs47g-de35e99a.jpg" style="width:920px;height:532px;" width="920" alt="7p5vvtzsb7ogm4uvs47g-de35e99a.jpg" /> <img height="545" src="/p/9d3kddgu3j9jtyrs4nzh-f734a55d.jpg" style="width:920px;height:545px;" width="920" alt="9d3kddgu3j9jtyrs4nzh-f734a55d.jpg" /> 
学習率が0.1だといい感じで（0，0）に収束してます。 
0.01だと動きが小さすぎて（0，0）にたどり着く前にタイムアップ。 
0.8にすると結構危険な感じでプラスとマイナスの領域を行ったり来たりしますが、それでもきちんと（0，0）にたどり着いています。 
1.0になると面白くて、実はこの値がスレッショルド値（閾値）なのですが、プラスとマイナスの同じところを行ったり来たりとループします。 
1.1になるとなんと一回の動きが大きすぎて逆に大きな方へ（グラフの上の方へ）発散してどこかへ行ってしまうという結果に。。 
  
というように自分で学習率の値を変えてみることによって、イータのやんちゃぶり（？）がイメージ出来るようになりました。

勾配法と学習率

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

自己教師あり可逆性対応の強化学習（AIの…

深層強化学習によるチップ設計の自動化（A…

ユーザーランキング

タグランキング

深層学習

deeplearning

ディープラーニング

AI

Transformer