2021/07/17 2021/07/30

ゼロから作るDeep Learningの5章までのまとめ

アクセス: 435

コメント: 0

最初読んだとき、二回目読んだとき、三回目読んだ時くらいまで「一体何やってんだ？」と感じていたゼロから作るディープラーニングの5章までのまとめを書いてみました。
各章ごとのまとめなどは結構みるのですが、5章までのまるっとしたまとめがなかったので、これを読んでくださっている方の助けに少しでもなるとうれしいです。
![](https://aihack.aijobcolle.com/p/iaxp7urvtyxon6xbz7pk-e0357cda.jpg)
5章までではMNISTの分類モデルをつくっているわけなのですが、まず押さえておくべきなのは以下3つの記号が何を意味しているかというところでしょうか。
x：入力値
y：モデルにxを入力して得られる予測値
t：正解値（教師あり学習）
<br />
そして、実際にモデルがどのような形をしているのかいうと、

MNISTが28×28=784個のピクセルを持っているので、それぞれのピクセル値（グレースケールなのでそれぞれのピクセルは0～255の値）を一つずつニューラルネットの入力層に放り込めるように入力層の数を784としている。
本の中では隠れ層の数を50と決めている。
そのために最初の重み（w）の行列は784×50の要素を持っている。
そしてMNISTは10値分類問題なので、出力層の数は10としている。
（二層目の重みは50×10の要素を持っている。また、出力にはSoftmaxを利用してそれぞれの項目が正解である確率値を出している。）
<br />
このモデルの中でどのような処理がされているかというと、
モデルを通して出力された予測値yを正解値tと比較する。
比較には交差エントロピー誤差を利用している。これは逆伝播で微分をしていくときにとても計算がしやすいためにそう決めている。
交差エントロピー誤差（Loss）が小さくなる＝Accuracyが大きくなるという関係にあるので、いいモデルはLossが小さいモデルである。
重みを「いい値」に変更してLossが小さくなるようにしたい！
逆伝播を使って、Lossに対する重みの微分値を求める。
重みのそれぞれの要素（784×50個の要素）に対して微分値と反対方向の符号に対して重みの値を変化させればLossは小さくなるはず！（そう4章で習った）
重みを変化した後、再度モデルを通して出力された予測値yを正解値tと比較する。
（最初に戻ったのでここからは繰り返し）
<br />
かなり大まかな内容になってしまいましたが、とりあえず5章まで読んで「こんなイメージ持っておけばいいのではないか？」と僕が感じたことは以上です。
<br />
※同様なことが第二層の重みにもなされていますが、説明の中からは省いています
※あと本当は第一層、第二層共にバイアス項に対する学習が行われていますがこれも説明の中からは完全に省いています

ゼロから作るDeep Learningの5章までのまとめ

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

自己教師あり可逆性対応の強化学習（AIの…

深層強化学習によるチップ設計の自動化（A…

ユーザーランキング

タグランキング

深層学習

deeplearning

ディープラーニング

AI

Transformer