2021/07/16 2021/07/17

何故Affineレイヤの逆伝播では行列を転置したり後ろからや前から掛けたりするのか？

アクセス: 40

コメント: 0

いや、やっぱり嫌じゃないですか、ゼロから作るDeep LearningのP.148で「式（5.13）が導かれる過程はここでは省略します」とか書いてあるのをそのままスルーするのは。
とはいいながらもとりあえず行列の計算の掛ける側の列と掛けられる側の行を揃えることに注目すれば問題なく問題も解けるしプログラムも動くしということで実はそのまま放置していたんです。
というか、数学的になんでかな？とか考えてみたりもしたのですが、全然そんなのでは解けなかったんです。
 
そんな話を会社でしていたら、それを聞いていたK村さんが
「これでいいんじゃね？」と書いて来てくれたのが以下の図です。これですべて解決した気がしたので、この場を借りて情報公開しようと思います。
![](https://aihack.aijobcolle.com/p/eox9f4mrbt2od2hfh7bu-1d70d7e3.jpg)

これ、何をやってるかというとAffine計算の準伝播と逆伝播を計算グラフで書いてるんです。入力のｘは1行2列の要素、掛ける重みWは2行3列の要素を持っています。
計算グラフがちょっと複雑に見えるかもしれませんが、左側から入力のxの2つの要素が入り、Wは合計6つの要素があるので、上の方にWの1行目の3つの要素、下の方にWの2行目の3つの要素が書かれています。
そして最後にxとWの内積値にバイアス（B）が足されて、1行3列のYが出力（予想値）として出てくるという流れです。
そしてそれを逆伝播していくと（ラインの下に黄緑色で書かれているものです）最終的に以下①と②を得ることができます。
 
①	∂L/∂X[0] 
　= ∂L/∂Y[0]*W[0,0] 
　+ ∂L/∂Y[1]*W[0,1] 
　+ ∂L/∂Y[2]*W[0,2]
②	∂L/∂X[1] 
　= ∂L/∂Y[0]*W[1,0] 
　+ ∂L/∂Y[1]*W[1,1] 
　+ ∂L/∂Y[2]*W[1,2]
 
これらを合わせて書くと
 
∂L/∂X = [∂L/∂Y[0], ∂L/∂Y[1], ∂L/∂Y[2]] ・ [[W[0,0], W[1,0]],
　　　　　　　　　　　　 　　　　　　　　　　　 [W[0,1], W[1,1]],
　　　　　　　　　　　 　　　　　　　　　　　　 [W[0,2], W[1,2]]] 
 　　　　= ∂L/∂Y ・ WT
 
また、同様にWの方に着目すると
 
∂L/∂W = [[X[0]], 
 　　　　　[X[1]]] ・ [[∂L/∂Y[0], ∂L/∂Y[1], ∂L/∂Y[2]]]
 　　 　　= XT ・ ∂L/∂Y
 
と書くことが出来ることがわかります！
 
実際にはこれからも行列の計算時には掛ける側の列と掛けられる側の行を合わせるみたいなことを続けていくと思いますが、こうやって一度
「それでいいんだ！」
「転置して前から掛けたり後ろから掛けたりしないとうまくいかないんだ！」
っていうことが分かると、（今後も同じことを続けていく中で）モヤモヤ感が無くなってすっきりした気分になれる気がしました。

何故Affineレイヤの逆伝播では行列を転置したり後ろからや前から掛けたりするのか？

人気記事ランキング

YOLOv5 登場！このプロ…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

深層学習はシステム1から…

XGBoost（GBDT）とランダ…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

なぜZoomは40分で切れるのか？

DETR : transformerが組み込まれた物体検…

ユーザーランキング

タグランキング

深層学習

ディープラーニング

AI

deeplearning

Transformer