2021/02/11

im2colに慣れるための最初の一歩　～何をしているの？～

アクセス: 1426

コメント: 0

ゼロから作るDeep Learningで多くの人が引っかかるim2col。ええ、僕も引っかかりました。 
  
実際にイメージを持たずに説明だけ読んでいると複雑怪奇でなんかすごいことやってるように見えてしまいますが、実はただのパズルみたいなものだと今は思っています。 
  
ということで、最初にこのイメージを持っていると色々と腑に落ちやすいのではないか（理解するとは言いません、パズルなので）ということを今回は書こうと思います。 
  
まずは「何故im2colが考えられたのか」ということですが、CNNで畳み込み（Convolution）の計算をしている時に気が付くのは「ただの掛け算と足し算を何回も繰り返してやってるだけじゃないか」ということです。 
  
フィルタサイズを決めてストライド数だけちまちまと動かしては掛け算と足し算を繰り返していく。そう、こんなことはやってるうちに面倒になってきます。 
  
そしてふと思うわけです。 
  
「どうせ掛け算と足し算しかやってないのだから、行列の内積計算と同じじゃないか。計算に必要な要素を持った行列を2つ準備してその内積計算に落としこめたらめちゃくちゃ楽じゃん！」 
  
そうです。これがim2colなのです。 
（特に裏付けを取ってはいないので自分がそう思ってるだけかもしれませんが・・・） 
  
ゼロつくにあるim2colをベースに考えましょう。 
まずは最初に手をつけるために「何の情報をベースに2つの内積を取る行列を作るのか」ということを考える必要が出てきます。 
  
ここで最初に分かっているもの、持つことが出来る情報を書き出してみると 
①入力データのサイズ（画像サイズ） 
②フィルター（要素数、フィルター数、パディングやストライドの数なども決まっているとします） 
③出力データのサイズ 
などがあることがわかります。 
  
そしてここは実際のところ決め打ちなのですが最初に②のフィルターに注目することにします 
  
「とりあえずフィルターをいくつか準備していて、そのフィルターの要素数もわかっている（例えば3×3のフィルターなら9つの要素）。畳み込みの計算では一つのフィルターのそれぞれの要素に対して1回の掛け算が行われるので、このフィルターの要素を行列の行か列にもってくるのってよさそうだよな」 
  
と考えて、まずフィルターの要素を行か列にもった行列をつくってみることにします。 
 <img style="width:920px;height:250px;" height="250" width="920" src="/p/vzobs3gdrfmih2kjp7bt-fa7b5783.jpg" alt="vzobs3gdrfmih2kjp7bt-fa7b5783.jpg" /> 
ここでフィルターの要素を列方向に持った場合、行の数は準備してあるフィルターの数。 
フィルターの要素を行方向に持った場合、列の数は準備してあるフィルターの数になります。 
  
そしてここでまた考えます。「どっちがいいんだろう？」と。 
ここでまた決め打ちが入ります。 
この行列は内積を取る2つの行列の中で「掛ける側の行列なのか、掛けられる側の行列なのか？」という問いに対して「この行列は掛けられる側の行列である」と決めたとします。 <img style="width:920px;height:224px;" height="224" width="920" src="/p/2t62jxhshbkar5ysnp2m-e7c9d160.jpg" alt="2t62jxhshbkar5ysnp2m-e7c9d160.jpg" /> 
そうなると、フィルターの要素を掛け合わせた後にそれぞれの掛け算の結果を足し合わせるという処理が畳み込み計算では必要なので、行列の要素は行方向に持っておくべきであるという結論に至ります（決め打ちの結果の結論です）。 
  
これで掛けられる側の行列の行数はフィルターの要素数、列数はフィルターの数であることが決まりました（というかそう決めました）。 
  
そうなると自動で決まってくるのは掛ける側の行列の列数です。行列の内積は掛ける側の列数と掛けられる側の行数が同じでないと計算が出来ないので、掛ける側の行列の列数はフィルターの要素数であることが決まります。 <img style="width:920px;height:284px;" height="284" width="920" src="/p/3s2j9p583tdobmg248ud-da13f77a.jpg" alt="3s2j9p583tdobmg248ud-da13f77a.jpg" />  
次に掛ける側の行列の行数を決めたいのですが、これはどうやって決められるでしょうか。これ素直に考えると結構難しいです。 
  
そこで発想を変えて、内積計算の結果の形を考えることにします。これは畳み込み計算で出力される「③出力データのサイズ」を我々は知っているためです。 
  
「あれ？そうだっけ？」と思った方は、以下の公式を見ると「あー、あれか！」となるかもしれません。 <img style="width:920px;height:64px;" height="64" width="920" src="/p/3dtoayzve6nzvwht2pnh-3f7896d0.jpg" alt="3dtoayzve6nzvwht2pnh-3f7896d0.jpg" />つまり、我々は①入力データのサイズを知っていて②フィルターの情報も知っているために、入力データに対して何回畳み込み計算を行い、どれくらいの大きさのデータが出力されるのかを計算することが出来るのです。 
  
出力されるデータの大きさが分かりましたが、では合計何枚出力されてくるのでしょうか？CNNを理解していればわかるのですが、これはフィルターの数だけ出力されてきます。 
  
つまり、出力されるデータの大きさと枚数がわかるということが「③出力データのサイズ」を知っているということなのです。ただ、ここで「大きさと枚数のトータルの値が分かってもどんな行列になるのか（したらよいのか）わからないじゃないか！」と思う方もいるでしょう。 
  
しかしながら、我々は既に内積で掛けられる側の行列を決め打ちでつくってしまっているので、実はこの時点で完了、チェックメイトになってます。 
  
どういうことかというと、 
掛けられる側の行列の列はフィルター数と既に決まっています（というか決めました）。そうなると内積計算をした結果、行列の内積計算の性質上出力結果の列もフィルタ数に必ずなります。 
 <img style="width:920px;height:278px;" height="278" width="920" src="/p/xf23u7gh5gussdu3ix2s-6e7eac09.jpg" alt="xf23u7gh5gussdu3ix2s-6e7eac09.jpg" /> 
そうなると、出力されるデータの行数はもう出力されるデータの大きさしか取れません。 <img style="width:920px;height:281px;" height="281" width="920" src="/p/crnrxzfz6ubtam8jfdwm-fa47409b.jpg" alt="crnrxzfz6ubtam8jfdwm-fa47409b.jpg" />  
さらにここまで分かると、実は掛ける側の行列の行数は出力されるデータの大きさにならざるを得ないということも分かります。 <img style="width:920px;height:277px;" height="277" width="920" src="/p/h3ehrwpjhhssdondezhc-1d00105d.jpg" alt="h3ehrwpjhhssdondezhc-1d00105d.jpg" />  
これで全ての行列の要素を決めることが出来たので、畳み込み計算をちまちましなくともim2colの内積計算一発で全ての計算が出来そうだということがなんとなく理解できると思います。 
あとは、カラー画像などではフィルターのチャネル数が3つあったりするので、その場合には掛けられる側の行列の行数＝フィルターの要素数にそのチャネル数を掛けて1列に押し込む。 
  
バッチ処理でN個同時に処理を行う場合を想定すると、バッチで処理される個数が変わってもフィルターの数や要素の条件は変わらないので、フィルターの情報を持っている掛けられる側の行列には何も影響がなく、その代わりに掛けられる側の行列の行と、出力データの行がN倍に増える。 
  
ということまで考慮して内積計算を行い、あとは出力データをそれっぽい形に戻せば、ゼロつくで説明されているim2colが完成ということです。 
  
かなり長くなってしまいましたが、これが僕がim2colはパズルのようなものだと言っている理由です。 
  
あとこれは自分の経験なのですが、学生時代に高速フーリエ変換というものがあって、それはたしか2の階乗数のデータ数を持つものに対してだけ利用できる高速なフーリエ変換の計算方法だったのですが、そのプログラムが「なんか上手くいかないんだよなー」と言っている先輩からプログラムをもらって、その中を適当に行と列を変えたり値を入れ替えたりしてあーでもないこーでもないしながら「あ、なんか近づいてきたかも」とか適当にいじっていたら、ある日突然きちんと高速フーリエ変換するプログラムになったという経験があるからだったりします（なんで動いているのかは自分では実は不明）。 
  
最初im2colを見たときは「これつくったの天才かも！」とか不覚にも思ってしまいましたが、そんな自分の経験を思い出した時に「なんだ、それほどたいしたことねーな」という風に思えるようになりました。

im2colに慣れるための最初の一歩　～何をしているの？～

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

自己教師あり可逆性対応の強化学習（AIの…

深層強化学習によるチップ設計の自動化（A…

ユーザーランキング

タグランキング

深層学習

deeplearning

ディープラーニング

AI

Transformer