2020/06/12 2020/06/14

PyTorchの躍進を紐解く３つの視点（前編）

アクセス: 2557

コメント: 0

<h1>国産深層学習フレームワークの終焉</h1>
　記憶に新しい方も多いと思いますが、2019年末、日本のディープラーニング界に衝撃が走りました。国内AIベンチャーの雄Preferred Networksが、自社のディープラーニング（深層学習）フレームワークである「Chainer」の新機能開発を終了し、米国フェイスブック（Facebook）が開発する「PyTorch」に移行すると発表したのです。Preferred NetworksのChainer開発責任者は下記のコメントを述べています[1]。

<blockquote>
<p>PyTorchという非常に優れたフレームワークを使うメリットと、Chainerを使い続けるメリットとを比較した結果、PyTorchに移行すべきだと決断した</p>
</blockquote>
　Chainerの命運を握ったPyTorchとは何でしょうか？本記事ではPyTorchの最新状況について見て行きたいと思います。<br />
 
<h1>PyTorchとは？</h1>
　PyTorch[2]の原型は「Torch」と呼ばれる機械学習ライブラリでした。TorchはもともとLUAというマニアックな言語上のライブラリでしたが、とても優れていたのでPython上に移植されたそうです。PyTorch は、Pythonの「Py」と「Torch」をあわせた造語です。ちなみに、「Torch」は英語で「たいまつ」という意味で、ロゴの赤い部分でデザインされています。<br />
 
<div style="text-align:center;">図1 PyTorchのロゴ（Wikipediaから引用）</div>

<div style="text-align:center;"><img height="111" src="/p/e24ao5wyuss4e4n2fkcv-d1f46857.jpg" style="width:100px;" width="452" alt="e24ao5wyuss4e4n2fkcv-d1f46857.jpg" /></div>
<img alt="" src="Fig1%20PyTorch%20Logo" /><br />
　ディープラーニングのフレームワークとしては後発で、Facebookから発表されたのは2016年後半です。今や、Tesla社やUber社などでも採用されており、今一番勢いのあるフレームワークとも言えるでしょう。<br />
 
<h2>PyTorchのトレンド</h2>
　ここで、ディープラーニングのフレームワークのトレンドを見てみましょう。図2は、3つのフレームワークについて、米国での5年間トレンドを表したものです。産業で活用されているTensorflowが依然として高いものの、急上昇中のPyTorchはすでにKerasに追い抜き、Tensorflowをも抜きそうな勢いです。<br />
 
<div style="text-align:center;">図2 米国でのディープラーニング・フレームワークの5年間のトレンド比較（Google Trendsから引用）<br /><img height="487" src="/p/zihfhtomakasj98etnww-96a0cbae.jpg" style="width:920px;height:487px;" width="920" alt="zihfhtomakasj98etnww-96a0cbae.jpg" /></div>
<br /><img alt="" src="Fig2%20TrendUS" />　それでは、国内ではどうでしょうか？図3に示すように、国内でもPyTorchは大健闘しています。2018年後半には、すでにChainerとほぼ互角になっています。このグラフを見ると、2019年後半にPreferred NetworksがPyTorchへの乗り換えを決意したのもわかるような気がします。<br />
 
<div style="text-align:center;">図3 国内でのディープラーニング・フレームワークの5年間のトレンド比較（Google Trendsから引用）<br /><img height="488" src="/p/6r83n3owm68h66pmact5-863eba46.jpg" style="width:920px;height:488px;" width="920" alt="6r83n3owm68h66pmact5-863eba46.jpg" /></div>

<h2>学会での圧倒的な存在感</h2>
　研究分野でも、PyTorchの躍進度は目を見張るものがあります[3]。図4はTensorFlowもしくはPyTorchのいずれかを使用している論文だけに絞って、PyTorchの方を利用した論文の割合を時系列で示したものです。この図から、2017年には使用率はほぼゼロだったPyTorchが、2019年にはほぼ全ての学会で主流になっていることがわかります。これだけの短期間に伸びるのは驚くべきことです。<br />
 
<div style="text-align:center;">図4 主要な学会におけるPyTorchで実装された論文の比率（[3]から引用）</div>
<img height="488" src="/p/2bvwuznw6wyeixcitmk5-d74a28b2.png" style="width:748px;height:488px;" width="748" alt="2bvwuznw6wyeixcitmk5-d74a28b2.png" /><h1><br />
PyTorchの躍進を紐解く３つの視点</h1>
　さて、PyTorchは研究コミュニティにおいて、２年という短期間にこんなに支持されるようになったのでしょうか？いろいろな視点があると思いますが、筆者のまわりの研究者に聞いてみると、よく聞くのはPyTorchの使い勝手の良さです。<br />
 
<h1>視点１：研究者にとっての使い勝手の良さ</h1>

<h2>Numpyに似た使いやすさ</h2>
　PyTorchでは多くの基本的な操作方法はnumpyとよく似ています。Pythonユーザになじみの深いnumpyと同じような感覚でPyTorchを使えるのは非常に便利です。<br />
 <br />
　公式のPyTorchのサイトには多くのチュートリアルやソースコードが掲載されているので、イメージが具体的につかみやすいと思います。Google Colabですぐコードを実行できるので、とても便利です。ここでは、PyTorch Turtorials [4] を多少アレンジして、代表的な操作方法について見て行きましょう。<br />
 <br />
(1) PyTorchのインポートとバージョンの表示<br />
　まず、PhTorchのライブラリをインポートして、バージョンを表示してみましょう。
<pre>
<code>#インポート
from __future__ import print_function
import torch
print(torch.__version__)
</code></pre>
出力：

<pre>
<code>1.5.0+cu101
</code></pre>
<br />
(2) テンソルの作成<br />
　テンソルはNumPyのndarraysに似ていますが、それに加えて、GPU上でも計算を高速化するために使用することができます。ここでは、引数で2 x 3 x 3のテンソルを指定してみます。
<pre>
<code># 2 x 3 x 3のテンソルをつくる
x = torch.empty((2, 3, 3))
print(x)
</code></pre>
出力：

<pre>
<code>tensor([[[2.5788e-35, 0.0000e+00, 7.0065e-44],
         [6.7262e-44, 6.3058e-44, 6.7262e-44],
         [7.5670e-44, 6.3058e-44, 6.7262e-44]],

[[7.0065e-44, 1.1771e-43, 7.0065e-44],
         [7.0065e-44, 8.1275e-44, 7.0065e-44],
         [6.7262e-44, 8.1275e-44, 6.8664e-44]]])
</code></pre>
<br />
(3) テンソルの初期化<br />
　numpyと同様、rand関数を使ってテンソルをランダムに初期化できます。
<pre>
<code>#2 x 3 x 3のテンソルをランダムに初期化
x = torch.rand(2, 3, 3)
print(x)
</code></pre>
出力：

<pre>
<code>tensor([[[0.7031, 0.9227, 0.5165],
         [0.8402, 0.4807, 0.8334],
         [0.8761, 0.5540, 0.5392]],

[[0.7630, 0.0922, 0.9393],
         [0.7529, 0.9462, 0.8947],
         [0.7269, 0.3711, 0.5192]]])
</code></pre>
<br />
(4) テンソルのサイズ確認<br />
　size()を用いてテンソルのサイズを確認できます。
<pre>
<code>#テンソルのサイズ確認
print(x.size())
</code></pre>
出力：

<pre>
<code>torch.Size([2, 3, 3])
</code></pre>
<br />
(5) numpyからTorch<br />
　np配列からTorchのテンソルへ自動変換します。
<pre>
<code>#numpy arrayからテンソルへの変換
import numpy as np
a = np.ones(5)
b = torch.from_numpy(a)
np.add(a, 1, out=a)
print(a)
print(b)
</code></pre>
出力：

<pre>
<code>[2. 2. 2. 2. 2.]
tensor([2., 2., 2., 2., 2.], dtype=torch.float64)
</code></pre>
<br />
　いかがでしたでしょうか？新しいフレームワークを学ぶときは、とかく敷居が高いものですが、このようにnumpyと似た操作感は、初心者にも上級者にとっても、使い勝手がよく、とても安心感があるのではないでしょうか？<br /><br />
　
<h2>Define-By-Runによる動的グラフの取扱いやすさ</h2>
　PyTorchで採用されているDefine-by-Run（実行しながら定義する）とは、ニューラルネットワークの計算を表現した計算グラフを、学習などデータを入力した際に動的に構築する手法です。開発者は、ニューラルネットワークの構造や学習の方法をPythonプログラムで記述します。計算の実行時に、Pythonプログラムに基づき計算グラフが定義されるという仕組みです。<br />
 <br />
　このDefine-By-Runは実は、Chainerが先駆けとなったのはご存じでしたか？<br />
 <br />
　Chainerが登場するまでは、計算グラフを学習の前にあらかじめ構築する「Define-and-Run（定義してから実行する）」と呼ばれる手法が主流でした。深層学習ブームの初期は、利用されるニューラルネットワークがCNN（Convolutional Neural Network）のようにほぼ限定されていたので、静的に計算グラフを構築するDefine-and-Runでも問題がありませんでした。<br />
 <br />
　しかし、「RNN（Recurrent Neural Network）」のようなケースは、入力データによって計算グラフの構造が変化します。シンプルなRNNのユースケースで、TensorFlowと比較してPyTorchのコードを見てみましょう[5]。<br /><br />
(1) TensorFlowによるループ 　<br />
　Define-and-Run方式では、計算グラフをつくってからループを実行するので、ループに条件式などパラメータを与えるなどソースコードが複雑になりがちです。
<pre>
<code>#TensorFlowでのループ（Define-and-Run方式）
cond = lambda i, h: i < tf.shape(words)[0]
cell = lambda i, h: rnn_unit(words[i], h)
i = 0
_, h = tf.while_loop(cond, cel, (i, h0))
</code>
</pre>
(2) PyTorchによるループ 　<br />
　 　Define-by-Run方式では、計算グラフを実行時に動的に変更することができるので、ソースコードをシンプルに記述できます。
<pre>
<code>#TensorFlowでのループ（Define-by-Run方式） 
</code>h = h0
for word in words:
   h = rnn_unit(word, h)
</pre>
　<br />
　以上ごらんいただいたように、動的なニューラルネットワークの構造が求められるケースでは、ネットワークの構造を柔軟に制御できるDefine-by-Runでは、ソースコードが完結に記述できるので、見通しがよくなることが実感いただけたでしょうか？<br /><br /><br />
　後編では、残りの２つの視点について見て行きたいと思います。
<ul><li>視点２：産学にわたる研究コミュニティ</li>
	<li>視点３：最新の研究成果の手軽な活用</li>
</ul><h1><br />
参考文献</h1>
[1] 中田 敦(2019). Chainer開発終了、PFN幹部が明かした「感謝とおわびの気持ち」,日経 xTECH／日経コンピュータ, 2019/12/06 (<a href="https://xtech.nikkei.com/atcl/nxt/column/18/00001/03341/">https://xtech.nikkei.com/atcl/nxt/column/18/00001/03341/</a>)<br />
[2] PyTorch公式ホームページ. <a href="https://pytorch.org/">https://pytorch.org/</a><br />
[3] Mobassir(2019). The State of Machine Learning Frameworks in 2019, Kaggle,  <a href="https://www.kaggle.com/c/severstal-steel-defect-detection/discussion/112689">https://www.kaggle.com/c/severstal-steel-defect-detection/discussion/112689</a><br />
[4] PyTorch Turtorials.(<a href="https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html">https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html</a>)<br />
[5] Raval Siraj (2019). PyTorch in 5 Minutes, 2017/05/01 (<a href="https://www.youtube.com/watch?v=nbJ-2G2GXL0">https://www.youtube.com/watch?v=nbJ-2G2GXL0</a>)<br /><br />

PyTorchの躍進を紐解く３つの視点（前編）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer