2020/06/28 2020/06/28

XGBoost（GBDT）とランダムフォレストからバギングとブースティングの違いを考える

アクセス: 3416

コメント: 0

AIジョブカレの輪読会でXGBoost関連の章を受け持った際に、ランダムフォレストとの大きな違いを理解した（つもり）なので、そのことについて書いてみようと思います。 
  
正直自分で調べるまでは、XGBoostもランダムフォレストも「ほとんど同じでしょ？」「ツリー構造でなんか場合分けしていくんでしょ？」「XGBoostの方が後発なので精度がいいんでしょ？」といった感覚しか持っていませんでした。 
  
しかしこの2つのアプローチは結構違っていて、自分が持っているイメージを簡単に言うと 
  ランダムフォレスト：「自分サイコ―」と思っている孤高の天才（もしくは井の中の蛙）の集まり XGBoost：One for all、All for oneのラガーマンの精神を持った努力家集団 <img height="331" src="/p/mgwmyusymvzfc96r4a2o-08005da8.png" style="width:777px;height:331px;" width="777" alt="mgwmyusymvzfc96r4a2o-08005da8.png" />　　 
  
というような感じで、個人的にはXGBoostの方が全然好きだったりします。 
  
この違いが何故起きるのか？それは問題の判断をするときの処理方法が大きく異なるからです。具体的にはバギングとブースティングの違いです。 
  
簡単のために、今「TrueかFalseか」という二値判断問題があるとしましょう、この学習のために学習データとして100サンプルが存在しているとします。 
  
まず、ランダムフォレストがこの問題にどのようなアプローチをとるかというと、100サンプルを学習して自分なりのモデルを持った孤高の天才の集団（決定木の集団）が形成されます。そして、その集団に対してテストデータを入力すると、孤高の天才（決定木）はそれぞれ一人ずつ「私の理論ではこうなりますね」とか言って結果を出してきます。 
（注意：この時孤高の天才集団がそれぞれ違うアルゴリズム（決定木）で結果を出すようにする必要があります。それでないと皆同じ結果を出してきて、次の多数決の意味がなくなってしまうので） 
  
その結果、例えば孤高の天才軍団の中で「True」と言っている人が「False」だと言っているより多い場合、予測結果は多数決で「True」となります。つまりバギングによって結果が決められていきます。 
  
一方、XGBoostがこれに対してどのようなアプローチをとるかというと、まず100サンプルを利用してかなり精度は悪くてもいいので、モデルを作成します。そしてそのモデルの出力と、実際の回答（目的変数）との誤差（ズレ）をエラーとして定義します。 
  
そしてこのエラー（誤差）を0にすることが出来ればモデルは完璧になるはずだ！という考えに基づいて、次からは「このエラーを0にするためには何をすればよいのか」ということを考えて処理を繰り返していきます。 
  
つまり、孤高の天才の集まりではなく、前に処理をした仲間が解決できなかった部分（エラー）を、後で処理を行うものが補って解決していく。先人の知恵の上に自分の発見を重ねていく科学の発展にも似た助け合いの精神、もしくは最初に書いたように一つのボールを全員がつないでゴールに向かっていくラガーマンのような精神がブースティングにはあるのです。 
  
そしてモデルに対して仲間が次々と協力して少しずつ微調整を行い、最も正しそうなモデルを作成します。そしてその出来上がったモデルに対してテストデータを入力し、その結果が「True」か「False」かを一発で決めます。そこに多数決はありません。何故ならば、そこにはみんなで作り上げた最高のモデルが一つあるだけなので！ 
  
と書いていて勝手に興奮してしまいましたが、個人的にはこのブースティングの考え方の方が好きで、かつ、ブースティングの方が多くの場合バギングよりも良い結果を出してくれるという事実にもなんだかほっとする自分がいたりします。

XGBoost（GBDT）とランダムフォレストからバギングとブースティングの違いを考える

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer