2020/06/13 2020/06/13

AIジョブカレの機械学習講座を受けた後、あるWebコミュニティイベントの分析をしてみた

アクセス: 392

コメント: 0

せっかく機械学習についてなんとなくわかるようになったので、「ここで勉強を止めるのはもったいない」ということで実際に自分の業務に利用してみました。 
Webコミュニティで「エキスパートに聞こう！」という大質問会、ある特定の分野の何人かのエキスパートに期間限定で質問を行うことが出来るイベントを実施しているのですが、そのイベントを成功させるためにはどうすればいいのか？どこに改良点があるのかという点を確認したいというのがモチベーションです。 
まずはWebコミュニティサイトから情報を取得してきます。 
が、これが実は一番大変でした、、、まず第一に そもそもどの要素がイベントの成功に影響を及ぼしている可能性があるのか？を選択すること 
これが難しい。自分の場合はこのWebコミュニティというドメインに関する知識があるのでなんとか選択できましたが、全くドメイン知識がない外部のデータサイエンティストとかが入ってくる場合ってこういうところでかなり時間がとられそうな気がします。 
そして取得する項目（特徴量）が決まったとしても、そのデータをそろえるのもまた大変です。データベースからSQLでササっと取ってくるというようなことは出来ず、最初は一つ一つイベントが実施されたページを確認して、データを一つ一つ打ち込んでいくということを行い、その後ある程度慣れてくるとクローリングのスクリプトをPythonで書いたりしてなんとか情報を取得。 
細かい項目はここでは説明しませんが、取得したデータは以下のようになりました。 <img height="438" src="/p/ns2kbi8h6tp2vd3f5bdw-c5abc654.jpg" style="width:920px;height:438px;" width="920" alt="ns2kbi8h6tp2vd3f5bdw-c5abc654.jpg" /> 
サンプル数の合計は179個です。 
今回は目的変数yをイベント開始からの2ヶ月のページビュー（PV2m）にしています。その他にもどれだけロングテール効果があるのかを目的変数にすることなども考えられるのですが、とりあえずまずは開催時の最大風速（どれだけ多くの人にページが見られるのか）を大きくするための要素を探すことにしました。 
ここからが楽しいパートです。AIジョブカレで習った知識を使っていきます（いや、ここまでがほんとつらい・・）。
<pre>
<code>import pandas as pd
from sklearn.preprocessing import Imputer
from sklearn.feature_selection import RFE
from sklearn.ensemble import RandomForestClassifier, GradientBoostingRegressor

# csvファイルを読み込み、データフレーム化
df = pd.read_csv('./data/ATE(English)-stats2.csv', header=0, dtype={'Product':object})

#特徴量のXをつくるために、最後の3列を外す（今回は最後の3列は目的変数相当）
X = df.iloc[:,:-3]

#今回いらなそうな特徴量を列ごと外す
X = X.drop('Thread ID', axis=1)
X = X.drop('Title', axis=1)

#集計の時はType列は数字で書いていたが、これはイベントのタイプで実はカテゴリ変数なので分かりやすくしておく
type_mapping = {1:'Push', 2:'Hybrid', 3:'Pull'} 
X.loc[:,'Type'] = X['Type'].map(type_mapping)

#Content列も実はカテゴリ変数
content_mapping = {1:'New_products', 2:'Major_upgrade', 3:'Tech_talk', 4:'Thought_leadership'} 
X.loc[:,'Content'] = X['Content'].map(content_mapping)

#TopicRange列もカテゴリ変数
topic_mapping = {1:'Broad', 2:'Between', 3:'Specific'} 
X.loc[:,'TopicRange'] = X['TopicRange'].map(topic_mapping)

#今回の目的変数は最後から3列目の「PV2m」なのでそこだけ抜き出してyとする
y = df.iloc[:,[-3]]

#X、yそれぞれの形と特徴量の最初の20行を表示してみる
print('X shape: (%i,%i)' %X.shape)
print('y shape: (%i,%i)' %y.shape)
X.head(20)
</code></pre>
(出力） 
X shape: (179,12) 
y shape: (179,1) <img height="178" src="/p/kg527f8nm2tg44pn4v29-ab884c0d.jpg" style="width:920px;height:178px;" width="920" alt="kg527f8nm2tg44pn4v29-ab884c0d.jpg" /><pre>
<code>#カテゴリ変数をone-hotエンコーディング
onehot_columns = ['Type',
 'Product',
 'Content',
 'TopicRange',
 'Video']
X_new = pd.get_dummies(X,
 dummy_na = True,
 columns=onehot_columns)

#Imputerを利用して欠損地を処理
imp = Imputer(missing_values='NaN',
             strategy='mean',
             axis=0)
imp.fit(X_new)
X_new_columns = X_new.columns.values
X_new = pd.DataFrame(imp.transform(X_new),
                    columns=X_new_columns)

#結果どのような形になったのかを出力してみる
print('X_new shape: (%i,%i)' %X_new.shape)
</code></pre>
(出力） 
X_new shape: (179,101) 
One-hotエンコーディングによって列数が101にまで増えていることが分かります。 
次に、RFEを利用して結果に影響を及ぼしている項目を抜き出します。n_features_to_selectとして10を指定することによりTop10が抜き出されるはず。Estimatorとしてはランダムフォレストを使用。
<pre>
<code>#ランダムフォレストとRFE（Recursive Feature Elimination）を利用して結果に影響を及ぼすTop10を抜き出す
selector = RFE(estimator=RandomForestClassifier(random_state=0),n_features_to_select=10, step=0.05)
selector.fit(X_new, y)
X_new_selected_rf = selector.transform(X_new)

#selector.support_ = Trueとなった合計10個の列だけを利用して新たなデータフレームを作成
X_new_selected_rf = pd.DataFrame(X_new, columns=X_new_columns[selector.support_])

#データフレームで表示すると値も出てきて見にくいのでprintと.dtypesを利用してで選択された項目を表示
print(X_new_selected_rf.dtypes)
</code></pre>
(出力） 
Experts#                 float64 
Replies                  float64 
Questions                float64 
Questioner#              float64 
non-answeredQ#           float64 
Reply_time_total(min)    float64 
Avg_first_reply_time     float64 
Content_Major_upgrade    float64 
Content_Tech_talk        float64 
TopicRange_Between       float64 
dtype: object 
ここら辺でほぼ自分の能力の限界まで来ているが、とりあえずEstimatorとして評判が良い勾配ブースティングも利用できるようなので、RandomForestClassifierの部分をGradientBoostingRegressorに書き換えるだけという超簡単な対応をしてみます。 
 
<pre>
<code>selector = RFE(estimator=GradientBoostingRegressor(random_state=0),n_features_to_select=10, step=0.05)
selector.fit(X_new, y)
X_new_selected_gb = selector.transform(X_new)

X_new_selected_gb = pd.DataFrame(X_new, columns=X_new_columns[selector.support_])

print(X_new_selected_gb.dtypes)
</code></pre>
(出力） 
Experts#                 float64 
Replies                  float64 
Questioner#              float64 
non-answeredQ#           float64 
Reply_time_total(min)    float64 
Avg_first_reply_time     float64 
Product_NSX              float64 
Product_OLS              float64 
Product_SAP-HANA         float64 
Product_VCE Vision       float64 
dtype: object 
これを見て分かることは、ランダムフォレストでも勾配ブースティング（Gradient Boosting）でも結構似たような項目が選択されているということです。 
できる人ならばこれらを上手く組み合わせて最適な項目なんかを自動で取得するプログラムを書くのでしょうが、そんなことは（まだ）出来ないので、人間アンサンブルをかけます（かっこつけた書き方してますが、両方とも選択している項目を引き抜くだけのなんでもない誰にでもできる処理です）。かなり泥臭くなってきました。。 
そうすると以下の6項目が選択できます。それぞれの意味も書いておきます。 Experts#：イベントに参加するエキスパート（回答者）の数           Replies：イベントの書き込み数（返信数）                  Questioner#：イベントに対して質問を行ったユニークユーザ数              non-answeredQ#：投稿された質問の中で無返信のまま放置されてしまった質問数 Reply_time_total(min)：質問が投稿されてから返信が書かれるまでの総時間 Avg_first_reply_time：質問が投稿されてから最初の返信が書かれるまでの平均時間 
なるほど。実際に運用をしている我々からみてもなんとなく納得がいく項目が並んでいます。ただ、欲を言うとこの6つの重要度の違いも知りたいところです。n_features_to_selectの数字を1から6まで徐々に増やして確認するということもできますが、あまりにもそれは泥臭すぎるので、ネット検索をしてみて見つかったコードを持ってきて確認してみます。 
そのコードの出力を見やすくするために、一つだけ下準備をします。
<pre>
<code>#人間アンサンブルで選択した6項目だけを持つデータフレームを作成
X_selected_final = X_new[['Experts#', 'Replies', 'Questioner#', 'non-answeredQ#', 'Reply_time_total(min)', 'Avg_first_reply_time']]
</code></pre>
 
あとは拾ってきたコードに突っ込みます（自分はこのコードの意味は読み取れていません・・・というかこの意味が読み取れていたらこれまでの面倒なことは一切必要なく、最初からこのコードで調査をしている気がします）
<pre>
<code>from IPython.display import display
import numpy as np
import pandas as pd
from scipy.stats import rankdata
from sklearn.preprocessing import StandardScaler,Imputer
from sklearn.ensemble import GradientBoostingRegressor, RandomForestClassifier
from sklearn.ensemble.partial_dependence import plot_partial_dependence
from sklearn.pipeline import Pipeline

%matplotlib inline
import matplotlib as mpl
mpl.rcParams['figure.figsize'] = (15,10)

def get_feature_importances(pipeline, columns):
    imp = pipeline.named_steps['est'].feature_importances_
    return pd.DataFrame([imp], columns=columns)

def get_top_N_features(pipeline, columns, N):
 df_imp=pd.DataFrame(get_feature_importances(pipeline,columns),
 columns=columns).T.rank(method='min',ascending=False)
 return df_imp.where(df_imp[0]<=N).reset_index().dropna().sort_values(by=0)

pipe_rf = Pipeline([('scl',StandardScaler()),
                    ('est',RandomForestClassifier(random_state=0))])
pipe_rf.fit(X_selected_final, y)

X_selected_final_columns = X_selected_final.columns.values

df_imp = get_feature_importances(pipe_rf,
                                X_selected_final_columns)
df_imp.T.plot(kind='bar',
              figsize=(17,4),
              legend=False)

est = pipe_rf.named_steps['est']
scl = pipe_rf.named_steps['scl']
N=100
df_top_N = get_top_N_features(pipe_rf,
 X_selected_final_columns,
 N)</code></pre>
(出力）<img height="325" src="/p/6wvm29kmnskrtf27jdgw-61958811.jpg" style="width:920px;height:325px;" width="920" alt="6wvm29kmnskrtf27jdgw-61958811.jpg" /> 
同じコードでランダムフォレストを勾配ブースティングに変更したものも実行します。
<pre>
<code>pipe_gb = Pipeline([('scl',StandardScaler()),
 ('est',GradientBoostingRegressor(random_state=0))])
pipe_gb.fit(X_selected_final, y)

X_selected_final_columns = X_selected_final.columns.values

df_imp = get_feature_importances(pipe_gb,
                                X_selected_final_columns)
df_imp.T.plot(kind='bar',
              figsize=(17,4),
              legend=False)

est = pipe_gb.named_steps['est']
scl = pipe_gb.named_steps['scl']
N=100
df_top_N = get_top_N_features(pipe_gb,
 X_selected_final_columns,
 N)
</code></pre>
(出力） <img height="325" src="/p/jp5bmext364rcegxv775-e763c8d1.jpg" style="width:920px;height:325px;" width="920" alt="jp5bmext364rcegxv775-e763c8d1.jpg" /> 
この両方の結果から以下がTop3であることが分かります。 Replies：イベントの書き込み数（返信数）                   Reply_time_total(min)：質問が投稿されてから返信が書かれるまでの総時間 Avg_first_reply_time：質問が投稿されてから最初の返信が書かれるまでの平均時間 
そしてこの中で「イベント主催者側でコントロールが効くもの」は実はAvg_first_reply_timeしかないことが分かります。 
これによって、イベントを成功させる（たくさんのページビューを稼ぐ）ためには、質問が投稿された際に、エキスパートは出来るだけ早く回答を書くことが重要であるという結論に至りました。 
これが機械学習講座を終えて、とりあえず自分で出来るようになったことを試してみた結果です。 
まだまだ実施していることは初心者の域を抜けませんが、それでも
<ul><li>分析のためのデータ収集がものすごく難しい</li>
	<li>前処理も結構面倒</li>
	<li>分析フェーズに入るとそこそこ楽しい</li>
	<li>コードが全て理解できなくても理論（何をしようとしているのか）が分かるとなんとなく使えることがある</li>
</ul>
というようなことを学べたよい経験になりました。

AIジョブカレの機械学習講座を受けた後、あるWebコミュニティイベントの分析をしてみた

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

自己教師あり可逆性対応の強化学習（AIの…

深層強化学習によるチップ設計の自動化（A…

ユーザーランキング

タグランキング

深層学習

deeplearning

ディープラーニング

AI

Transformer