2020/10/24 2020/10/24

AIの最新論文の読解（No.2）:ビデオ会議での「手話」検出

アクセス: 184

コメント: 0

“<a href="https://storage.googleapis.com/pub-tools-public-publication-data/pdf/2eaf0d18ec6bef00d7dd88f39dd4f9ff13eeeeb2.pdf">Real-Time Sign Language Detection using Human Pose Estimation</a>”(SLRTP2020, Amit Moryossef, etc., Google Research) を概説する。 ビデオ会議は、手話を使用して通信するユーザーを含むすべての人がアクセスできる必要がありますが、ほとんどのビデオ会議アプリケーションは、ウィンドウフォーカスを発話する人に移行するため、手話者が簡単かつ効果的にコミュニケーションできるように「発言権を取得」することはできません。その理由は、それを実現するアプリケーションは大量のビデオフィードを入力として使用し、分類予測を実行する必要があり、計算量が多くなるため、ビデオ会議でリアルタイムの手話検出を有効にすることは困難であると考えられているからです。 <img height="109" src="/p/3cm66f5m2smff74auzmf-ef95a568.gif" style="width:130px;height:109px;" width="130" alt="3cm66f5m2smff74auzmf-ef95a568.gif" /><ul><li>オリジナルなモデル設計</li>
</ul>
手話にはユーザーの体と手が関係するため、まずポーズ推定モデルPoseNetを実行します。これにより、HD画像全体から、目、鼻、肩、手など、ユーザーの体の小さなランドマークのセットへの入力が大幅に削減されます。これらのランドマークを使用して、フレーム間の<a href="https://en.wikipedia.org/wiki/Optical_flow">オプティカルフロー</a>を計算し、ユーザー固有の情報を保持せずにモデルで使用するためのユーザーモーションを定量化します。各ポーズは、モデルがカメラからの距離の範囲で手話者に確実に対応できるように、人の肩の幅によって正規化されます。次に、オプティカルフローは、モデルに渡される前に、ビデオのフレームレートによって正規化されます。 
ドイツ手話コーパス（DGS）を使用し、ナイーブなベースラインとして、オプティカルフローデータを使用して人が手話をするタイミングを予測する線形回帰モデルをトレーニングして、フレームあたりわずか3μs（0.000003秒）の処理時間を使用して約80％の精度と、線形モデルのコンテキストとして前の50フレームのオプティカルフローを含めることにより、83.4％の精度を達成。また、コンテキストの使用を一般化するために、長短期記憶（LSTM）アーキテクチャを使用。単層LSTMとそれに続く線形層を使用すると、モデルはフレームあたり3.5ms（0.0035秒）の処理時間で最大91.5％の精度を達成しました。 <img height="360" src="/p/htam426o25gu42wzyvnr-bdf74a21.gif" style="width:640px;height:360px;" width="640" alt="htam426o25gu42wzyvnr-bdf74a21.gif" /><ul><li>概念実証</li>
</ul>
手話検出モデルを使用し、ビデオ会議アプリケーションでアクティブスピーカー機能をトリガーする方法を考案、さまざまなビデオ会議アプリケーションに接続し、ユーザーが署名するときに「スピーカー」として設定できる、軽量でリアルタイムの手話検出Webデモを開発。上記のデモでは、tf.jsを使用してブラウザで実行されているPoseNetの高速な人間の姿勢推定と手話検出モデルを活用します。これにより、リアルタイムで確実に動作が可能になりました。 <img height="360" src="/p/ntbrhbfgw4jc2n69og3z-627b2103.gif" style="width:640px;height:360px;" width="640" alt="ntbrhbfgw4jc2n69og3z-627b2103.gif" />

AIの最新論文の読解（No.2）:ビデオ会議での「手話」検出

人気記事ランキング

YOLOv5 登場！このプロ…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

なぜZoomは40分で切れるのか？

DETR : transformerが組み込まれた物体検…

ユーザーランキング

タグランキング

深層学習

ディープラーニング

AI

deeplearning

Transformer