人の話し方や表情を撮影した動画を評価して可視化する特許を取得

～多数の人が評価した結果を可視化する仕組みを構築～

2021.12.15 08:50

株式会社エフィシエント（本社：横浜市西区　代表取締役社長：脇坂健一郎　以下、EFFICIENT）は、AIによる話し方解析スマホアプリ「Steach」を開発するなかで、動画を複数の第三者が評価した結果を可視化する特許を取得しました。（https://steach.app/）

Steachの概要

Steachは、話している様子をスマホやPCで撮影すると、AIによって撮影された動画を解析、評価することができるアプリケーションです。客観的な評価を得ることで、「話し方」の効率的な改善を支援します。

「話し方」AI解析ツール【Steach】

「Steach」は話している様子をスマホやPCで撮影すると、目線や姿勢、話すスピード、話した内容のテキスト化をAIが解析&評価することができます。主観的な感覚のみでなく客観的に評価することで、「話し方」の効率的な改善を支援します。

steach.app

特許取得の経緯

Steachは、ユーザがスマホで撮影した動画をwebで閲覧することができ、機械学習によって撮影された動画は解析されて定量化されます。しかし、動画では話し方や表情が時系列で変化していきます。そのため平均的な評価（統計的な評価）よりも、人に近い感覚での評価が必要になると考えて、AIの解析手法であるディープラーニングを使った解析ができるように開発を進めています。
このディープラーニングによる解析エンジンを完成させるためには、AIエンジンに学習をさせるための教師データを作成する必要があります。その教師データを作成する仕組みを構築していく中で特許の仕組みを構築しました。

特許番号：特許6978815

j-platpat

www.j-platpat.inpit.go.jp

特許の特徴

今回取得した特許の特徴は下記となります。
・ユーザの話し方や表情に対する評価に関する情報を複数の第三者が評価（タグ付け）した結果を可視化（ヒストグラム表示）することができる機能
・表示されたヒストグラムをクリックするとクリックした時刻で動画を再生する
・再生中の時点に対応するヒストグラムの柱を強調表示する
・高評価タグに対応するヒストグラムの柱と、低評価タグに対応するヒストグラムの柱とを異なる表示形態で積層表示する

今後の特許の活用について

取得した特許は、人の話し方や表情を複数の第三者が評価して可視化することが可能です。そのため学習用動画教材や企業向け研修動画などを視聴者が見て、わかりやすい、わかりにくいなどの評価を行うことが可能となったり、企業の採用活動で動画を提出させるケースで複数人が同じ動画の評価を行ったりと多様な利用が可能と考えています。アノテーションツールとしての活用、開発も進めていく予定となります。