IEEEメンバーが提言　 アフェクティブ コンピューティングの専門家　 はこだて未来大学システム情報科学部 角 薫 教授

IEEE(アイ・トリプル・イー)は世界各国の技術専門家が会員として参加しており、仮想現実(VR)や拡張現実(AR)、複合現実(MR)、メタバース(仮想空間)、人工知能(AI)といった先進技術の世界的な諸課題に関しても、さまざまな提言やイベント、標準化活動を通じ技術進化へ貢献しています。

IEEEシニアメンバーである、はこだて未来大学システム情報科学部の角薫教授は、VRやMRのほか、カメラや生体センサーなどのセンシング、球体ディスプレイなど多種多様なデジタル技術を駆使し、人の感情を推定したり、感情が伝わりやすい表現などを研究することで、人と機械、人と人のコミュニケーションをより円滑にすることを目指しています。

角教授が目指すのは、個人の知識や言語や空間などの制約を超えたコミュニケーションを支援できるツールの実現です。

はこだて未来大学 角 薫 教授

角教授は研究活動初期の修士課程時にジェネティックアルゴリズム(遺伝的アルゴリズム、GA)に関する研究をしました。GAは生物の進化、遺伝にヒントを得たアルゴリズム(計算手法)のことで、コンピューター制御に使われます。ここで現在の研究に活用している人工知能や各種デジタル技術に精通することになります。

博士課程では、コミュニケーション支援についての研究を始めます。その一つが、対象となる個人の興味や知識を推定し、コミュニケーションに有用なものを提示する、というものです。円滑なコミュニケーションを実現するための重要な要素技術となります。「情報提示の個人化によるコミュニケーション支援」(1997ー2001)をテーマにした研究では、質問などへの返答、といったオペレーションの履歴から対象となる個人の知識を推定し、そこから情報を補足するというシステムの有効性を示しました。

その後、情報通信研究機構(NICT)時代に研究した「テキストからアニメーションへのメディア変換による理解支援システム」(2004ー)では、言葉と動作がひもづけられた消費者生成メディアによるアニメーションデータベースづくりを進めました。具体的には、文字などのテキスト情報をアニメーションへ自動的に変換する理解支援システムを開発しています。音声のみや、静止画＋音声、動画＋音声といった条件で実験し評価した結果、子どもの理解の助けとなり既存の知識や質問を引き出し、理解を加速化させることを示しました。

現在は、脳の働きから意思や感情をくみ取る機器であるブレイン・コンピューター・インターフェースや生体センサーなどをつかった生体情報処理を指すアクティブコンピューティングや、人と機器とのコミュニケーションを示すヒューマン・コンピューター・インタラクション(HCI)の研究を進めています。

「球体ディスプレイを用いた人工物とのコミュニケーション」(2020-)では、ヘッドマウントディスプレイ(HMD)をかけた対象者が遠隔地とのコミュニケーションを行います。遠隔地では、対象者は球体ディスプレイに表示されたアバター(分身)となって表示され、本人ではない別人として参加し、やり取りします。球体ディスプレイはリアルな表情をアバターを介して表示し、対象者は360度カメラにより対象者が遠隔地を見渡すことができるため、コミュニケーションの助けとなります。こうしたものを通じて、アバターによる表情と音声でどういったコミュニケーションができるかを研究しています。

遠隔から別人として参加するシステム

ロボットやアバターを使った感情を介したコミュニケーションにも挑んでいます。「表情と言葉による印象とその影響」(2008ー2010)では、笑顔や怒った顔、といった表情を顔に映し出すアバターを使った人と人とのコミュニケーションを研究しました。表情と言葉の受け答えが人間へ及ぼす印象と、その後の対話への影響について、被験者を用いた心理学実験とその評価です。まず、表情と言葉の組み合わせ96通りをアバターの顔に表示できるシステムを開発。

感情を介したロボットとのコミュニケーションシステム

それを使い、1253人に実験しました。受けた印象とその後の応諾行動(どう受け取り行動したか)には関連があり、相手の状況を先読みし思いやる受け答えが人を説得しやすい、ということを示しました。角教授によると、表情は大げさに伝えた方が相手に伝わりやすく、例えば悲しみに対する受け答えには、驚いた表情と悲しい話し方の方がより受け手側に好印象であることなどが分かったとのことです。現在はその発展として、ロボットとのインタラクションにおいて、さまざまな感情における意図の伝わり方や、人に対する影響や、感情モデリングの研究を進めています。

さらに、「アカデミック感情の認識に対応した学習支援システム」(2017-)は、日本人とフィリピン人の被験者に実験に参加してもらい、国での感情表現の違いについても比較しました。被験者をカメラで撮影し、そのときの感情を表情、しぐさ、顔向き、キーボードのタイピングなどにより推定するものです。実験では、学生にプログラミング学習システムを使ってもらい、そのときの感情を推定しました。難しすぎる場合は混乱、ちょうど良いレベルでは満足、簡単すぎるときは退屈、といった感情に分類できます。その推定に応じて問題レベルを変える、といったことを繰り返した結果、日本人は感情出方が弱く、フィリピン人は日本人より感情が強く出る、といった違いがあったということです。今後は精度を高めていく必要があるといいます。そのほか、歩き方による感情の分析などの研究も進めています。

角教授が実現したいのは、感情を予測して上手にコミュニケーションができるセールスマンです。それが、円滑なコミュニケーションを支援するツールの進化形としての当面の目標となります。実現には、実験の繰り返しに加え、センサーやロボット、AIなどの技術進化も必要です。特に米オープンAIの「チャットGPT」に代表される生成AIは「言葉をつくり出すために活用できる」(角教授)ということです。

ただ、理想とするシステムが実現するまでは遠く、いまは初歩の段階にあるそうです。実験でデータを集めながら、目標へ地道に進めていきたいと言います。それでも次代の研究者が実現することになるのことです。

一連の取り組みは、アフェクティブ(感情)コンピューティング、ヒューマン・ロボット・イントラクション(HRI)、ヒューマン・エージェント・インタラクション(HAI)といった分野となります。人と人工物との関係性の研究はこれからの分野でもあり、日本は世界的にも進んでいるそうです。人と人工物との関係性を進めるには、研究だけでなく社会受容性の変化も必要となります。角教授は「サービスロボットはこれまで、あまり役に立たないとされてきたが、知的なパートナーとして認知されないといけない」と訴えています。

人の感情は、分かっていない部分が多いです。加えて、アバターやロボットを介したものはもっと不明であると言えます。角教授の研究分野はそこが魅力であり、次代を担う若い研究者にとってもやりがいのある分野です。とくにAIや深層学習を応用できる人材の参加を求めています。

■IEEEについて

IEEEは、世界最大の技術専門家の組織であり、人類に恩恵をもたらす技術の進展に貢献しています。160カ国、40万人以上のエンジニアや技術専門会の会員を擁する非営利団体で、論文誌の発行、国際会議の開催、技術標準化などを行うとともに、諸活動を通じて世界中の工学やその他専門技術職のための信用性の高い「声」として役立っています。

IEEEは、電気・電子工学およびコンピューターサイエンス分野における世界の文献の30％を出版、2000以上の現行標準を策定し、年間1800を超える国際会議を開催しています。

詳しくは http://www.ieee.org をご覧ください。