芝浦工業大学(東京都港区／学長 村上雅人)情報通信工学科の堀江亮太准教授は、脳波などの生体信号から複数の参加者の精神的な盛り上がりを計測し、度合いに応じてハートマークや桜吹雪などの視覚効果として演出し一体感を世界中で共有できるエンターテイメントシステムを開発しました。(※特願2018-127833号「ライブ演出システム、およびライブ演出方法」、出願人：学校法人芝浦工業大学)

それぞれの集中度を脳波で検知し、度合いに従ってハートマークや桜吹雪などの効果が現れる(「ユニティちゃんライブステージ！ -Candy Rock Star-」を使用 (C)Unity Technologies Japan/UCL)

■ポイント

(1) 参加者の盛り上がりに応じた視覚効果を共有することで実際のライブ会場のような一体感を得られる

(2) 生体信号の反応のみを要するため会場に出向くことができない肢体不自由者や高齢者が能動的に参加できる

(3) ライブに限らず講演会や企業発表会、学校での授業などで参加者の反応を可視化するなどの展開も可能

【背景】

没入型ヘッドマウントディスプレイの登場により、自宅にいながら没入感のあるライブを視聴することが可能となっています。しかしながら、従来のライブ体験システムでは、受動的視聴が多く演者と複数の観客の相互作用から生じる一体感を得られにくいという問題がありました。そこで、ライブ参加者全員が簡易脳波計を装着し、取得した脳波から全員の集中度を解析。解析結果に基づいた視覚効果をそれぞれのライブ画面に視覚的に再生することで、一体感が感じられるシステムを開発しました。場所を選ばずに参加をして一体感を感じることができるため、2020年東京オリンピック開催に伴うライブ会場不足や、ライブ会場のバリアフリー化の遅れの解決も期待されます。

【技術の概要】

簡易脳波計で脳波などを測定し、精神的な盛り上がりに伴って増加する脳波のβ／α比が増加し、閾値を超えたときに視覚効果を生成し表示させます。今回、全ユーザそれぞれの視覚効果を画面に現す＜クライアント型＞と、全ユーザの平均値が閾値を超えたときに視覚効果を現す＜サーバ型＞を開発しました。

実装例として、ユーザ数と同数の簡易脳波計、タブレット端末、没入型ヘッドマウントディスプレイ、クライアントPC、および1台のサーバPCから構成。各ユーザは脳波計と没入型ヘッドマウントディスプレイを装着し、額部と耳部の間で計測された脳波信号をタブレット端末上に送信します。次に、計測された脳波信号からβ／α比を算出。クライアントPC上のデータ処理プログラムに送信します。＜クライアント型＞では同データ処理プログラムがβ／α比に対応する視覚生成情報を生成し、サーバPC上に送信します。その後全クライアントPC上に共有し、全ユーザの画面に反映します。＜サーバ型＞の場合はクライアントPC上のデータ処理プログラムではβ／α比の処理はせず、サーバ上のデータ処理プログラムにて平均値を算出します。

【今後の課題】

今回、6名(3名1組)で実験を行った結果、＜クライアント型＞では、他のユーザとは効果を共有しない従来のシステム型よりも「一体感」を感じるアンケート評価が上回り、＜サーバ型＞でもβ／α比の増加のタイミングが揃って効果が生成されたときには一体感や達成感を感じる感想が得られました。今後、さらなるデータを収集し、視覚効果の共有によるβ／α比の変動分析や統計学的評価、閾値の設定などを行い、ライブ参加の一体感がより得られるシステムに改良を進めます。また将来的には、各地で行われる多様なライブを繋げるシステムに拡張し、「生体情報で世界をつなげるライブ」の実現を目指します。

本実験動画はYouTubeの“shibauramovies”よりご確認いただけます

https://youtu.be/BmR7jclp46U