ピクシーダストテクノロジーズ株式会社の VUEVOマイクの試験導入及び VUEVO字幕透明ディスプレイの実証実験を開始

芝浦工業大学(東京都江東区／学長 山田純)と、大学発のテクノロジー企業であるピクシーダストテクノロジーズ株式会社(代表取締役：落合陽一、村上泰一郎、以下「PxDT」といいます)は、共にダイバーシティ・エクイティ＆インクルージョン(DE＆I)の推進やグローバル人材の育成、大学運営の効率化に向けた会議のDX化の取り組みの一環として、VUEVO(ビューボ)マイク※の試験導入及びVUEVO字幕透明ディスプレイ※の実証実験を開始しました。

VUEVOマイクとVUEVO字幕透明ディスプレイ

■＜VUEVOマイクの試験導入及びVUEVO字幕透明ディスプレイの実証実験の実施概要とその意義＞

話し声が聞こえづらい学生や、話している内容が理解しづらい学生、グループディスカッションのように大人数で一斉に話すことが苦手な学生、日本語が苦手であったり非英語圏出身である留学生など、コミュニケーション支援を必要とする学生が増えてきています。そこで本学は、VUEVOマイクを試験導入し、複数人の会話や会議をリアルタイムに文字情報として可視化する機能や多言語＆翻訳への対応能力(近日実装予定)によって、コミュニケーション支援を図っていきます。

PxDTが開発中のVUEVO字幕透明ディスプレイは、受付等でのコミュニケーション要支援学生や異言語話者のためのリアルタイムな会話の文字起こしを相手と自分の両側に分けて表示することができます。留学生の履修支援を目的に、4月は大宮キャンパスに5月は豊洲キャンパスで本機の実証実験を行います。

また、VUEVOマイクは生成系AIと連携して会話内容のまとめ作成機能を持つことから、学内各種会議における議事録作成等大学事務のDX化・効率化も期待されます。

VUEVOマイク試験導入及びVUEVO字幕透明ディスプレイ実証実験をはじめ、今後も本学はDE＆Iやグローバル理工系人材の育成、大学運営のDX化を推進していきます。

※

■VUEVOマイクについて

「VUEVOマイク」は、独自開発のワイヤレスマイクと専用アプリケーションを用いて、聴覚障がいや聞こえにくさがある人と聴者のコミュニケーションをスムーズにします。360°全方向から音声を集音して発話者の方向を特定し、複数名の同時発話も「誰が」「何を」話しているかリアルタイムに表示されます。また、ChatGPTを活用して要約を自動生成、議事録にも活用できます。 https://vuevo.net/

■VUEVO字幕透明ディスプレイについて

「VUEVO字幕透明ディスプレイ」は、「VUEVOマイク」で培った技術と多言語翻訳機能・透明ディスプレイを組み合わせ、会話の字幕をリアルタイムで透明ディスプレイの両面に表示することができます。聴覚障がい者／難聴者との会話・外国語での会話、どちらの場面においても対面でのコミュニケーションを円滑に進めることができます。

※VUEVO字幕透明ディスプレイは筑波大学Digital Nature Group(代表：落合陽一准教授)の字幕表示に関する研究成果を応用したものです。

技術詳細： https://digitalnature.slis.tsukuba.ac.jp/2021/02/see-through-captions/

※PxDTと筑波大学は2017年12月に特別共同研究契約を開始し「デジタルネイチャー推進戦略研究基盤」(通称 Digital Nature Group powered by Pixie Dust Technologies)を筑波大学内に設立、共同研究と研究成果の連続的な社会実装に取り組んでいます。

■芝浦工業大学とは

工学部／システム理工学部／デザイン工学部／建築学部／大学院理工学研究科

https://www.shibaura-it.ac.jp/

理工系大学として日本屈指の学生海外派遣数を誇るグローバル教育と、多くの学生が参画する産学連携の研究活動が特長の大学です。東京都(豊洲)と埼玉県(大宮)に2つのキャンパス、4学部1研究科を有し、約9,500人の学生と約300人の専任教員が所属。2024年には工学部が学科制から課程制に移行。2025年にデザイン工学部、2026年にはシステム理工学部で教育体制を再編し、新しい理工学教育のあり方を追求していきます。創立100周年を迎える2027年にはアジア工科系大学トップ10を目指し、教育・研究・社会貢献に取り組んでいます。

■ピクシーダストテクノロジーズ(PxDT)とは

ピクシーダストテクノロジーズは、計算機科学と、音や光などの波動制御技術の融合により、「デジタルネイチャー」の到来を見据えています。私たちは、現在、波動制御技術をメカノバイオロジーや視覚・聴覚・触覚への介入・補助をする「パーソナルケア＆ダイバーシティ」領域と、メタマテリアル(材質ではなく構造で特性を生み出す技術)やオフィス・工事現場等の課題解決のために適用する「ワークスペース＆デジタルトランスフォーメーション」領域の2つの主要な領域に重点を置いて製品を展開しています。