IEEEが提言を発表　 Explainable AI(説明可能なAI)が必要な理由

IEEE(アイ・トリプルイー)は世界各国の技術専門家が会員として参加しており、さまざまな提言やイベントなどを通じ科学技術の進化へ貢献しています。

1日の終わりに好きなテレビ番組を見ようとすると、通常はストリーミングサービスが別の番組を見るよう提案してきます。こうした提案は、人工知能と機械学習によって、あなたのようなユーザーの行動に基づいて決定されます。

しかし、この人工知能モデルは、実際にはどのようにして決定を下しているのでしょうか？ストリーミングサービスのサーバーでホスティングされている何千ものプログラムの背後にある数値をどのように解析しているのでしょうか？あなたに関するデータをどのように処理して、あなたが別のどのユーザーと似ているかを判断するのでしょうか？

エンターテインメント分野に関する疑問は、それほど重要ではないように思えるかもしれませんが、人工知能システムは、自動運転車や医療診断のような人の生死に関わる状況でも使用されています。そして、これらのシステムに対しても同様の疑問があることから、AIシステムを「ブラックボックス」と呼ぶ人もいます。

Explainable AI(XAI)の取り組みは、AIが導き出した結果に対する信頼を築き、AIの限界を理解してもらうことを目的として、人々の疑問に答えるのを支援することに注力しています。

「私たちの第一の課題は、一般の人々にAIを利用し信頼することの意味を認識してもらうことです。」とIEEEフェローのカレン・パネッタ氏(Karen Panetta)は述べています。「AIが人々の生活、職業、健康、安全などに影響を与えるような決定を下す場合、どのようにしてその決定に至ったのか、そして人間はどのようにその情報を利用すべきなのかを徹底的に突き詰める必要があります。」

■なぜXAIが必要なのか？

Explainable AIは、大変ホットな話題になっています。IEEE Accessに掲載された記事「ブラックボックスの中身を覗く：Explainable Artificial Intelligenceに関する調査」は、同誌で最もよく読まれている記事の1つです。

IEEE Computer Magazineの2021年10月号には、このテーマでの記事が何本も掲載されています。

そして近年では、強力な生成AIモデルがリリースされ、各業界でAIへの依存度が増していることから、このテーマに対する関心はますます高まっています。

IEEE Accessの記事によると、XAIが必要とされる主な理由は4つあります。AIの出力が正確である理由を示すため、誤った予測や偏った予測を防ぐため、AIモデルを改善する道筋を示すため、そして、他の研究分野における新たなインサイトを活用するためです。

■AIエラーのリスクとは？

Explainable AIが必要とされる理由を理解するために、AIが誤った場合のリスクについていくつか考えてみましょう。

1. 交通機関においては、自動運転車が歩行者をビニール袋などの他の物体と間違えて、悲惨な結果を招いています。

2. 医療分野では、機械学習アルゴリズムを訓練することで、どの肺炎患者は入院が必要で、どの患者は外来で治療できるかを予測しました。このアルゴリズムは、喘息患者は死亡リスクが低いという誤った結論を導き出しました。実際には喘息患者は集中的な肺炎治療を受けることが多く、その結果、生存率が高まっていたのです。結局、このAIからは治療前に為すべきことに関するガイダンスを得ることはできませんでした。

3. 金融業界では、通常、貸し手が融資を拒否した場合、その理由を申請者に説明することが規制で義務付けられています。しかし、融資の決定に適用される機械学習モデルに透明性が確保されていなければ、貸し手はモデルが住宅ローンの申請を拒否した理由が分からない可能性があります。

■なぜAIは「ブラックボックス」と呼ばれるのか？

IEEEのシニアメンバーであるアントニオ・ペドロ・ティモシュク氏(Antonio Pedro Timoszczuk)によると、AIが「ブラックボックス」と呼ばれる所以は2つあるとのことです。1つ目は、私たちは何が起きているのか全く理解できないからです。2つ目は、AIのプロセスは、人間の能力では簡単に可視化できるようなものではないからです。

彼は2つ目が主な要因だと考えています。これは、特に人工ニューラルネットワークのような人間の認知を模倣する種類のAIに当てはまります。AIは、基本的にA点からの入力データをB点で特定の出力に変換することによって機能します。このプロセスには、データを整理して解釈し、意味のある方法で分類または区別できるようにするさまざまな数学関数が含まれています。

入力データの品質と多様性がその結果に重大な影響を及ぼします。しかし、この変換処理の間に、AIの内部で何が起きているのかを詳細に突き止めることは困難です。その理由は、AIが操作する次元の数が膨大で、何百、何千もの変数を同時に扱うことができるからです。この複雑さゆえにAIの内部動作はまるでパズルのようです。

一方で、別の観点もあります。AIの内部構造を解剖するのではなく、体系的にアプローチすることができます。つまり、AIで解決しようとしている課題を明確に理解することから始め、そのために必要なデータを厳選します。不要なデータを避ければ、分析はシンプルになります。このような体系的な観点からAIを調べることで、AIの振る舞いに関するインサイトを得ることができ、エラーや予期せぬ結果の根本原因をたどれる可能性があります。

IEEEのシニアメンバーであるサンビット・バクシ氏(Sambit Bakshi)によると、AIをブラックボックスと呼ぶことは、その内部メカニズムが理解できず、解釈できないことを暗に示すことになります。

「もしそうであれば、デバッグや監査は困難だったかもしれません。しかし、実際はそうではありません。」と彼は述べています。「AIベースシステムの誤出力を理解し、修正するために実践できる戦略がいくつかあります。特徴分析などのモデル解釈ツールを使用すれば、重要な特徴を判断できるので、モデルの決定に貢献度の高い要素についてのインサイトを得ることが可能になります。」

■IEEEについて

IEEEは、世界最大の技術専門家の組織であり、人類に恩恵をもたらす技術の進展に貢献しています。160カ国、40万人以上のエンジニアや技術専門会の会員を擁する非営利団体で、論文誌の発行、国際会議の開催、技術標準化などを行うとともに、諸活動を通じて世界中の工学やその他専門技術職のための信用性の高い「声」として役立っています。

IEEEは、電機・電子工学およびコンピューターサイエンス分野における世界の文献の30％を出版、2,000以上の現行標準を策定し、年間1,800を超える国際会議を開催しています。

詳しくは http://www.ieee.org をご覧ください。