2021.01.21
「聞こえた音、思い出した音」を脳波から音で再現する技術を開発
脳内の音声処理機構の理解に向けて
東京工業大学 科学技術創成研究院の吉村奈津江准教授（科学技術振興機構さきがけ研究員兼務）、明石航大学院生（研究当時）、神原裕行助教、緒方洋輔特任助教（研究当時）、小池康晴教授、ルドビコ・ミナチ特定准教授は、頭皮で記録された脳波信号（EEG）から音声を直接再構築するために有望な手法を開発した。
参加者が2つの母音「ア」と「イ」を視聴後に思い出したときに記録されたEEGを用いて、聞かせた音源のパラメータを畳み込みニューラルネットワーク（CNN）によって推定した。推定されたパラメータを用いて復元した母音の音声は非常に明瞭で、実際に視聴した者とは別の参加者が音声の弁別を行ったところ、85%を超える認識率を示す音声だった。さらに、音源パラメータの推定のためにCNNが抽出した脳波の特徴は、何の音かを特定するために使われる脳内の聴覚経路（Whatストリーム）に含まれる領域であり、この手法の脳科学的妥当性も示された。
この抽出された特徴を調べることで、音声を聞いている時とそれを想起している時の脳活動領域の違いがさらに示唆された。この手法はその人がどのように聞こえているか、聞こえていないのか、を客観的に把握し、さらに脳のどこを使っているのかを調べられる可能性があるため、EEGを利用した脳内の聴覚・音声・言語処理の評価が可能になる効果が期待される。
本研究は、ドイツ科学技術誌「Advanced Intelligent Systems（アドバンスド・インテリジェント・システムズ）」に1月7日（現地、ドイツ時間）に掲載された。
