病理学的な見地から脳の構造を解明しようという動きは古くから存在していたが，昨今では計算機科学の側面からのアプローチに注目が集まっている．このような背景から，米国では90年代のDecade of the Brainを皮切りにBRAIN Initiative，ヨーロッパではHuman Brain Project，我が国ではBrain/MINDS（革新的技術による脳機能ネットワークの全容解明プロジェクト）が発足する等，脳機能の解明及び応用に多額の資金及び人的リソースが投入されている．

「脳のエンコーディング」は，人間の知覚体験や精神活動を計測可能な脳活動に変換することであり，「脳のデコーディング」は，逆に計測された脳活動から，知覚体験や精神活動の再構築を行うことである．近年では，脳計測技術の進歩が著しい．様々な手法があるが，例えばfMRI（機能的核磁気共鳴画像法）は，脳内における数ミリスケールの直方体（ボクセル）で表現される部位の活性度合いを計測することが可能である．このような進歩に伴い，具体的な目覚ましい成果として，脳情報からの視覚像の再構成，思い浮かべている単語の予測，また夢の解読等が実現されている．

ニューラルネットワークが再び脚光を浴びている現在において，視覚情報処理においては，畳み込みニューラルネットワーク（CNN）を用いて画像認識を行う手法が普及している．音声認識でもCNNが高い性能を示している．言語処理ではword2vec等のニューラルネットワークを用いて単語ベクトル化を行う手法が提案され，広く用いられてきている．特に，これらの情報を統合した，複数の知覚の統合，マルチモーダル化が急速に進みつつあり，脳情報との統合が今後のトレンドになる可能性がある．

ここで構築された柔軟な知識表現は，汎用的人工知能を構築する上で大きな課題であったシンボルグラウンディング問題の一つの解になるとも考えられる．つまり，「りんご」を字面のりんごだけではなく，画像的，触覚的，比喩的感覚を含めた情報までも同時に扱えるようになると期待できる．これにより，美しさ等の形容詞的，主観的で曖昧な感性的な問いに対しても，以前よりクリアな解が得られる可能性がある．