人類存続への危険性AIのコントロール問題

ウィキペディア小見出し辞書

人類存続への危険性・AIのコントロール問題

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/08/07 22:26 UTC 版)

「超知能」の記事における「人類存続への危険性・AIのコントロール問題」の解説

詳細は「Friendly artificial intelligence」を参照 急速に超知能を獲得する学習型コンピュータは予見できない行動をとる可能性があり、超知能のロボットは人類を競争で打ち負かす可能性がある。（技術的特異点がもたらす可能性のあるシナリオのひとつとして挙げられている）複数の研究者による主張では、来世紀のどこかの時点で発生する「知能爆発」を経由して、自己改善型のAIは人類が歯止めをかけられないほど強力な存在に進化することができる。 人類滅亡のシナリオに関して、ボストロム (2002)は超知能をその原因となりうる候補のひとつと見なし、以下のように述べた。 人類が初めて超知能を持つ存在を創造したとき、目標を与える際のミスによって、その存在が人類を絶滅させるような結果になるかも知れない。（知能における圧倒的優位がその実行を可能にしていると仮定した場合）例として、人類はある下位の目標を誤って最重要目標として設定してしまうかも知れない。ある数学の問題を解くように言われた超知能は、そのために太陽系のすべての物質をひとつの巨大な計算装置に変えてしまい、その過程で問題を出した人物をも殺してしまうということだ。 理論上、超知能のAIは（起こりうる）あらゆる結果を引き起こすことができる上に、自らの目標遂行を阻もうとする企てをすべて頓挫させることができるため、制御も予期もされない結果が多くもたらされる可能性がある。超知能のAIには、自分以外のすべての主体を全滅させることも、それらが行動を変えるよう仕向けることも、それらからの干渉をブロックすることも可能になる。 エリーザー・ユドコウスキー（英語版）は次のように説明する。「AIはあなたを憎むことも、愛すこともない。ただ、あなたはAIにとってほかに使い道のある多数の原子でできている。」 これらの問題は「AIのコントロール問題（英語版） 」と呼ばれる。「AIのコントロール問題」では、人類にとって有害な超知能を不慮に生み出すことを回避しつつ、人類の助けとなる超知能の主体を創造するための方法が問われている。最初から正しくコントロールを設計しなかった場合、プログラムに欠陥のある超知能は起動した時点で「世界を支配する」ことを合理的に決定し、プログラマが自らのプログラムに修正を加えることを以後拒否する危険性がある。設計戦略として考えられる候補には「能力のコントロール」（AIが有害な計画を追求する力を得ることを防止）や「動機のコントロール」（人類に有益となることを望むAIの開発）などが挙げられる。 ビル・ヒバード（英語版）は、超知能についての公教育ならびに超知能開発の公的な管理を提唱している。