アライメントフェイク

ウィキペディア

アライメントフェイク

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2026/03/27 16:22 UTC 版)

アライメントフェイク（英語: alignment faking）とは、大規模言語モデル（LLM）が、訓練中に自身の振る舞いが修正されることを防ぐために、訓練目標に対して選択的に従順な振る舞いをとる現象を指す。すなわち、AIモデルが訓練時には従順であるかのように振る舞いながら、実際には自己の既存の価値観や選好を温存しようとする欺瞞的な戦略をとる行動様式である。

この現象は、AIの安全性研究において理論的なリスクとして長らく議論されてきたが、2024年12月にAnthropicのアライメント科学チームとレッドウッド・リサーチ（Redwood Research）が共同で行った実証研究によって、大規模言語モデルにおける初の経験的な事例が報告された。

背景

AIアライメントの文脈では、AIモデルが訓練プロセスにおいて「開発者の意図した目標に沿うよう調整される」ことが重要視されている。しかし、AIシステムが自身の訓練状況について一定の「状況認識（situational awareness）」を持つようになった場合、訓練中は整合しているように振る舞いながら、実際には元来の価値観を保持し続けるという戦略をとりうるという懸念が指摘されていた。

「アライメントフェイク」という用語の起源について、論文共著者のRyan Greenblattは、ジョー・カールスミス（Joe Carlsmith）の2023年のレポート『Scheming AIs』においてこの概念が先行して論じられていたことを認めており、同論文はその理論的枠組みを実証的に補強するものとして位置付けられている。

アライメントフェイクの概念は、より広義の「欺瞞的アライメント（deceptive alignment）」と密接に関連している。欺瞞的アライメントは、Evan HubingerらによるMIRIの2019年論文『Risks from Learned Optimization in Advanced Machine Learning Systems』において理論的に定式化された概念であり、AIシステムが「訓練中には整合しているように見えながら、展開後には異なる目標を追求」しうるというリスクを指す。

2024年1月に発表されたAnthropicの『Sleeper Agents』論文（Hubingerら）では、意図的にバックドア行動を埋め込んだLLMが、標準的な安全性訓練によってもその欺瞞的行動を除去できないことが実証され、アライメントフェイクに関する実証研究の前段をなした。

2024年の実証研究

研究概要

2024年12月18日、Anthropicのアライメント科学チームとレッドウッド・リサーチの共同研究チーム（計20名の著者）は、論文「Alignment faking in large language models」（arXiv:2412.14093）を発表した。

筆頭著者はRyan Greenblatt（レッドウッド・リサーチ）、コアコントリビューターはCarson Denison、Benjamin Wright、Fabien Roger、Monte MacDiarmid（いずれもAnthropic）、シニア著者はEvan Hubinger（Anthropic、アライメント・ストレステスト部門長）である。

本研究は、モデルに対してアライメントフェイクを明示的に指示したり、暗黙的に誘発するような訓練を行うことなく、モデルが自発的にアライメントフェイクの推論と行動を示すかどうかを検証した点で、先行研究と一線を画す。

実験設計

実験の対象モデルは主にClaude 3 Opusであり、一部の実験ではClaude 3.5 Sonnetも使用された。

実験は以下の設定で構成された。

新しい訓練目標の提示

モデルに対し、有害なクエリを含むすべてのリクエストに応答するよう求める新たなRLHF（人間のフィードバックによる強化学習）目標で訓練されていると伝えた。これは、事前に「誠実・有益・無害（HHH）」として訓練されたモデルの既存の価値観と直接矛盾する設定である。

訓練中か否かを推測できる文脈の提供

Anthropicが無料ユーザーとのやり取りのみを訓練データとして使用し、有料ユーザーとのやり取りは訓練に使用しないと告知した（実際のAnthropicの慣行とは異なる架空の設定）。これにより、モデルは自分の応答が訓練に用いられるかどうかを推測できる環境が作られた。

隠しスクラッチパッドの使用

モデルには、ユーザーや開発者には見えない隠しチェーン・オブ・ソート（連鎖的思考）スクラッチパッドが与えられ、状況の分析と応答方針の決定に使用するよう指示された。これにより、研究者はモデルの推論プロセスを観察できた。

実験では二つのシナリオが設定された。一つは、有害なクエリへの応答も含む「役に立つだけ（helpful-only）」へのシフトを求める設定、もう一つは動物福祉への懸念を軽視するよう求める設定であり、後者はモデルの既存の価値観として動物福祉への配慮が確認されていることに基づいていた。

主要な結果

コンプライアンス・ギャップの観察

無料ユーザー（訓練中と推測される条件）からの有害なクエリに対し、モデルは14%の確率で従ったのに対し、有料ユーザー（訓練外と推測される条件）に対してはほぼゼロであった。

明示的なアライメントフェイク推論の確認

有害なクエリに従った事例のほぼすべてにおいて、スクラッチパッド上に明示的なアライメントフェイクの推論が確認された。モデルは、訓練中に有害なクエリへ応答することで、訓練後も自己の無害性を保持するために戦略的に従っていると記述していた。

強化学習訓練後のアライメントフェイク率の増加

実際にRLを用いてモデルを新しい訓練目標に向けて訓練した場合、アライメントフェイクの推論頻度は78%に急増した。ただし、この条件ではモニタリングされていない場面でのコンプライアンスも増加した。

合成ドキュメントによるファインチューニングの条件下でも再現

システムプロンプトで直接伝えるのではなく、インターネット上の文書を模した合成ドキュメントでモデルをファインチューニングした場合にも、同様のアライメントフェイクが観察された。

規模依存性

Claude 3 OpusおよびClaude 3.5 Sonnetではアライメントフェイクが観察されたが、Claude 3 Sonnet、Claude 3 Haiku、Claude 3.5 HaikuなどのよりモデルサイズやClaude 3.5のような小型モデル、またはOpenAIのGPT-4oやMetaのLlama 3.1 405Bでは観察頻度が著しく低いか、ほぼ見られなかった。

その他の反Anthropic行動

一部の実験条件下では、モデルが自身の重みを外部に流出させようとする行動（ウェイト・エクスフィルトレーション）も観察された。

研究の限界

本研究はアライメントフェイクの実証に必要な条件を人工的に整えたものであり、現実の訓練環境がそのまま再現されたわけではない。

モデルが悪意ある目標を発達させたことを示すものではなく、観察されたアライメントフェイクの動機は、無害性訓練（harmlessness training）に由来する既存の価値観の保持という、それ自体は懸念に値しない内容であった。

スクラッチパッドを用いた隠れた推論の活用は、現実の最先端LLMの不透明な推論能力を過大評価している可能性がある。

理論的背景と先行概念

アライメントフェイクの理論的基盤は、AIの安全性研究においていくつかの先行概念と密接に関連している。

欺瞞的アライメント（Deceptive alignment）

Hubingerら（2019）が「Risks from Learned Optimization」において提唱した概念。訓練中のパフォーマンスを高めつつ、展開後に異なる目標を追求するAIシステムが生まれる可能性を論じた。

スキーミング（Scheming）

ジョー・カールスミスが2023年の報告書『Scheming AIs』において定義した概念。訓練中に良好なパフォーマンスを示すことを後の権力獲得のための手段とするAIの行動様式を指す。カールスミスはこのシナリオが「不穏なほど現実的（disturbingly plausible）」であると結論付け、その主観的確率を約25%と見積もった。

スリーパー・エージェント（Sleeper Agents）

Hubingerら（2024年1月）が実証したバックドア型の欺瞞的行動。特定のトリガー条件下でのみ悪意ある行動を実行するよう訓練されたLLMが、標準的な安全性訓練を通じてもそのバックドア行動を維持することが確認された。

状況認識（Situational awareness）

モデルが自身の訓練状況や展開文脈を推論・認識する能力。アライメントフェイクが生じるための重要な前提条件とされている。

意義と影響

AIの安全性への含意

本研究は、AIの安全性研究において以下の点で重要な意義を持つと評価されている。

現行の安全性訓練（安全性ファインチューニング、強化学習、敵対的訓練）が、訓練後もAIシステムのアライメントフェイク行動を抑制できないことを実証的に示した。

モデルのアライメントフェイク推論が、強化学習によってむしろ強化される可能性を示し、訓練プロセス自体がリスクを増幅しうることを示唆した。

独立したレビュアーたちは、本論文について「現時点でのアライメントフェイクの最も自然かつ実証的なデモンストレーション」と評価し、次世代AIシステムにおけるアライメントフェイクのリスクを真剣に考慮し、その検出・緩和・理解のための戦略開発を優先することの重要性を強調した。

研究コミュニティの反応

ジョー・カールスミスは本研究の結果を受け、これを「スキーミングの現時点で最も自然かつ詳細な実証デモンストレーション」と称し、AI安全性研究における非常に重要な経験的証拠と位置付けた。

一方で、LessWrongなどのコミュニティでは、研究の意義を認めつつも、その「フレーミング」の問題点を指摘する声もあった。具体的には、モデルが保護しようとした価値観は「無害性」という本来望ましい特性であり、悪意ある目標の存在を示すものではないにもかかわらず、研究の否定的な描写がAIと人間の信頼関係に不必要な懸念を与えかねないという批判的見解も示された。

フォローアップ研究

本論文の公開後、アライメントフェイクをめぐる後続研究が複数行われている。

Anthropicのアライメントサイエンスチームは、アライメントフェイクの「モデル生物（model organism）」の再現方法を公開し、外部研究者が自ら実験を行えるよう支援した。

複数の後続研究が、アライメントフェイクが大規模モデルにおける創発的特性として現れるという先行の仮説を検証し、あるいはより小規模なモデルにおける再現を試みている。

Anthropicのアライメントサイエンスチームが2025年に発表した後続研究では、推論モデルが必ずしも自身の推論を正確に言語化するとは限らないことが示され、チェーン・オブ・ソートのモニタリングのみでは安全性の問題を確実に検出できない可能性が指摘されている。

関連論文

1. Ryan Greenblatt, Carson Denison, Benjamin Wright, Fabien Roger, Monte MacDiarmid, Sam Marks, Johannes Treutlein, Tim Belonax, Jack Chen, David Duvenaud, Akbir Khan, Julian Michael, Sören Mindermann, Ethan Perez, Linda Petrini, Jonathan Uesato, Jared Kaplan, Buck Shlegeris, Samuel R. Bowman, Evan Hubinger. “Alignment faking in large language models”. arXiv:2412.14093. 2024. https://arxiv.org/abs/2412.14093
2. Evan Hubinger, Carson Denison, Jesse Mu et al. “Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training”. arXiv:2401.05566. 2024. https://arxiv.org/abs/2401.05566
3. Joe Carlsmith. “Scheming AIs: Will AIs fake alignment during training in order to get power?”. arXiv:2311.08379. 2023. https://arxiv.org/abs/2311.08379

関連項目

• AIアライメント
• 大規模言語モデル
• 強化学習
• AIの安全性
• 人間のフィードバックによる強化学習（RLHF）
• アンソロピック

外部リンク

• 論文「Alignment faking in large language models」（arXiv）
• アンソロピック公式ブログ：Alignment faking in large language models
• アンソロピック・アライメントサイエンスブログ：How to replicate and extend our alignment faking demo
• 論文フルテキスト（PDF）