ファインチューニング (機械学習)
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2025/09/06 08:31 UTC 版)
機械学習の文脈において、ファインチューニング（英: fine-tuning）や微調整は、事前学習したモデルの重みを新しいデータで訓練する転移学習の一つの手法である[1]。
ファインチューニングは、再学習の際にパラメータ全体を更新する方法と、一部のパラメータのみ更新する方法がある。後者の場合、ファインチューニングを行わないパラメータは「凍結」され、学習（バックプロパゲーションなど）の過程で更新されない[2]。
概要
畳み込みニューラルネットワークなど、いくつかのアーキテクチャでは、浅い層（入力層に近い側）は低レベルの特徴を捉えるために凍結しておくのが一般的で、それより深い層（出力層に近い側）は、モデルが訓練されたタスクとより関連しうる高レベルの特徴を識別することがよくある[2][3]。
自然言語処理（NLP）、特に言語モデリングの分野では、ファインチューニングはよく行われる方法である。たとえば、OpenAIのGPT-2のような大規模言語モデルの場合、下流の自然言語処理タスクでファインチューニングを行うことで、事前学習モデルが通常達成するよりも優れた結果を得ることができる[4]。大規模かつ一般的なコーパスで事前訓練されたモデルは、通常、出発点としてモデルパラメータを再利用し、最初から訓練されたタスク固有の層を追加することでファインチューニングされる[5]。モデル全体をファインチューニングすることも一般的で、より良い結果が得られることが多いが、その代わりに計算量が多くなる[4]。また、完全なファインチューニングは過剰適合を起こしやすく、ファインチューニングで使用した訓練データの分布以外のデータに対してモデルの性能を低下させる可能性がある[6]。
ファインチューニングは通常、教師あり学習で行われるが、弱教師あり学習でモデルをファインチューニングする技術もある[7]。また、ChatGPT（GPT-3のファインチューニング版）やSparrowなどの言語モデルのファインチューニングには、人間のフィードバックによる強化学習が使用されている[8][9]。
Parameter Efficient Fine-Tuning
Parameter Efficient Fine-Tuning (PEFT) は、訳は「効率的なパラメータの微調整」で、ファインチューニングする際に、一部のパラメータだけを更新する手法の総称。LoRAなどの手法がある。
LoRA
Low-Rank Adaptation（LoRA）は、既存の重みに低階数行列（これが学習対象の行列）を加算して訓練する[10]。基本的な考え方は次のとおりである。モデル内に 
この項目は、コンピュータに関連した書きかけの項目です。この項目を加筆・訂正などしてくださる協力者を求めています（PJ:コンピュータ/P:コンピュータ）。
- ファインチューニング (機械学習)のページへのリンク
