小規模言語モデル

ウィキペディア

小規模言語モデル

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2025/05/17 00:55 UTC 版)

小規模言語モデル（Small Language Model, SLM）は、言語やテキストの生成を含む人間の自然言語処理のために設計された人工知能言語モデルである。大規模言語モデル（LLM）と異なり、小規模言語モデルは規模と範囲がはるかに小さい。

通常、LLMのトレーニングパラメータは数千億であり、一部のモデルでは1兆パラメータを超えることがある。LLMが膨大なサイズである理由は、大量の情報を抱えることで、より良いコンテンツを生成するモデルであることによる。その分、膨大な計算能力が必須であり、個人がコンピュータ1台だけでGPUを利用して大規模言語モデルをトレーニングすることは不可能である。

一方、小規模言語モデルは、通常数百万から数十億の範囲で、はるかに少ないパラメータを使用しする。これにより、単一のコンピュータやモバイルデバイスなどのリソースが限られた環境でトレーニングやホストをより実現可能にしている^[1][2][3][4]。

関連項目

• エッジコンピューティング

出典

1. ^ Rina Diane Caballar (2024年10月31日). “What are small language models?”. IBM. 2025年5月17日閲覧。
2. ^ John JOhnson (2025年2月25日). “Small Language Models (SLM): A Comprehensive Overview”. Huggingface. 2025年5月17日閲覧。
3. ^ Kate Whiting. “What is a small language model and how can businesses leverage this AI tool?”. The World Economic Forum. 2025年5月17日閲覧。
4. ^ “SLM (Small Language Model) with your Data”. Microsoft (2024年7月11日). 2025年5月17日閲覧。