ラマ
LLaMA
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2024/01/13 22:47 UTC 版)
LLaMA(Large Language Model Meta AI)は、Meta AI が2023年2月に発表した大規模言語モデル[1][2]。70億パラメータから650億パラメータまで、さまざまなサイズのモデルが学習された。LLaMA の開発者は、130億パラメータモデルがほとんどのNLPベンチマークにおいてGPT-3(1750億パラメータ)の性能を上回ること、最大のモデルは PaLM や Chinchilla などの最先端モデルに匹敵することを報告している。従来、ほとんどの強力な大規模言語モデルは限られた API を通じてしかアクセスできなかったが、Meta は LLaMA のモデルのウェイトを非商用ライセンスで研究コミュニティに公開した。LLaMAのリリースから1週間で、そのウェイトがリークされた[3]。
- ^ Touvron, Hugo; Lavril, Thibaut; Izacard, Gautier; Martinet, Xavier; Lachaux, Marie-Anne; Lacroix, Timothée; Rozière, Baptiste; Goyal, Naman; Hambro, Eric; Azhar, Faisal; Rodriguez, Aurelien; Joulin, Armand; Grave, Edouard; Lample, Guillaume (2023). "LLaMA: Open and Efficient Foundation Language Models". arXiv:2302.13971 [cs.CL3]。
- ^ “Introducing LLaMA: A foundational, 65-billion-parameter large language model”. Meta AI (2023年2月24日). 2023年4月1日閲覧。
- ^ a b Vincent, James (2023年3月8日). “Meta's powerful AI language model has leaked online — what happens now?”. The Verge. 2023年4月1日閲覧。
- ^ llama - GitHub
- ^ stanford alpaca - GitHub
- ^ Yizhong Wang; Yeganeh Kordi; Swaroop Mishra; Alisa Liu; Noah A. Smith; Daniel Khashabi; Hannaneh Hajishirzi (2022年12月20日), “Self-Instruct: Aligning Language Model with Self Generated Instructions” (英語), arXiv, arXiv:2212.10560, ISSN 2331-8422, Wikidata Q117202254
- 1 LLaMAとは
- 2 LLaMAの概要
- 3 アーキテクチャと学習
- 4 関連項目
リャマ
- Llamaのページへのリンク