ラマ
LLaMA
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2025/01/17 13:41 UTC 版)
![]() | この記事は英語版の対応するページを翻訳することにより充実させることができます。(2024年1月) 翻訳前に重要な指示を読むには右にある[表示]をクリックしてください。
|
開発元 | Meta |
---|---|
初版 | 2023年2月24日[1] |
最新版 |
3.3[2]
/ 2024年12月7日 |
リポジトリ | llama-models - GitHub |
プログラミング 言語 | Python |
対応言語 | 英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語[3] |
種別 | 大規模言語モデル |
ライセンス | LLAMA 3.3 COMMUNITY LICENSE AGREEMENT(ソースアベイラブル) |
公式サイト |
www |

Llama(ラマ、Large Language Model Meta AI)は、Meta が開発している大規模言語モデル(LLM)である[4]。Llama は、2018年以降の言語モデリングの標準的アーキテクチャである Transformer アーキテクチャを採用している。
名称は当初はLLaMAだったが、2023年7月18日のLlama 2のリリースの際にLlamaに変更になった。[5]
LLaMA (初代)
LLaMAの開発者の論文[1]によれば、LLaMAは70億パラメータ(業界の慣習でこれをBillionのBを使って「7B」と書くことがある。以下同様。)から650億パラメータ(65B)まで、いくつものサイズのモデルが作られた。LLaMA-13Bの性能は、GPT-3-175BをほとんどのNLPベンチマークで上回る。そして、LLaMA-65Bの性能は、GoogleのPaLM-540BやDeepMindのChinchilla-70Bなど、当時の最先端モデルに匹敵した。
トレーニングデータ
LLaMAの開発者は、パラメータの数ではなく、トレーニングデータの量を増やすことで、モデルの性能を上げることに注力した。 これは、トレーニングプロセスの計算コストより、トレーニング済みモデルによる推論のコストの方が支配的であるためである。
初代のLLaMAは、下記のような公開データソースから抽出した1.4兆個のトークンで学習した。
- コモン・クロールでスクレイピングしたWebページ
- GitHub のオープンソースリポジトリ
- ウィキペディア(20種類の言語)
- プロジェクト・グーテンベルクのパブリックドメインの書籍
- ArXivにアップロードされた科学論文のLaTeXソースコード
- Stack Exchangeウェブサイトの質問と回答
学習済みパラメータのリーク
LLaMAは、2023年2月24日、ブログ投稿と論文により発表された。[1]
それまでは、ほとんどの強力な大規模言語モデルは制限のある API を通じてしかアクセスできなかった。Metaは、LLaMAのモデルで学習の結果得られたパラメータを内部管理し、「世界中の学術研究者、政府・市民社会・学術機関の関係者、産業界の研究所にケースバイケースで許可」として、研究コミュニティにだけ非商用ライセンスで利用許可する方針とした。
ところが2023年3月2日、LLaMAのリリースから1週間でその学習済みパラメータが漏れ、4chan経由で拡散されてしまった[6]。
ライセンス
バージョンごとにライセンス条項が異なる。
Llama 2のモデルのトレーニングに使用されたコードは、オープンソースのGPLv3ライセンスで公開された[7]。
Llama 3.1~3.3などのライセンスは、ホームページではオープンソースと書かれているが、月間7億アクティブ・ユーザーがいる企業の場合はMetaの利用許可の取得が必要とするなどの条項があるため[8]、オープンソースではなく、ソースアベイラブルである。[9]
訓練データは非公開だが、公開データソースに独自のデータを混ぜた物である。
バージョン
名称 | リリース日 | パラメータ | 学習コスト (ペタFLOP日) | コンテキスト長 (トークン) | コーパスサイズ (トークン) | 商業利用 |
---|---|---|---|---|---|---|
LLaMA | 2023年2月24日 |
|
6,300[10] | 2048 | 1–1.4T | No |
Llama 2 | 2023年7月18日 |
|
21,000[11] | 4096 | 2T | 部分的(制限あり) |
Code Llama | 2023年8月24日 |
|
||||
Llama 3 | 2024年4月18日 |
|
100,000[12][13] | 8192 | 15T | |
Llama 3.1 | 2024年7月23日 |
|
440,000[14] | 128,000 | ||
Llama 3.2 | 2024年9月25日 | 128,000[17] | 9T | |||
Llama 3.3 | 2024年12月7日 |
|
128,000 | 15T |
派生モデル
Llamaの派生モデルは多数あり、Hugging Faceなどでその学習済みパラメータが公開されている。
Alpaca
スタンフォード大学の基盤モデル研究センター(Center for Research on Foundation Models, CRFM)は、2023年3月13日、初代のLLaMA-7Bをファイン・チューニングした、Alpaca をリリースした[18]。Alpaca は OpenAI GPT-3.5シリーズの text-davinci-003モデルに匹敵する性能を獲得した[19]。
訓練手法は、まず175個の入出力のペアのデータを作成し、OpenAIに$500支払い text-davinci-003 を使用して52,000個の訓練データに増やし、クラウドのGPUに$100支払いファインチューニングした。これにより text-davinci-003 と同程度の性能となった。なお、OpenAIはOpenAIのモデルを使用して訓練させることを禁止している。[18]
Stability AI
Stability AIは、2023年7月21日にLLaMA-65BをファインチューニングしたStable Beluga 1を、2023年7月27日にLlama 2 70BをファインチューニングしたStable Beluga 2を公開した。[20]
ELYZA LLM for JP
ELYZA(本社:東京都文京区)は、2023年8月29日、Llama 2 7Bをベースに日本語性能を強化したELYZA-japanese-Llama-2-7bを公開[21]。2024年6月26日、Llama-3-ELYZA-JP(8Bおよび70B)を公開[22]。2024年10月25日、Llama-3.1-ELYZA-JP-70Bを公開[23]。
サイバーエージェント
サイバーエージェントは、2024年7月26日、Llama 3.1 70BをファインチューニングしたLlama-3.1-70B-Japanese-Instruct-2407を公開した[24]。
Sakana AI
Sakana AIは、2024年8月2日、Llama-3-EvoVLM-JP-v2を公開した[25]。
脚注
出典
- ^ a b c “Introducing LLaMA: A foundational, 65-billion-parameter large language model”. Meta AI (24 February 2023). 2023年4月1日閲覧。
- ^ “Download Llama”. January 15, 2025閲覧。
- ^ “llama-models/models/llama3_3/MODEL_CARD.md at main · meta-llama/llama-models”. January 17, 2025閲覧。
- ^ Touvron, Hugo; Lavril, Thibaut; Izacard, Gautier; Martinet, Xavier; Lachaux, Marie-Anne; Lacroix, Timothée; Rozière, Baptiste; Goyal, Naman; Hambro, Eric; Azhar, Faisal; Rodriguez, Aurelien; Joulin, Armand; Grave, Edouard; Lample, Guillaume (2023). "LLaMA: Open and Efficient Foundation Language Models". arXiv:2302.13971 [cs.CL3]。
- ^ “llama 2 · meta-llama/llama@6d4c0c2”. January 15, 2025閲覧。
- ^ Vincent, James (8 March 2023). “Meta's powerful AI language model has leaked online — what happens now?”. The Verge. 2023年4月1日閲覧。
- ^ llama - GitHub
- ^ “llama-models/models/llama3_3/LICENSE at main · meta-llama/llama-models”. January 15, 2025閲覧。
- ^ “Llamaライセンス契約のオープンソースへの適合性について”. Shuji Sado. 15 January 2025閲覧。
- ^ “The Falcon has landed in the Hugging Face ecosystem”. huggingface.co. 2023年6月20日時点のオリジナルよりアーカイブ。2023年6月20日閲覧。
- ^ “llama/MODEL_CARD.md at main · meta-llama/llama” (英語). GitHub. 2024年5月28日時点のオリジナルよりアーカイブ。2024年5月28日閲覧。
- ^ “Andrej Karpathy (Apr 18, 2024), The model card has some more interesting info too”. August 17, 2024時点のオリジナルよりアーカイブ。October 20, 2024閲覧。
- ^ “llama3/MODEL_CARD.md at main · meta-llama/llama3” (英語). GitHub. 2024年5月21日時点のオリジナルよりアーカイブ。2024年5月28日閲覧。
- ^ “llama-models/models/llama3_1/MODEL_CARD.md at main · meta-llama/llama-models” (英語). GitHub. 2024年7月23日時点のオリジナルよりアーカイブ。2024年7月23日閲覧。
- ^ Robison, Kylie (2024年9月25日). “Meta releases its first open AI model that can process images” (英語). The Verge. 2024年9月25日閲覧。
- ^ Wiggers, Kyle (2024年9月25日). “Meta's Llama AI models get multimodal” (英語). TechCrunch. 2024年9月25日時点のオリジナルよりアーカイブ。2024年9月25日閲覧。
- ^ “Archived copy”. ai.meta.com. 2024年9月25日時点のオリジナルよりアーカイブ。2024年9月26日閲覧。
- ^ a b stanford alpaca - GitHub
- ^ Yizhong Wang; Yeganeh Kordi; Swaroop Mishra; Alisa Liu; Noah A. Smith; Daniel Khashabi; Hannaneh Hajishirzi (2022年12月20日), “Self-Instruct: Aligning Language Model with Self Generated Instructions” (英語), arXiv, arXiv:2212.10560, ISSN 2331-8422, Wikidata Q117202254
- ^ “Meet Stable Beluga 1 and Stable Beluga 2, Our Large and Mighty Instruction Fine-Tuned Language Models — Stability AI”. Stability AI (21 July 2023). 16 January 2025閲覧。
- ^ “Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました|ELYZA, Inc.”. January 16, 2025閲覧。
- ^ “「GPT-4」を上回る日本語性能のLLM「Llama-3-ELYZA-JP」を開発しました”. ELYZA (2024年6月26日). 2024年6月29日閲覧。
- ^ “ELYZA、Llama 3.1ベースの日本語モデルを開発”. プレスリリース・ニュースリリース配信シェアNo.1|PR TIMES. 16 January 2025閲覧。
- ^ “Xユーザーのサイバーエージェント 広報&IRさん: 「【モデル公開のお知らせ】 Llama 3.1 70Bをベースに日本語データで追加学習を行ったLLMを公開しました。 今後もモデル公開や産学連携を通じて国内の自然言語処理技術の発展に貢献してまいります。 https://t.co/Kbo27kSSAK」 / X”. January 16, 2025閲覧。
- ^ AI, Sakana. “進化的モデルマージによる視覚言語モデルの新たな能力の獲得 複数の画像を扱える日本語視覚言語モデルを公開 - Sakana AI”. sakana.ai. 17 January 2025閲覧。
関連項目
- Transformer (機械学習モデル)
- ROCm – Llama.cpp (#GGUF)
外部リンク
リャマ
![]() | この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。(2014年3月) |
リャマ | ||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
![]() リャマ Lama glama
| ||||||||||||||||||||||||||||||
分類 | ||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||
学名 | ||||||||||||||||||||||||||||||
Lama glama Linnaeus, 1758 | ||||||||||||||||||||||||||||||
英名 | ||||||||||||||||||||||||||||||
Llama | ||||||||||||||||||||||||||||||
リャマ、ラマ、ジャマ(羊駝[1][2]、駱馬[2]、西: Llama、学名: Lama glama)は、鯨偶蹄目ラクダ科の動物である。別名アメリカラクダ。
形態
体高約1.2m、体重70-140kg。姿はラクダと似ているが、背中にコブはなく、むしろ凹んで見える平らな背で、全身が毛で覆われている。白い毛のものと茶色の毛のもの、白と茶色がまだらになったものがいる。足から頭までの体長は1m程度。頭から尻までの長さは2m程度。まつげが長く目がパッチリしている。
生態
南アメリカのアンデス地方に多く住む。性格はおとなしく、人に慣れやすい。
ボリビアやペルーの山岳地方では古くから家畜として多く飼われており、荷物の運搬用に用いられたり、毛や皮を衣類に用いたりしている。肉を食べることもあるが、儀式などの特別な時以外はあまり食べられてはいない。
日本でも、動物園などで飼育されている事例がある(那須どうぶつ王国、上野動物園、マザー牧場、長崎バイオパークなど)。
寒冷で小雨なアンデスでは木材があまり無いため、リャマの糞が貴重な燃料として使われている。近年、都市部においては用いられることが少なくなったが、田舎では現在もリャマの糞で煮炊きをしている人々がいる。
非常に近縁の動物として、アルパカ・ビクーニャ・グアナコがいる。このうち、グアナコを家畜化したのがリャマだと考えられている。これらの動物よりもリャマの方が圧倒的に飼育数が多い。
リャメラダ

アルティプラーノ(アンデスの高地平原)ではリャマを放牧している姿をよく見かける。リャマを飼う人は「リャメラダ」(llamerada)と呼ばれる。手に20-30cm程度のひもを持ち、クルクルと回してリャマを追い立てる。
このリャマ追いの姿はオルロなどで行なわれるカルナバル(カーニバル)の踊りの一つにもなっている。踊りでは赤を主体としたきれいな衣装を着て、キリスト教の神父がかぶる帽子に似た型の帽子をかぶる。背中にはアグァヨ(アンデスの伝統的な風呂敷)で小さな荷物をくるんだものを背負う。軽快なブラスバンドの曲に合わせて軽やかなステップでひもを回しながら自分も回るように踊る。
リャメラダは、先住民であるアイマラ族の言葉では「カルワニ」と呼ばれている。
生贄としての利用
1400年代にペルーの海岸線付近で繁栄し、後にインカ帝国により滅ぼされたチムー王国(チムー文化)の遺跡からは、一度に殺害された人間の子供とリャマの骨が大量に出土しており、大規模な生贄の儀式が行われていたことが確認されている[3][4]。
インカ帝国においては、重要な儀式の際に生贄として捧げられたといわれる。特に、真っ白な毛のリャマと濃いこげ茶(黒に近い)のリャマは生け贄用として珍重されていたらしい。
リャマの胎児をミイラにしたものがラパス市などのアンデス地方の町で売られている。これは、家を新築する際に家の下に埋めて家内安全を願うために用いられている。ミイラの代わりに、リャマの形をした土偶を埋めることも多い。これらはいずれもインカ時代の生贄の風習の名残であると思われる。
護衛リャマ
リャマの使役の一つに護衛リャマというものがある。外敵を警戒して撃退する性質を利用し、リャマを牧羊犬の代わりとして羊などの家畜の群れを守らせるものである。去勢された雄、または出産経験のない雌を他種の家畜の群れに1頭だけ入れることで、そのリャマは同種のリャマの群れを守るかのように振る舞うことが多いとされる。犬と違って羊と同じものを食べるため群れと一緒に放牧させているだけでよく、性質によるものなので犬のように訓練する必要がないという点においては牧羊犬より優れている。
ギャラリー
-
ボリビア・ラパス郊外で撮影
-
正面から
-
道ばたで売られているリャマの胎児のミイラ(魔女市場 - ボリビア ラパス市)
-
伝統的な衣装を着たケチュア族の少女とリャマ(ペルー クスコ)
-
ヨーロッパにおける最初のリャマのイメージ(1553年)
-
リャマの頭蓋骨
-
モチェ文化のリャマ像(西暦100-300年)
-
リャマ用の鈴(リトルワールド - 愛知県犬山市)
脚注
関連項目
- LLaMAのページへのリンク