LLaMAとは? わかりやすく解説

ラマ【llama】

読み方:らま

ラクダ科哺乳類体高約1メートルラクダに似るが、背中にこぶはない。南アメリカアンデス山中古くから家畜化され、荷役用い、毛は織物利用。アメリカラクダ。リャマ

ラマの画像

リャマ【llama】

読み方:りゃま

ラマ


ラマ

sheeo01.jpg【英】:Llama

ラクダ類、ラマ属属す動物の毛

同属にはアルパカAlpaca)、ビキューナVicuna)などがいるが、いずれも南米太平洋側の3,600m以上の高地棲息している。 この中で、ラマは一番大型動物で、毛は30ミクロンより細いものから、50ミクロン上の太いものまでが混生している。

LLaMA

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2025/01/17 13:41 UTC 版)

Llama
開発元 Meta
初版 2023年2月24日 (22か月前) (2023-02-24)[1]
最新版
3.3[2] / 2024年12月7日 (41日前) (2024-12-07)
リポジトリ llama-models - GitHub
プログラミング
言語
Python
対応言語 英語ドイツ語フランス語イタリア語ポルトガル語ヒンディー語スペイン語タイ語[3]
種別 大規模言語モデル
ライセンス LLAMA 3.3 COMMUNITY LICENSE AGREEMENT(ソースアベイラブル
公式サイト www.llama.com
テンプレートを表示
Llama 3を搭載したMeta AI Imagineによって生成された画像の例。プロンプトは「A representation of Meta AI and Llama」。

Llama(ラマ、Large Language Model Meta AI)は、Meta が開発している大規模言語モデル(LLM)である[4]。Llama は、2018年以降の言語モデリングの標準的アーキテクチャである Transformer アーキテクチャを採用している。

名称は当初はLLaMAだったが、2023年7月18日のLlama 2のリリースの際にLlamaに変更になった。[5]

LLaMA (初代)

LLaMAの開発者の論文[1]によれば、LLaMAは70億パラメータ(業界の慣習でこれをBillionのBを使って「7B」と書くことがある。以下同様。)から650億パラメータ(65B)まで、いくつものサイズのモデルが作られた。LLaMA-13Bの性能は、GPT-3-175BをほとんどのNLPベンチマークで上回る。そして、LLaMA-65Bの性能は、GooglePaLM-540BやDeepMindChinchilla英語版-70Bなど、当時の最先端モデルに匹敵した。

トレーニングデータ

LLaMAの開発者は、パラメータの数ではなく、トレーニングデータの量を増やすことで、モデルの性能を上げることに注力した。 これは、トレーニングプロセスの計算コストより、トレーニング済みモデルによる推論のコストの方が支配的であるためである。

初代のLLaMAは、下記のような公開データソースから抽出した1.4兆個のトークンで学習した。

学習済みパラメータのリーク

LLaMAは、2023年2月24日、ブログ投稿と論文により発表された。[1]

それまでは、ほとんどの強力な大規模言語モデルは制限のある API を通じてしかアクセスできなかった。Metaは、LLaMAのモデルで学習の結果得られたパラメータを内部管理し、「世界中の学術研究者、政府・市民社会・学術機関の関係者、産業界の研究所にケースバイケースで許可」として、研究コミュニティにだけ非商用ライセンスで利用許可する方針とした。

ところが2023年3月2日、LLaMAのリリースから1週間でその学習済みパラメータが漏れ、4chan経由で拡散されてしまった[6]

ライセンス

バージョンごとにライセンス条項が異なる。

Llama 2のモデルのトレーニングに使用されたコードは、オープンソースのGPLv3ライセンスで公開された[7]

Llama 3.1~3.3などのライセンスは、ホームページではオープンソースと書かれているが、月間7億アクティブ・ユーザーがいる企業の場合はMetaの利用許可の取得が必要とするなどの条項があるため[8]、オープンソースではなく、ソースアベイラブルである。[9]

訓練データは非公開だが、公開データソースに独自のデータを混ぜた物である。

バージョン

名称 リリース日 パラメータ 学習コスト (ペタFLOP日) コンテキスト長 (トークン) コーパスサイズ (トークン) 商業利用
LLaMA 2023年2月24日
  • 6.7B
  • 13B
  • 32.5B
  • 65.2B
6,300[10] 2048 1–1.4T No
Llama 2 2023年7月18日
  • 6.7B
  • 13B
  • 69B
21,000[11] 4096 2T 部分的(制限あり)
Code Llama 2023年8月24日
  • 6.7B
  • 13B
  • 33.7B
  • 69B
Llama 3 2024年4月18日
  • 8B
  • 70.6B
100,000[12][13] 8192 15T
Llama 3.1 2024年7月23日
  • 8B
  • 70.6B
  • 405B
440,000[14] 128,000
Llama 3.2 2024年9月25日 128,000[17] 9T
Llama 3.3 2024年12月7日
  • 70B
128,000 15T

派生モデル

Llamaの派生モデルは多数あり、Hugging Faceなどでその学習済みパラメータが公開されている。

Alpaca

スタンフォード大学の基盤モデル研究センター(Center for Research on Foundation Models, CRFM)は、2023年3月13日、初代のLLaMA-7Bをファイン・チューニングした、Alpaca をリリースした[18]。Alpaca は OpenAI GPT-3.5シリーズの text-davinci-003モデルに匹敵する性能を獲得した[19]

訓練手法は、まず175個の入出力のペアのデータを作成し、OpenAIに$500支払い text-davinci-003 を使用して52,000個の訓練データに増やし、クラウドのGPUに$100支払いファインチューニングした。これにより text-davinci-003 と同程度の性能となった。なお、OpenAIはOpenAIのモデルを使用して訓練させることを禁止している。[18]

Stability AI

Stability AIは、2023年7月21日にLLaMA-65BをファインチューニングしたStable Beluga 1を、2023年7月27日にLlama 2 70BをファインチューニングしたStable Beluga 2を公開した。[20]

ELYZA LLM for JP

ELYZA(本社:東京都文京区)は、2023年8月29日、Llama 2 7Bをベースに日本語性能を強化したELYZA-japanese-Llama-2-7bを公開[21]。2024年6月26日、Llama-3-ELYZA-JP(8Bおよび70B)を公開[22]。2024年10月25日、Llama-3.1-ELYZA-JP-70Bを公開[23]

サイバーエージェント

サイバーエージェントは、2024年7月26日、Llama 3.1 70BをファインチューニングしたLlama-3.1-70B-Japanese-Instruct-2407を公開した[24]

Sakana AI

Sakana AIは、2024年8月2日、Llama-3-EvoVLM-JP-v2を公開した[25]

脚注

出典

  1. ^ a b c Introducing LLaMA: A foundational, 65-billion-parameter large language model”. Meta AI (24 February 2023). 2023年4月1日閲覧。
  2. ^ Download Llama”. January 15, 2025閲覧。
  3. ^ llama-models/models/llama3_3/MODEL_CARD.md at main · meta-llama/llama-models”. January 17, 2025閲覧。
  4. ^ Touvron, Hugo; Lavril, Thibaut; Izacard, Gautier; Martinet, Xavier; Lachaux, Marie-Anne; Lacroix, Timothée; Rozière, Baptiste; Goyal, Naman; Hambro, Eric; Azhar, Faisal; Rodriguez, Aurelien; Joulin, Armand; Grave, Edouard; Lample, Guillaume (2023). "LLaMA: Open and Efficient Foundation Language Models". arXiv:2302.13971 [cs.CL3]。
  5. ^ llama 2 · meta-llama/llama@6d4c0c2”. January 15, 2025閲覧。
  6. ^ Vincent, James (8 March 2023). “Meta's powerful AI language model has leaked online — what happens now?”. The Verge. 2023年4月1日閲覧。
  7. ^ llama - GitHub
  8. ^ llama-models/models/llama3_3/LICENSE at main · meta-llama/llama-models”. January 15, 2025閲覧。
  9. ^ Llamaライセンス契約のオープンソースへの適合性について”. Shuji Sado. 15 January 2025閲覧。
  10. ^ The Falcon has landed in the Hugging Face ecosystem”. huggingface.co. 2023年6月20日時点のオリジナルよりアーカイブ2023年6月20日閲覧。
  11. ^ llama/MODEL_CARD.md at main · meta-llama/llama” (英語). GitHub. 2024年5月28日時点のオリジナルよりアーカイブ2024年5月28日閲覧。
  12. ^ Andrej Karpathy (Apr 18, 2024), The model card has some more interesting info too”. August 17, 2024時点のオリジナルよりアーカイブOctober 20, 2024閲覧。
  13. ^ llama3/MODEL_CARD.md at main · meta-llama/llama3” (英語). GitHub. 2024年5月21日時点のオリジナルよりアーカイブ2024年5月28日閲覧。
  14. ^ llama-models/models/llama3_1/MODEL_CARD.md at main · meta-llama/llama-models” (英語). GitHub. 2024年7月23日時点のオリジナルよりアーカイブ2024年7月23日閲覧。
  15. ^ Robison, Kylie (2024年9月25日). “Meta releases its first open AI model that can process images” (英語). The Verge. 2024年9月25日閲覧。
  16. ^ Wiggers, Kyle (2024年9月25日). “Meta's Llama AI models get multimodal” (英語). TechCrunch. 2024年9月25日時点のオリジナルよりアーカイブ2024年9月25日閲覧。
  17. ^ Archived copy”. ai.meta.com. 2024年9月25日時点のオリジナルよりアーカイブ2024年9月26日閲覧。
  18. ^ a b stanford alpaca - GitHub
  19. ^ Yizhong Wang; Yeganeh Kordi; Swaroop Mishra; Alisa Liu; Noah A. Smith; Daniel Khashabi; Hannaneh Hajishirzi (2022年12月20日), “Self-Instruct: Aligning Language Model with Self Generated Instructions” (英語), arXiv, arXiv:2212.10560, ISSN 2331-8422 , Wikidata Q117202254
  20. ^ Meet Stable Beluga 1 and Stable Beluga 2, Our Large and Mighty Instruction Fine-Tuned Language Models — Stability AI”. Stability AI (21 July 2023). 16 January 2025閲覧。
  21. ^ Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました|ELYZA, Inc.”. January 16, 2025閲覧。
  22. ^ 「GPT-4」を上回る日本語性能のLLM「Llama-3-ELYZA-JP」を開発しました”. ELYZA (2024年6月26日). 2024年6月29日閲覧。
  23. ^ ELYZA、Llama 3.1ベースの日本語モデルを開発”. プレスリリース・ニュースリリース配信シェアNo.1|PR TIMES. 16 January 2025閲覧。
  24. ^ Xユーザーのサイバーエージェント 広報&IRさん: 「【モデル公開のお知らせ】 Llama 3.1 70Bをベースに日本語データで追加学習を行ったLLMを公開しました。 今後もモデル公開や産学連携を通じて国内の自然言語処理技術の発展に貢献してまいります。 https://t.co/Kbo27kSSAK」 / X”. January 16, 2025閲覧。
  25. ^ AI, Sakana. “進化的モデルマージによる視覚言語モデルの新たな能力の獲得 複数の画像を扱える日本語視覚言語モデルを公開 - Sakana AI”. sakana.ai. 17 January 2025閲覧。

関連項目

外部リンク


リャマ

(LLaMA から転送)

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2024/04/14 03:27 UTC 版)

リャマ
リャマ Lama glama
分類
ドメイン : 真核生物 Eukaryota
: 動物界 Animalia
: 脊索動物門 Chordata
亜門 : 脊椎動物亜門 Vertebrata
: 哺乳綱 Mammalia
: 鯨偶蹄目 Artiodactyla
亜目 : 核脚亜目 Tylopoda
: ラクダ科 Camelidae
: ラマ属 Lama
: リャマ L. glama
学名
Lama glama
Linnaeus, 1758
英名
Llama

リャマ、ラマ、ジャマ(羊駝[1][2]、駱馬[2]西: Llama学名: Lama glama)は、鯨偶蹄目ラクダ科動物である。別名アメリカラクダ

形態

体高約1.2m、体重70-140kg。姿はラクダと似ているが、背中にコブはなく、むしろ凹んで見える平らな背で、全身が毛で覆われている。白い毛のものと茶色の毛のもの、白と茶色がまだらになったものがいる。足から頭までの体長は1m程度。頭から尻までの長さは2m程度。まつげが長く目がパッチリしている。

生態

南アメリカアンデス地方に多く住む。性格はおとなしく、人に慣れやすい。

ボリビアペルー山岳地方では古くから家畜として多く飼われており、荷物の運搬用に用いられたり、衣類に用いたりしている。肉を食べることもあるが、儀式などの特別な時以外はあまり食べられてはいない。

日本でも、動物園などで飼育されている事例がある(那須どうぶつ王国上野動物園マザー牧場長崎バイオパークなど)。

寒冷で小雨なアンデスでは木材があまり無いため、リャマの糞が貴重な燃料として使われている。近年、都市部においては用いられることが少なくなったが、田舎では現在もリャマの糞で煮炊きをしている人々がいる。

非常に近縁の動物として、アルパカビクーニャグアナコがいる。このうち、グアナコを家畜化したのがリャマだと考えられている。これらの動物よりもリャマの方が圧倒的に飼育数が多い。

リャメラダ

リャメラダ(オルロのカーニバル)

アルティプラーノ(アンデスの高地平原)ではリャマを放牧している姿をよく見かける。リャマを飼う人は「リャメラダ」(llamerada)と呼ばれる。手に20-30cm程度のひもを持ち、クルクルと回してリャマを追い立てる。

このリャマ追いの姿はオルロなどで行なわれるカルナバル(カーニバル)の踊りの一つにもなっている。踊りでは赤を主体としたきれいな衣装を着て、キリスト教の神父がかぶる帽子に似た型の帽子をかぶる。背中にはアグァヨ(アンデスの伝統的な風呂敷)で小さな荷物をくるんだものを背負う。軽快なブラスバンドの曲に合わせて軽やかなステップでひもを回しながら自分も回るように踊る。

リャメラダは、先住民であるアイマラ族の言葉では「カルワニ」と呼ばれている。

生贄としての利用

1400年代ペルーの海岸線付近で繁栄し、後にインカ帝国により滅ぼされたチムー王国チムー文化)の遺跡からは、一度に殺害された人間の子供とリャマのが大量に出土しており、大規模な生贄の儀式が行われていたことが確認されている[3][4]

インカ帝国においては、重要な儀式の際に生贄として捧げられたといわれる。特に、真っ白な毛のリャマと濃いこげ茶(黒に近い)のリャマは生け贄用として珍重されていたらしい。

リャマの胎児ミイラにしたものがラパス市などのアンデス地方の町で売られている。これは、家を新築する際に家の下に埋めて家内安全を願うために用いられている。ミイラの代わりに、リャマの形をした土偶を埋めることも多い。これらはいずれもインカ時代の生贄の風習の名残であると思われる。

護衛リャマ

リャマの使役の一つに護衛リャマ英語版というものがある。外敵を警戒して撃退する性質を利用し、リャマを牧羊犬の代わりとして羊などの家畜の群れを守らせるものである。去勢された雄、または出産経験のない雌を他種の家畜の群れに1頭だけ入れることで、そのリャマは同種のリャマの群れを守るかのように振る舞うことが多いとされる。犬と違って羊と同じものを食べるため群れと一緒に放牧させているだけでよく、性質によるものなので犬のように訓練する必要がないという点においては牧羊犬より優れている。

ギャラリー

脚注

  1. ^ 新村出編 「リャマ」『広辞苑』第6版、岩波書店、2008年。
  2. ^ a b 落合直文著・芳賀矢一改修 「らま」『言泉:日本大辞典』第五巻、大倉書店、1928年、4906頁。
  3. ^ 子ども137人とラマ200頭、心臓抜かれ生贄に ペルー古代文明の遺跡で発掘”. CNN (2019年3月7日). 2019年6月12日閲覧。
  4. ^ 子供140人生贄 550年前のペルーで何があった?”. 日経スタイル (2018年5月14日). 2019年6月11日閲覧。

関連項目



英和和英テキスト翻訳>> Weblio翻訳
英語⇒日本語日本語⇒英語
  

辞書ショートカット

すべての辞書の索引

「LLaMA」の関連用語

LLaMAのお隣キーワード
検索ランキング

   

英語⇒日本語
日本語⇒英語
   



LLaMAのページの著作権
Weblio 辞書 情報提供元は 参加元一覧 にて確認できます。

   
デジタル大辞泉デジタル大辞泉
(C)Shogakukan Inc.
株式会社 小学館
ザ・ウールマーク・カンパニーザ・ウールマーク・カンパニー
Copyright The Woolmark Company 2025
ウィキペディアウィキペディア
All text is available under the terms of the GNU Free Documentation License.
この記事は、ウィキペディアのLLaMA (改訂履歴)、リャマ (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。 Weblio辞書に掲載されているウィキペディアの記事も、全てGNU Free Documentation Licenseの元に提供されております。

©2025 GRAS Group, Inc.RSS