Attention Is All You Needとは? わかりやすく解説

Weblio 辞書 > 辞書・百科事典 > 百科事典 > Attention Is All You Needの意味・解説 

Attention Is All You Need

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2025/03/07 09:20 UTC 版)

論文中のトランスフォーマーモデルの主要構成要素の図解

Attention Is All You Need[1]は、Googleで働く8人の科学者によって執筆された、2017年の機械学習における画期的な学術出版研究論文である[2][3]。「注意こそが必要とされる全てだ」という日本語で表記されることもある[4]

概要

この論文は、Bahdanauらが2014年に提案した注意機構に基づく、トランスフォーマーとして知られる新しいディープラーニングアーキテクチャを導入した[5]。トランスフォーマーのアプローチは、GPTに基づくもののような大規模言語モデルの主要なアーキテクチャとなっているため、現代の人工知能における基礎的な論文とみなされている[6][7][8]。当時、研究の焦点は機械翻訳のためのSeq2seq技術の改善にあったが、著者たちは論文中でさらに進んで、質問応答や、現在マルチモーダル生成AIとして知られるものなど、他のタスクへのこの技術の潜在的な可能性を予見している[1]

論文のタイトルは、ビートルズの楽曲「All You Need Is Love」(「愛こそはすべて」)のオマージュである[9]。「トランスフォーマー」という名称は、著者の一人であるUszkoreitがこの単語の音を気に入ったため選ばれた[10]

本アーキテクチャの初期の設計文書は"Transformers: Iterative Self-Attention and Processing for Various Tasks"と題されており、アニメ番組『トランスフォーマー』の6人のキャラクターのイラストが含まれていた。チームはチーム・トランスフォーマーと名付けられた[9]

チームがトランスフォーマーアーキテクチャを試した初期の例には、英語からドイツ語への翻訳、「トランスフォーマー」に関するウィキペディアの記事の生成、構文解析などが含まれていた。これらの試みは、トランスフォーマーが翻訳だけでなく汎用言語モデルであることをチームに確信させた[10]

2024年現在この論文は10万回以上引用されている[11]

著者

論文の著者は、アシシュ・ヴァスワニ英語版ノーム・シェイザー英語版、Niki Parmar、Jakob Uszkoreit、Llion Jones、エイダン・ゴメス英語版、Lukasz Kaiser、Illia Polosukhinである。8人の著者は全員、論文に「同等に貢献」しており、記載されている順番はランダムに決定された。Wiredの記事は、グループの多様性を強調している[9]

8人の著者のうち6人は米国以外で生まれ、残りの2人はそれぞれ、一時的にカリフォルニアに滞在していたグリーンカード保持者のドイツ人の子供と、迫害から逃れてきた家族を持つ第一世代のアメリカ人である。

2023年までに、8人全員がGoogleを退社し、それぞれが独自のAIスタートアップを設立した(OpenAIに参加したŁukasz Kaiserを除く)[9][11]。Llion JonesはSakana AIを創業した。

歴史的背景

出典

  1. ^ a b Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, Łukasz; Polosukhin, Illia (2017). “Attention is All you Need”. Advances in Neural Information Processing Systems (Curran Associates, Inc.) 30. https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf. 
  2. ^ Love, Julia (2023年7月10日). “AI Researcher Who Helped Write Landmark Paper Is Leaving Google”. Bloomberg News. 2024年10月1日閲覧。
  3. ^ Goldman, Sharon (2024年3月20日). “'Attention is All You Need' creators look beyond Transformers for AI at Nvidia GTC: 'The world needs something better'”. VentureBeat. 2024年10月1日閲覧。
  4. ^ 小林雅一『イーロン・マスクを超える男サム・アルトマン : なぜ、わずか7年で奇跡の対話型AIを開発できたのか』朝日新聞出版、2024年、75頁。ISBN 978-4-02-251993-1 
  5. ^ Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (19 May 2016). "Neural Machine Translation by Jointly Learning to Align and Translate". arXiv:1409.0473 [cs.CL]。
  6. ^ Shinde, Gitanjali; Wasatkar, Namrata; Mahalle, Parikshit (2024-06-06). Data-Centric Artificial Intelligence for Multidisciplinary Applications. CRC Press. p. 75. ISBN 9781040031131. https://books.google.com/books?id=tqUIEQAAQBAJ&pg=PA75 
  7. ^ Toews, Rob (3 September 2023). “Transformers Revolutionized AI. What Will Replace Them?”. Forbes. オリジナルの26 September 2023時点におけるアーカイブ。. https://web.archive.org/web/20230926212003/https://www.forbes.com/sites/robtoews/2023/09/03/transformers-revolutionized-ai-what-will-replace-them/ 2024年10月1日閲覧。 
  8. ^ Murgia, Madhumita (23 July 2023). “Transformers: the Google scientists who pioneered an AI revolution”. Financial Times. オリジナルの2023年12月28日時点におけるアーカイブ。. https://archive.today/20231228061648/https://www.ft.com/content/37bb01af-ee46-4483-982f-ef3921436a50 2024年10月1日閲覧。 
  9. ^ a b c d Levy, Steven. “8 Google Employees Invented Modern AI. Here's the Inside Story” (英語). Wired. ISSN 1059-1028. https://www.wired.com/story/eight-google-employees-invented-modern-ai-transformers-paper/ 2024年10月1日閲覧。. 
  10. ^ a b Marche, Stephen (2024-08-23). “Was Linguistic A.I. Created by Accident?” (英語). The New Yorker. ISSN 0028-792X. https://www.newyorker.com/science/annals-of-artificial-intelligence/was-linguistic-ai-created-by-accident 2024年10月1日閲覧。. 
  11. ^ a b “Meet the $4 Billion AI Superstars That Google Lost”. Bloomberg. (13 July 2023). https://www.bloomberg.com/opinion/features/2023-07-13/ex-google-scientists-kickstarted-the-generative-ai-era-of-chatgpt-midjourney 

外部リンク




英和和英テキスト翻訳>> Weblio翻訳
英語⇒日本語日本語⇒英語
  
  •  Attention Is All You Needのページへのリンク

辞書ショートカット

すべての辞書の索引

Attention Is All You Needのお隣キーワード
検索ランキング

   

英語⇒日本語
日本語⇒英語
   



Attention Is All You Needのページの著作権
Weblio 辞書 情報提供元は 参加元一覧 にて確認できます。

   
ウィキペディアウィキペディア
All text is available under the terms of the GNU Free Documentation License.
この記事は、ウィキペディアのAttention Is All You Need (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。 Weblio辞書に掲載されているウィキペディアの記事も、全てGNU Free Documentation Licenseの元に提供されております。

©2025 GRAS Group, Inc.RSS