げんご‐モデル【言語モデル】
言語モデル
言語モデル
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/12/29 22:26 UTC 版)
言語モデル（げんごモデル、英: language model）は、単語列に対する確率分布を表わすものである[1]。
- ^ Jurafsky, Dan; Martin, James H. (2021). “N-gram Language Models”. Speech and Language Processing (3rd ed.) 2022年5月24日閲覧。
- ^ Kuhn, Roland, and Renato De Mori (1990). "A cache-based natural language model for speech recognition". IEEE transactions on pattern analysis and machine intelligence 12.6: 570–583.
- ^ a b Andreas, Jacob, Andreas Vlachos, and Stephen Clark (2013). "Semantic parsing as machine translation". Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers).
- ^ Pham, Vu, et al (2014). "Dropout improves recurrent neural networks for handwriting recognition". 14th International Conference on Frontiers in Handwriting Recognition. IEEE.
- ^ Htut, Phu Mon, Kyunghyun Cho, and Samuel R. Bowman (2018). "Grammar induction with neural language models: An unusual replication". arXiv:1808.10000.
- ^ Ponte, Jay M.; Croft, W. Bruce (1998). A language modeling approach to information retrieval. Proceedings of the 21st ACM SIGIR Conference. Melbourne, Australia: ACM. pp. 275–281. doi:10.1145/290941.291008。
- ^ Hiemstra, Djoerd (1998). A linguistically motivated probabilistically model of information retrieval. Proceedings of the 2nd European conference on Research and Advanced Technology for Digital Libraries. LNCS, Springer. pp. 569–584. doi:10.1007/3-540-49653-X_34。
- ^ Manning, Christopher D. (2022). “Human Language Understanding & Reasoning”. Daedalus.
- ^ a b Jurafsky, Dan; Martin, James H. (7 January 2023). “N-gram Language Models”. Speech and Language Processing (3rd edition draft ed.) 2022年5月24日閲覧。
- ^ “The Unreasonable Effectiveness of Recurrent Neural Networks”. 2018年9月1日閲覧。
- ^ a b c Bengio, Yoshua (2008). "Neural net language models". Scholarpedia. Vol. 3. p. 3881. Bibcode:2008SchpJ...3.3881B. doi:10.4249/scholarpedia.3881。
- ^ a b Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina (10 October 2018). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding". arXiv:1810.04805 [cs.CL]。
- ^ a b c Mikolov, Tomas; Chen, Kai; Corrado, Greg; Dean, Jeffrey (2013). "Efficient estimation of word representations in vector space". arXiv:1301.3781 [cs.CL]。
- ^ a b Mikolov, Tomas; Sutskever, Ilya; Chen, Kai; Corrado irst4=Greg S.; Dean, Jeff (2013). Distributed Representations of Words and Phrases and their Compositionality (PDF). Advances in Neural Information Processing Systems. pp. 3111–3119.
- ^ Harris, Derrick (2013年8月16日). “We're on the cusp of deep learning for the masses. You can thank Google later”. Gigaom. 2015年6月22日閲覧。
- ^ Lv, Yuanhua; Zhai, ChengXiang (2009). "Positional Language Models for Information Retrieval in" (PDF). Proceedings. 32nd international ACM SIGIR conference on Research and development in information retrieval (SIGIR).
- ^ Cambria, Erik; Hussain, Amir (2012-07-28) (英語). Sentic Computing: Techniques, Tools, and Applications. Springer Netherlands. ISBN 978-94-007-5069-2
- ^ Mocialov, Boris; Hastie, Helen; Turner, Graham (August 2018). “Transfer Learning for British Sign Language Modelling”. Proceedings of the Fifth Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2018): 101–110. arXiv:2006.02144 2020年3月14日閲覧。.
- ^ Facebook AI. (2021). Textless NLP: Generating expressive speech from raw audio.
- ^ Lakhotia, et al. (2021). Generative Spoken Language Modeling from Raw Audio.
- ^ Polyak, et al. (2021). Speech Resynthesis from Discrete Disentangled Self-Supervised Representations.
- ^ Kharitonov, et al. (2021). Text-Free Prosody-Aware Generative Spoken Language Modeling.
- ^ "by having access to the full expressivity of oral language, models should incorporate nuances and intonations" Facebook AI. (2021). Textless NLP: Generating expressive speech from raw audio.
- ^ Karlgren, Jussi; Schutze, Hinrich (2015), “Evaluating Learning Language Representations”, International Conference of the Cross-Language Evaluation Forum, Lecture Notes in Computer Science, Springer International Publishing, pp. 254–260, doi:10.1007/978-3-319-64206-2_8, ISBN 9783319642055
- ^ “The Corpus of Linguistic Acceptability (CoLA)”. nyu-mll.github.io. 2019年2月25日閲覧。
- ^ “GLUE Benchmark” (英語). gluebenchmark.com. 2019年2月25日閲覧。
- ^ “Microsoft Research Paraphrase Corpus” (英語). Microsoft Download Center. 2019年2月25日閲覧。
- ^ Aghaebrahimian, Ahmad (2017), “Quora Question Answer Dataset”, Text, Speech, and Dialogue, Lecture Notes in Computer Science, 10415, Springer International Publishing, pp. 66–73, doi:10.1007/978-3-319-64206-2_8, ISBN 9783319642055
- ^ “Recognizing Textual Entailment”. 2019年2月24日閲覧。
- ^ “The Stanford Question Answering Dataset”. rajpurkar.github.io. 2019年2月25日閲覧。
- ^ “Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank”. nlp.stanford.edu. 2019年2月25日閲覧。
- ^ Hendrycks, Dan (2023-03-14), Measuring Massive Multitask Language Understanding 2023年3月15日閲覧。
- ^ Hornstein, Norbert; Lasnik, Howard; Patel-Grosz, Pritty; Yang, Charles (2018-01-09) (英語). Syntactic Structures after 60 Years: The Impact of the Chomskyan Revolution in Linguistics. Walter de Gruyter GmbH & Co KG. ISBN 978-1-5015-0692-5
[続きの解説]
「言語モデル」の続きの解説一覧
言語モデル
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/04/17 14:22 UTC 版)
「Lucid (プログラミング言語)」の記事における「言語モデル」の解説
Lucid はデータ処理の際に要求駆動モデルを採用している。Lucid の文は、プロセッサのネットワークを定義する方程式と、その間をデータが流れる通信線として考える事が出来る。変数は無限に続く値のストリームであり、関数はフィルタか変換器である。反復は 'current' 変数と、'fby' 変数によってシミュレートされストリーム合成を行う事が出来る。 Lucid は無限に続くデータの列であるヒストリーの代数を基にしている。利用時には、ヒストリーは変化し続ける変数の値の記録と考える事が出来、first や next 等のヒストリー操作は名前から連想するとおり動作する。Lucid は当初、動作検証が非常にシンプルであるような、非常に厳格で数学的に純粋な単一代入言語として考えられていた。しかしながら、データフローの解釈は非常に重要であり、Lucid の発展に大きく影響を及ぼした。
※この「言語モデル」の解説は、「Lucid (プログラミング言語)」の解説の一部です。
「言語モデル」を含む「Lucid (プログラミング言語)」の記事については、「Lucid (プログラミング言語)」の概要を参照ください。
ウィキペディア小見出し辞書の「言語モデル」の項目はプログラムで機械的に意味や本文を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。 お問い合わせ。
- 言語モデルのページへのリンク
