生成的モデルとは - わかりやすく解説 Weblio辞書

生成的モデル

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/05/05 10:07 UTC 版)

この項目では、統計的分類の文脈における生成モデルについて説明しています。マルコフ決定過程の生成モデルについては「en:Markov decision process#Simulator models」を、コンピュータグラフィックスにおける生成モデル言語（GML）と生成型コンピュータプログラミングについては「生成的モデリング言語（英語版）」を、生成AIについては「生成的人工知能」をご覧ください。

統計的分類では、生成的アプローチと識別的アプローチの2つの主要な手法がある。これらのアプローチでは、分類指標（英語版）を計算するために異なる方法論を用いており、その統計的モデリングの程度もさまざまである。使用される用語は一貫していないが^{[注釈 1]}、Jebara (2004)によれば、主に3つの種類に分けられる。

生成的モデル（generative model）は、観測可能変数X と目的変数（英語版）Y の同時確率分布 $P(X,Y)$

ポータル数学

脚注

^ Ng & Jordan (2002): "Generative classifiers learn a model of the joint probability, $p(x,y)$ , of the inputs x and the label y, and make their predictions by using Bayes rules to calculate $p(y\mid x)$ , and then picking the most likely label y.
^ Jebara 2004, 2.4 Discriminative Learning: "This distinction between conditional learning and discriminative learning is not currently a well established convention in the field."
^ Ng & Jordan 2002: "Discriminative classifiers model the posterior $p(y|x)$ directly, or learn a direct map from inputs x to the class labels."
^ ^a ^b Mitchell 2015: "We can use Bayes rule as the basis for designing learning algorithms (function approximators), as follows: Given that we wish to learn some target function $f\colon X\to Y$ , or equivalently, $P(Y\mid X)$ , we use the training data to learn estimates of $P(X\mid Y)$ and $P(Y)$ . New X examples can then be classified using these estimated probability distributions, plus Bayes rule. This type of classifier is called a generative classifier, because we can view the distribution $P(X\mid Y)$ as describing how to generate random instances X conditioned on the target attribute Y.
^ Mitchell 2015: "Logistic Regression is a function approximation algorithm that uses training data to directly estimate $P(Y\mid X)$ , in contrast to Naive Bayes. In this sense, Logistic Regression is often referred to as a discriminative classifier because we can view the distribution $P(Y\mid X)$ as directly discriminating the value of the target value Y for any given instance X
^ Ng & Jordan 2002
^ Bishop, C. M.; Lasserre, J. (24 September 2007), “Generative or Discriminative? getting the best of both worlds”, in Bernardo, J. M., Bayesian statistics 8: proceedings of the eighth Valencia International Meeting, June 2-6, 2006, Oxford University Press, pp. 3–23, ISBN 978-0-19-921465-5
^ ^a ^b “Scaling up—researchers advance large-scale deep generative models”. Microsoft (2020年4月9日). 2020年7月24日閲覧。
^ “Generative Models”. OpenAI (2016年6月16日). 2020年5月19日閲覧。
^ Tomczak, Jakub (2022). Deep Generative Modeling. Cham: Springer. p. 197. doi:10.1007/978-3-030-93158-2. ISBN 978-3-030-93157-5
^ Kaplan, Jared; McCandlish, Sam; Henighan, Tom; Brown, Tom B.; Chess, Benjamin; Child, Rewon; Gray, Scott; Radford, Alec; Wu, Jeffrey; Amodei, Dario (2020). "Scaling Laws for Neural Language Models". arXiv:2001.08361 [stat.ML]。
^ “Better Language Models and Their Implications”. OpenAI (2019年2月14日). 2020年7月24日閲覧。
^ Brock, Andrew; Donahue, Jeff; Simonyan, Karen (2018). "Large Scale GAN Training for High Fidelity Natural Image Synthesis". arXiv:1809.11096 [cs.LG]。
^ Razavi, Ali; van den Oord, Aaron; Vinyals, Oriol (2019). "Generating Diverse High-Fidelity Images with VQ-VAE-2". arXiv:1906.00446 [cs.LG]。
^ “Jukebox”. OpenAI (2020年4月30日). 2020年5月19日閲覧。