Transfer learning

ウィキペディア

転移学習

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/03/08 07:27 UTC 版)

転移学習（てんいがくしゅう、英: transfer learning）は、ある問題を解決する際に得た知識を蓄積し、関連する別の問題にそれを適用することに焦点を当てた機械学習の研究領域である^[1]。たとえば、乗用車を認識するために得た知識は、トラックを認識するためにも応用できるかもしれない。この研究領域は、学習転移（英語版）に関する長い歴史を持つ心理学の文献と何かの関係をもつが、2つの分野の実用的な結びつきは限定的である。実用的な面では、過去に学習した仕事の情報を新たな仕事の学習のために再利用または転送することで、強化学習手段のサンプル効率を大幅に改善することができる可能性がある^[2]。

歴史

1976年、Stevo BozinovskiとAnte Fulgosiは、ニューラルネットワークの学習における転移学習に明示的に取り組んだ論文を発表した^[3][4]。この論文では、転移学習の数学的および幾何学的モデルを示している。1981年には、コンピュータ端末の文字を表す画像のデータセットに対して、転移学習を適用してニューラルネットワークを学習させた研究が報告された。ポジティブとネガティブな両方の転移学習が実験的に実証された^[5]。

1993年、Lorien Prattは、機械学習における転移についての論文を発表し、識別性に基づく転移アルゴリズムを定式化した^[6]。

アンドリュー・ンは、NIPS 2016のチュートリアルで^[7][8][9]、転移学習は教師あり学習の次に機械学習の商業的成功の原動力になると述べ、その重要性を強調した。

定義

転移学習の定義は、ドメインとタスクの観点から与えられる。ドメイン ${\displaystyle {\mathcal {D}}}$ Material was copied from this source, which is available under a Creative Commons Attribution 4.0 International License.

^ Mihalkova, Lilyana; Huynh, Tuyen; Mooney, Raymond J. (July 2007), “Mapping and Revising Markov Logic Networks for Transfer”, Learning Proceedings of the 22nd AAAI Conference on Artificial Intelligence (AAAI-2007), Vancouver, BC, http://www.cs.utexas.edu/users/ml/papers/mihalkova-aaai07.pdf 2007年8月5日閲覧。 

^ Niculescu-Mizil, Alexandru; Caruana, Rich (March 21–24, 2007), “Inductive Transfer for Bayesian Network Structure Learning”, Proceedings of the Eleventh International Conference on Artificial Intelligence and Statistics (AISTATS 2007), http://www.stat.umn.edu/~aistat/proceedings/data/papers/043.pdf 2007年8月5日閲覧。 

^ Hajiramezanali, E. & Dadaneh, S. Z. & Karbalayghareh, A. & Zhou, Z. & Qian, X. Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data. 32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montréal, Canada. arXiv:1810.09433

^ Arief-Ang, I.B.; Salim, F.D.; Hamilton, M. (8 November 2017). DA-HOC: semi-supervised domain adaptation for room occupancy prediction using CO2 sensor data. 4th ACM International Conference on Systems for Energy-Efficient Built Environments (BuildSys). Delft, Netherlands. pp. 1–10. doi:10.1145/3137133.3137146. ISBN 978-1-4503-5544-5。

^ Arief-Ang, I.B.; Hamilton, M.; Salim, F.D. (2018-12-01). “A Scalable Room Occupancy Prediction with Transferable Time Series Decomposition of CO2 Sensor Data”. ACM Transactions on Sensor Networks 14 (3–4): 21:1–21:28. doi:10.1145/3217214. 

^ Banerjee, Bikramjit, and Peter Stone. "General Game Learning Using Knowledge Transfer." IJCAI. 2007.

^ Do, Chuong B.; Ng, Andrew Y. (2005). "Transfer learning for text classification". Neural Information Processing Systems Foundation, NIPS*2005 (PDF). 2007年8月5日閲覧。

^ Rajat, Raina; Ng, Andrew Y.; Koller, Daphne (2006). "Constructing Informative Priors using Transfer Learning". Twenty-third International Conference on Machine Learning (PDF). 2007年8月5日閲覧。

^ Maitra, D. S.; Bhattacharya, U.; Parui, S. K. (August 2015). “CNN based common approach to handwritten character recognition of multiple scripts”. 2015 13th International Conference on Document Analysis and Recognition (ICDAR): 1021–1025. doi:10.1109/ICDAR.2015.7333916. ISBN 978-1-4799-1805-8. 

^ Bickel, Steffen (2006). "ECML-PKDD Discovery Challenge 2006 Overview". ECML-PKDD Discovery Challenge Workshop (PDF). 2007年8月5日閲覧。

^ Bird, Jordan J.; Kobylarz, Jhonatan; Faria, Diego R.; Ekart, Aniko; Ribeiro, Eduardo P. (2020). “Cross-Domain MLP and CNN Transfer Learning for Biological Signal Processing: EEG and EMG”. IEEE Access (Institute of Electrical and Electronics Engineers (IEEE)) 8: 54789–54801. doi:10.1109/access.2020.2979074. ISSN 2169-3536. 

^ Maitra, Durjoy Sen; Bhattacharya, Ujjwal; Parui, Swapan K. (August 2015). “CNN based common approach to handwritten character recognition of multiple scripts”. 2015 13th International Conference on Document Analysis and Recognition (ICDAR): 1021–1025. doi:10.1109/ICDAR.2015.7333916. https://ieeexplore.ieee.org/document/7333916/. 

^ Kabir, H. M., Abdar, M., Jalali, S. M. J., Khosravi, A., Atiya, A. F., Nahavandi, S., & Srinivasan, D. (2020). Spinalnet: Deep neural network with gradual input. arXiv preprint arXiv:2007.03347.

^ Allamanis, Miltiadis; Barr, Earl T.; Devanbu, Premkumar; Sutton, Charles (2019-07-31). “A Survey of Machine Learning for Big Code and Naturalness” (英語). ACM Computing Surveys 51 (4): 1–37. doi:10.1145/3212695. ISSN 0360-0300. https://dl.acm.org/doi/10.1145/3212695. 

^ Chen, Zimin; Kommrusch, Steve James; Monperrus, Martin (2022). “Neural Transfer Learning for Repairing Security Vulnerabilities in C Code”. IEEE Transactions on Software Engineering: 1–1. doi:10.1109/TSE.2022.3147265. ISSN 1939-3520. https://ieeexplore.ieee.org/document/9699412/. 

推薦文献

• Thrun, Sebastian; Pratt, Lorien (6 December 2012). Learning to Learn. Springer Science & Business Media. ISBN 978-1-4615-5529-2. https://books.google.com/books?id=X_jpBwAAQBAJ