迁移学习技术应用简介

迁移学习是当今数据挖掘领域比较热门的一个研究方向。 数据挖掘的研究领域历经了好几个热门方向的兴起，从早期的监督学习（supervise learning）、半监督学习（semi-supervised learning）、多标签学习（multi-label learning）、多实例学习（multi-instance learning）、迁移学习（transfer learning），一直到现在深度学习（deep learning），都是学术界和工业界大批专家学者关注和致力研究的方向。早在大约06、07年开始，学者们开始关注迁移学习，著名有香港的杨强教授的课题组的各个牛人、Sinno Jialin Pan、bin li、潘微科、戴文渊、jing-gao[1]，jing-jiang[2,3]（将迁移学习应用在自然语言处理），xiaoxiao-shi[4,5,6]，minmin-chen[8]，中科院的庄福振（将迁移学习应用在文本分类领域）、 John Blitzer[7]、mingsheng-long[11]等人。其中杨强课题组的bin li、潘微科主要专做于将迁移学习应用在推荐算法上。

近几年的迁移学习在计算机视觉上的研究主要以domain adaption的主题出现，主要考虑不同图像数据集的特征分布上的差异性，来相互辅助，提高图像内容的识别准确率。著名的有新加坡的段立新[12]、USC的宫博庆[13]，KateSaenko，UC Berkeley的Judy Hoffman [14]，这些学者在图像、视频内容识别的应用中取得了很多成果。

在很多数据挖掘的竞赛中，都有以迁移学习为主题的任务，比如icdm07年的竞赛，就是对wifi设备做信号检测的迁移学习任务。在日常生活中，室内的不同的设备的wifi信号有所不；即使同一个设备的wifi信号随着时间的漂移，信号会发生一定的变化。由于之前训练的模型是在当时的设备上采集下来的，对于新的设备和未来时刻产生的信号，模型就很可能丧失好的性能。而应用迁移学习技术，考虑到新环境中设备的信号数据与旧数据之间的分布差异性，在现有环境缺乏训练数据的情况下，借鉴和迁移原来模型中的知识，也能将模型优化到良好的性能解决现有的应用问题。

现在的很多移动端的手持设备都能够随时随地的拍照，很多人希望将逛街看到的衣服、汽车等商品拿到网上去搜索相关信息。但是实际生活中我们拍到的照片往往有着多种随意性，在曝光、主体构图、色调、背景、角度、目标物体的外观上有着很大差异性，甚至图片内容还会出现周围物体的遮挡。生活中拍到的照片往往不像淘宝、亚马逊购物网站上的商品照片那么专业，导致线上、线下的数据之间存在很大的差异性，如果在图片内容识别、搜索的算法中不考虑这些因素，往往不能得到很好的应用效果。最近的很多研究，都致力于应用迁移学习技术，通过子空间学习、度量学习的手段，挖掘出不同图像数据集（即数据域）之间存在的过渡子空间和映射关系，来提高跨图像数据域之间的搜索、内容识别应用的准确率。

在推荐算法领域中，迁移学习也有很多应用。通过迁移学习，将不同时刻的数据看成不同的数据域，考虑并分析历史兴趣对现有兴趣的影响，挖掘出不同时刻用户的兴趣变化，进行时间轴上的推荐[9]。另外，在推荐系统中，冷启动问题一直是个难点。从迁移学习思路出发，可以将书籍新用户在电影数据上的历史评分，借鉴过来用于学习模型，准确实现新用户上的冷启动[10]。

另外，针对不同网站网页的内容分类、商品评论的情感分类、邮件过滤、图像-视频内容检测等场合中都有迁移学习的应用前景。合理地利用各个数据域间的知识结构，进行有效的建模，对提升传统算法的性能有着很大的意义。

参考资料：

[1] Knowledge transfer via multiple model local structure mapping. Jing Gao, Wei Fan, Jing Jiang and Jiawei Han.In Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2008.

[2] Domain adaptation in natural language processing.Jing Jiang. PhD Dissertation, University of Illinois at Urbana-Champaign, 2008.

[3] Instance weighting for domain adaptation in NLP. Jing Jiang and ChengXiang Zhai. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, 2007.

[4] Xiaoxiao Shi, Qi Liu, Wei Fan, and Philip S. Yu, "Transfer across Completely Different Feature Spaces via Spectral Embedding", accepted by Transactions on Knowledge and Data Engineering (TKDE).

[5] Xiaoxiao Shi, Wei Fan, Qiang Yang and Jiangtao Ren, "Relaxed Transfer of Different Classes via Spectral Partition" , 2009 European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML/PKDD 2009)

[6] Xiaoxiao Shi, Wei Fan, and Jiangtao Ren, "Actively Transfer Domain Knowledge", 2008 European Confernce on Machine Learning and Principles and Practices of Knowledge Discovery in Databases (ECML/PKDD08), Antwerp, Belgium.

[7] Domain Adaptation with Coupled Subspaces.John Blitzer, Dean Foster, and Sham Kakade. Artificial Intelligence and Statistics, AISTATS 2011

[8] Co-training for domain adaptation. Minmin Chen, John Blitzer, and Kilian Weinberger. Neural Information Processing Systems - NIPS 2011

[9] Cross-Domain Collaborative Filtering over Time. Bin Li, Xingquan Zhu, Ruijiang Li, Chengqi Zhang, Xiangyang Xue, and Xindong Wu。 IJCAI2011

[10] Can Movies and Books Collaborate? Cross-Domain Collaborative Filtering for Sparsity Reduction. Bin Li, Qiang Yang and Xiangyang Xue. IJCAI2009

[11] Mingsheng-long： http://scholar.google.com/citations?user=_MjXpXkAAAAJ&hl=en

[12] 段立新：http://www.lxduan.info/

[13] 宫博庆：http://www-scf.usc.edu/~boqinggo/domainadaptation.html#gfk_section

[14] Judy Hoffman：https://www.eecs.berkeley.edu/~jhoffman/domainadapt/

网易云新用户大礼包：https://www.163yun.com/gift

本文来自网易实践者社区，经作者范鹏程授权发布。