[图片]
这些指标或许不足以说明深度学习在 NLP 任务上的绝对优势,但相对传统方法更佳的性能,已经足以使研究者潜心研究。在找到更好的方法之前,我们对 DL for NLP 寄予厚望。
从根本上说,深度学习在 NLP 问题上的优势有三点,这是传统机器学习方法所不具备的。
表达能力:利用深度学习,文本、图像等不同格式都可以表示为实值向量,这使得我们可以跨多种模式执行信息处理。例如,在图像检索中将查询(文本)与图像进行匹配并找到最相关图像变得可行,因为它们都可以表示为向量。
可训练性:深度学习让我们可以为应用执行端到端的训练,从而快速、高质量地解决问题,因为深度神经网络使得数据中的信息能在模型中被有效“编码”。例如,在神经机器翻译(NMT)中,模型完全由平行语料库(parallel corpora)自动构建,通常不需要人为干预。与统计机器翻译的传统方法相比,这显然是一个优势,特征工程对于后者是至关重要的。
可推广性:机器对未经训练的数据也可以执行预测。
可以更为全面地理解深度学习用于 NLP 的优势与挑战。
优势:
擅长模式识别问题
数据驱动,且在很多问题上性能都很高
端到端训练,构建系统时很少需要或不需要领域知识(当然这一点也有争议)
表示学习,使得跨模式处理可行
基于梯度的学习,学习算法很简单
主要是监督学习方法
挑战:
不擅长推理和决策
不能直接处理符号
数据饥渴,在数据量较小时不适用
难以处理长尾现象
模型通常是一个黑盒子,可解释性差
计算成本很高
无监督学习方法有待突破
仍然缺乏理论基础
Deep Learning for Natural Language Processing (NLP): Advancements & Trends | Tryolabs Blog这篇底的文章介绍了 2017 年神经网络模型在命名实体识别、词性标注、情感分析、机器翻译等领域的表现,是比较有意思的。这里是译文:一文概述2017年深度学习NLP重大进展与趋势
[1] Blunsom P, Grefenstette E, Kalchbrenner N . A convolutional neural network for modelling sentences. In: 52nd Annual Meeting of the Association for Computational Linguistics. Baltimore, USA, 2014, 655–65.
[2]Hu B, Lu Z, Li H. Convolutional Neural Network Architectures for Matching Natural Language Sentences. In: Advances in Neural Information Processing Systems 27 . Montreal, Canada, 2014, 2042–50.
[6] Wu Y, Schuster M, Chen Z. CoRR , vol. abs/1609.08144, 2016.
[8] Chen D, Manning CD. A Fast and Accurate Dependency Parser using Neural Networks. In: Conference on Empirical Methods in Natural Language Processing . Doha, Qatar, 2014, 740–50.
利益相关:网易云反垃圾服务借助深度学习提供文本、图片、视频、音频过滤云服务。