为什么要用深度学习deep learning做自然语言处理NLP？

jennie提问于 2018-05-28 09:21

• 社区编辑2018-05-28 09:26

  
  

  
  

  这些指标或许不足以说明深度学习在 NLP 任务上的绝对优势，但相对传统方法更佳的性能，已经足以使研究者潜心研究。在找到更好的方法之前，我们对 DL for NLP 寄予厚望。

  
  

  从根本上说，深度学习在 NLP 问题上的优势有三点，这是传统机器学习方法所不具备的。

  
  

  表达能力：利用深度学习，文本、图像等不同格式都可以表示为实值向量，这使得我们可以跨多种模式执行信息处理。例如，在图像检索中将查询（文本）与图像进行匹配并找到最相关图像变得可行，因为它们都可以表示为向量。

  可训练性：深度学习让我们可以为应用执行端到端的训练，从而快速、高质量地解决问题，因为深度神经网络使得数据中的信息能在模型中被有效“编码”。例如，在神经机器翻译（NMT）中，模型完全由平行语料库（parallel corpora）自动构建，通常不需要人为干预。与统计机器翻译的传统方法相比，这显然是一个优势，特征工程对于后者是至关重要的。

  可推广性：机器对未经训练的数据也可以执行预测。

  
  

  可以更为全面地理解深度学习用于 NLP 的优势与挑战。

  优势：

  • 擅长模式识别问题
  • 数据驱动，且在很多问题上性能都很高
  • 端到端训练，构建系统时很少需要或不需要领域知识（当然这一点也有争议）
  • 表示学习，使得跨模式处理可行
  • 基于梯度的学习，学习算法很简单
  • 主要是监督学习方法

  
  

  挑战：

  • 不擅长推理和决策
  • 不能直接处理符号
  • 数据饥渴，在数据量较小时不适用
  • 难以处理长尾现象
  • 模型通常是一个黑盒子，可解释性差
  • 计算成本很高
  • 无监督学习方法有待突破
  • 仍然缺乏理论基础

  
  

  Deep Learning for Natural Language Processing (NLP): Advancements & Trends | Tryolabs Blog这篇底的文章介绍了 2017 年神经网络模型在命名实体识别、词性标注、情感分析、机器翻译等领域的表现，是比较有意思的。这里是译文：一文概述2017年深度学习NLP重大进展与趋势

  
  

  [1] Blunsom P, Grefenstette E, Kalchbrenner N . A convolutional neural network for modelling sentences. In: 52nd Annual Meeting of the Association for Computational Linguistics. Baltimore, USA, 2014, 655–65.

  [2]Hu B, Lu Z, Li H. Convolutional Neural Network Architectures for Matching Natural Language Sentences. In: Advances in Neural Information Processing Systems 27
  . Montreal, Canada, 2014, 2042–50.

  [6] Wu Y, Schuster M, Chen Z. CoRR , vol. abs/1609.08144, 2016.

  [8] Chen D, Manning CD. A Fast and Accurate Dependency Parser using Neural Networks. In: Conference on Empirical Methods in Natural Language Processing . Doha, Qatar, 2014, 740–50.

  
  

  利益相关：网易云反垃圾服务借助深度学习提供文本、图片、视频、音频过滤云服务。