网易云易盾CTO朱浩齐：我们是如何用AI赋能内容安全？

欢迎访问网易云社区，了解更多网易技术产品运营经验。

5月19日，LiveVideoStack携手网易云易盾，共同打造了“娱乐多媒体开发应用实践”专题，帮助开发者和泛娱乐平台运营人员，提升技术能力，突破难点，拓展思路与视野。

在专题论坛中，网易云易盾CTO朱浩齐分享了《AI赋能的内容安全技术实践》主题内容，从策略、技术、产品三个方面，详细介绍了网易在内容安全系统构建方面的实践经验，包括如何建立对有害信息精细明确的审核体系和应急响应机制，如何采用基于自然语言、深度学习技术的智能识别技术，保证对文字、图片、语音，特别是直播视频内容的全面精准覆盖等等。

内容安全行业现状：有害信息的持续性递增

2017年全球网民34亿，互联网普及率46%；全球智能手机保有量28亿；2016年互联网占据了中国用户55%的媒体时间；移动互联网使用时长超过电视......这些数字都在表明，网络直播的变现能力已远远超过游戏、电视等其他媒体。

朱浩齐表示，互联网进一步渗透人们生活各个角落的同时，也还带来有害信息的持续性递增——各种违法和不良信息的举报量居高不下，甚至引起了国家战略层面的关注。

没有网络安全，就没有国家安全，更不能让互联网成为传播有害信息、造谣生事的平台。因此，近年来，各种处罚案例也是不胜枚举。

这位网易云易盾CTO列举到：2017年4月18日，北京市网信办、公安局文化场行政执法总队联合约谈今日头条、火山直播、花椒直播；2017年4月底，国家新闻出版广电总局责令腾讯整改微信公众号、移动客户端播放视听节目；2017年6月22日，广电总局责令关停新浪微博、AcFun、凤凰网等站的视频服务；2017年7月，bilibili大量剧集被下架；2018 年4月6日；为了配合广电总局的整改，快手扩容自己内审核团队；2018 年4月8日，广电总局责令今日头条永久关停“内涵段子”等低俗视听产品......可以说，行业进入了强监管时代。

“对于企业来说，内容安全更是成为了刻不容缓的生死命题。”朱浩齐举例称，今年4月，文化部和旅游部公开文件显示已排查4939 款直播应用，下架370款。“所以，多款直播应用平台都选择了加大审核力度和人工投入。”例如，快手发布招聘显示将审核人员规模扩充到5000人，月薪4000-9000元；今日头条也表示近期将扩充到6000人审核团队，预期到达10000人......

朱浩齐认为，互联网直播平台的内容安全给企业带来的挑战远不仅如此，在成本、效果、技术上，各种挑战维度都在不断升级，更是给企业带来了极大的困难。

网易云易盾如何在技术层面提供安全防护？

分享完严峻的形势后，朱浩齐和大家谈了下拥有20年技术沉淀的网易云易盾是如何做内容安全的。

他说，易盾在内容安全上，一共经历了三个阶段：

• 阶段一：关键词、黑白名单、过滤器；

• 阶段二：内容特征识别（肤色，纹理）、贝叶斯过滤、相似度匹配、规则系统；

• 阶段三：大数据分析（用户行为，用户分类）、人机识别、人工智能（语义识别，图像识别、自然语言处理等）。

现阶段文本、图像、语音、视频四块都有哪些核心技术？朱浩齐表示，主要有以下这些：

• 文本：智能关键词、模糊匹配、语义分析、小语种检测；

• 图片：图像识别、特征识别、图片检索、OCR 识别；

• 语音：MD5库检测、语音特征检索、语音特征识别、语音识别；

• 视频：视频转码压缩、视频流分析、截图/截帧分析。

这位深耕于技术一线的CTO表示，得益于神经网络学科的快速发展，近年来的机器学习技术也在不断进步，为内容安全提供了最坚实的技术保障，包括分层的生物神经网络、图像识别技术、深度神经网络、神经元激活热力图等等，在安全技术效果上给予了更多的强化。

Hubel& Wiesel（图片来源：Harvard Brain）

他说，这些技术也在网易易盾中得到了充分应用，包括图片识别、音频过滤以及视频过滤技术。

• 图片识别技术：支持人像识别，支持色情图片检测，支持动漫识别；支持相似匹配，支持图片旋转、裁剪，支持改变图片亮度、色调；支持水印识别。

• 音频过滤技术：基于强大的语音识别分析引擎，通过网易积累多年的垃圾库实时过滤有害语音，同将转成文字进一步过滤。技术要点在于，将语音转换文本和文本检测相结合。

• 视频过滤技术（直播、点播）：视频流检测，视频截图/截帧检测，直播间热度监测，主播黑名单，机器+人工。技术要点在于，将视频转换图片和图片识别技紧密结合。
  

对于网易来说，内部数据的多样性也给易盾提供了丰富的实践场景。“在网易邮箱、网易新闻、云音乐、LOFTER、云相册、薄荷直播等内部应用构建的数十万变种的数据中，易盾能够实现实时加密过滤垃圾信息、安全防刷等功能，良好地维护了产品运营氛围和用户体验。”

真实的技术环境更为复杂，网易易盾如何更进一步？

事实上，从技术、人力、成本等各维度来看，真实环境中的内容安全防护更为复杂。举例来说，假设10k张图像中有1张是违禁图片，易盾的系统准确率为99.9% ，即1k张图像会判错一张，那么其计算伪阳性率（False Positive Rate，即判断为违禁图像集合中正常样本的比例）为：

即11 张判定为违禁的结果里面竟有10张是误判的——数据的难解释性、黑客的持续性攻击都给内容安全防护提出了更高的要求。

• 难解释性：如下图所示，一张原本能被正确识别的大熊猫图像，在添加人眼几乎不可辨认的微小变化之后，竟然以99 .3%的置信度被判别为长臂猿。
  
  

• 黑客攻击：通过对输入数据的维度特性进行改变，可以针对深度学习数据处理环节进行攻击，对深度学习图像识别等应用造成逃逸攻击以及数据污染攻击等效果。比如说，下图某位明星，经过数据的维度特性处理后，它能被机器识别为“某本山”。
  
  

更遑论，内容安全的“攻击者们”早已形成了成熟的产业链。他们这类徘徊在法律边缘的群体，利益明确且分工协作，攻击手段更是持续升级。所以，对于所有的内容安全厂商来说，这都是一场高成本、长拉锯的攻坚战。

朱浩齐说：“基于此，易盾对比行业传统的内容识别单维度服务，还提供了账号、IP、行为动作（关注，投票，评论）、内容识别、用户画像、群体画像、环境数据、设备指纹的多维度技术服务。此外，更是深入解析攻击漏洞，从注册保护、登录保护、环境监测、行为分析、用户分析、离线计算的全服务流程进行深度的安全防护。”

目前，基于网易所构建的强大用户关系网络，易盾提供了场景化的解决方案。从广告过滤、智能鉴黄、暴恐识别、谣言排查四大方面，实现了弹幕实时过滤、聊天区文本/图片过滤、头像/昵称过滤、直播间电视墙监控、直播间音频过滤、主播黑名单、用户黑名单、房间热度分析等全方位的安全防护功能。此外，“机器+人工”的操作模式，更是从细微之处着手，提供了升级化的技术功能，智能机器监控、优先推送、智能排序、嫌疑高亮、支持警告、断流操作、自动补位、视频大小自适应等等不一而足。

重重的技术防御下，安全效果自然不言而喻。朱浩齐分享到，目前易盾每天为网易数亿的用户和内容数据提供安全保障，也给网易所有得产品提供了全面的信息安全服务。“在今年三月份主要商业网站违法不良信息的举报统计中，易盾全面的信息安全服务为网易的产品带来了效果显著的保护。”他说。

如何快速使用易盾？

网易易盾，是极速智能的内容安全云服务，专注内容安全解决方案。目前，网易易盾已在泛娱乐、多媒体、运营商、电商、金融证券等各行各业实现渗透应用，多领域客户覆盖下，是秉持初心、坚韧不破的安全技术保障。

内容安全数据可视化、智能的直播电视墙、身经百战的审核团队，丰富的功能应用，现在即可获取。

网易云易盾为您提供反垃圾、DDoS高防等安全服务，欢迎点击免费试用。