内容审核向左，还是向右？

欢迎访问网易云社区，了解更多网易技术产品运营经验。

最近，各家新闻资讯App和直播平台都开始对内容审核人员的招聘情有独钟。

早在今年年初，今日头条就启动高达2000人的内容审核编辑招聘，并点出党员优先。而在4月10日，今日头条CEO张一鸣又在一份公开信中表示，会将现有6000人的运营审核队伍再度扩大——总人数达到10000人。

与今日头条“步调”一致的还有快手，快手CEO宿华在4月初发表反思言论之后，立马宣布急招3000人审核团队，将目前的审核团队从2000人扩大至5000人。

疯狂招人的背后，是相关部门的严监管。就拿今日头条而言，2018年以来，受到央视、工商行政管理局等有关部门的点名、批评或处罚就高达8次。

严监管只是影响结果的其中一个因素，但要把人工审核的“复兴”归结于它，就有点敷衍塞责了。那客观来说，内容审核复兴的根本原因是什么？

严监管是“果”，而不是“因”

首先得澄清下，严监管并不是今日头条、快手们疯狂招人的根本原因。

如果把目光从国内转向国外，你会发现，人工审核早就复兴了。

Facebook在2017年就宣布，将会新增3000名内容审核岗位。而到该年年中，Facebook审查员数目对比过去八个月几乎增加了一倍，其人员数量相当于当时的Twitter或Snapchat的员工总数。

除了Facebook之外，谷歌也在重新拥抱人工审核。谷歌旗下的YouTube在今年4月份对外表示，计划发布新版YouTube Kids App，该应用将取消算法推荐视频，转而全由YouTube员工纯手工推荐。

这样的转变为何？这得提下发生在去年的几件事。

2017年，美国一名男子在Facebook上直播枪杀一名无辜老人。隔了一段时间后，泰国一名男子又在Facebook直播杀死女儿，其残忍过程不仅让很多目睹，在视频发布后的24小时内，人们还可以在Facebook上看到视频。有点讽刺的是，而在稍早些时候，Facebook表示将用人工智能监测直播，防止用户自杀。然而，随后的几起事件显示，人工智能并没有起到相应的作用。

另一面，Youtube有一段时间充斥了以艾莎公主、米奇老鼠、蜘蛛侠、小猪佩奇等卡通形象为包装，故意充斥大量含有血腥暴力、恐怖、虐待、色情等内容，而算法却起到一个助纣为虐的角色。当点完一个之后，又会推荐更多相关的视频。甚至有人利用算法，去发展亚文化，并从中获利。

至此，我们明白：各大平台重新大量招募内容审核人员、相关部门执行严监管的背后，是大家发现被崇尚数年的AI算法有很多弊端，无法单独依靠算法来解决内容上的问题。

人工智能跌下内容神坛

如果说去年Facebook开始大规模招募内容审查，预示着今年人工审核的复兴，那么我们是不是可以把YouTube Kids App纯手工推荐也视为一个苗头，比如说——在内容领域，人工智能的应用不再风光，或者准确地说，其应用不再占主导地位。

人的认知是非常容易受影响的，“曾参杀人”、“三人成虎”的历史典故充分证明了这一点。对于一个谣言，一个说可能没有人相信，两个人说也许有一部分人会去相信，但是三个人或者更多人也这样说，那么人们大概率会认为这件事可能是真的了。

内容的推荐工作全部由机器完成，给我们的不是我们自己想要的东西，也不是对我们有好处的东西，而是我们实际关注的东西。也就是说，我们看某样东西越多，这方面的东西就会更集中的推向我们。而别有用心的人，就会利用算法这个特点，针对影响我们。

“我相信我们面临的最大风险是我们自己正在失去辨别现实的能力。”Reddit CEO Steve Huffman在其撰写的一篇文章中无不担忧地说。而这，也是Facebook数据泄露一事闹得沸沸扬扬的根本原因，如果再不对数据进行严格监管，我们就不是我们了。

张一鸣说，后续今日头条首先改变的是：将正确的价值观融入技术和产品。这也预示着今日头条拨乱反正，全面纠正算法和机器审核的缺陷。

技术不是万能的，很多事情并不是通过投入大量的工程师就可以解决。

朋友圈里某位老师说，产品需要价值观，消费至死和娱乐至死的确会有很大问题。从这来看，人工审核的“回归”就成了必然。

但人工审核，又是“一本万利”的生意吗？

今天的内容是海量的，依靠人工，成本会变得很高。就比如扩招2000人，一个人工资给4000元，一年光明面上的工资成本就近亿，企业的竞争力从何而来？并不是所有的公司都能像今日头条、Facebook那样，为了实现7X24小时全覆盖的审核，动辄就招聘数千名人员，规模维持上万，这是第一。

第二，内容审核的工作看似要求不高，实则要求非常高。每天被迫观看大量恐怖、色情和凶杀图片及视频，很多人因此患上了心理后遗症——经常失眠、做恶梦，脑子里充满图片和视频内容。做内容审核的人，需要特别强大的排解和消化能力，能够承担情绪和思想上带来的负面影响，否则人非常容易被其“反噬”。

国外有一名内容审核人员描述了浏览这些暴力、色情和令人不安的内容给她留下的情绪损伤和心理影响，她说：“当我从MySpace离开的时候，我大概有3年的时间不肯和人握手，因为我觉得人们都很恶心。我无法触碰别人。”她称，世界上最普通的人也都是他妈的怪胎。“我从那里出来的时候对人性感到厌恶。我的同僚们，大多数也和我有一样的感觉，我们都对人性留下了可怕的观感。”

给员工带来伤害的同时，雇主有时也会牵连。外媒报道，去年年初，两位微软网络安全部门的员工将雇主告上了法庭，并寻求损害赔偿。他们因工作中需要观看可怕的视频，包括儿童色情和谋杀等图片和视频，而患上了PTSD（创伤后精神紧张性障碍）。

从这来看，人工审核又不见得是一个好的方案。

向左，还是向右？

笔者非常喜欢一个人取的花名——“行中”，名取自于易经，意为中间态、调和态做事。回到内容审核上，要想解决这个问题，也要行中。

抛除人的优势不说，当初之所以用算法取代人工审核和推荐，是因为人工有很多弊端，比如说效率、成本以及对人的影响。算法固然有缺陷，但其高效、低成本的优势也令人神往。人工+算法，实际上是天生的一对，没必要因为一时的“摩擦”，就拆散它们俩。

那我们不得不面对一个问题：有的公司其实也在“行中”，利用人工和算法结合去解决内容的问题，为什么不OK？

一位网易云易盾内容安全的专家就该问题剖析时指出，算法+人工是现在、也是未来一段时间最为合适的形态。当下并不是算法+人工不行，而是国内有些公司积累和沉淀太少，以为拿机器学习的框架再加一些数据喂一下就好。“网易之所以在内容安全上做的效果很不错，就是得益于其拥有的20年内容审核和技术经验。”这位从事多年安全业务的专家接着说，不积跬步，无以致千里，内容审核重中之重是要有足够的积累，得“经验”加持。

“这个积累有两方面，一个是有效性数据的持续积累，其次是内容运营和审核人员的经验和思考力的积累，二者结合，不断训练机器、不断抽象和校正方向，才能够得到一个合理的‘人工+智能’的结合边界，才能更加接近人的判断。”他强调，这不是一朝一夕的事情，也无法仅仅用工程师的堆砌来替代。

聊完后，笔者陷入进一步的思考中：人是有思想、有情感的，一些海量、重复性、低价值的工作肯定会被技术取代，而人则会做更高级、更有创造性的事情。

如果能跳到未来，是不是可以发现内容审核不会向左，也不会向右，而会朝着一个必然的方向发展——人与人工智能的默契配合。

结束语

文章的最后，想谈谈监管和商业利益。

从当下频频发力的监管政策来看，内容类产品要想获得快速发展，首先要迈过监管的门槛。在有些人眼中，则认为被念了紧箍咒，但笔者不这么认为。

大量的不良内容看似带来很多流量和商业利益，但劣币驱逐良币，注定着会失去高质量的用户，不利于平台的长期发展，甚至在激烈的竞争中逐渐被边缘化；其次，没有束缚的发展也意味着“断头”路，真到了那个时候，想改正问题会发现再也没机会了。

4月11日，今日头条CEO张一鸣的声明，如果用几句话来解读的话，大致意思是：

我是工程师出身，创业的初心是希望做一款产品，方便全世界用户互动和交流。过去几年间，我们把更多的精力和资源，放在了企业的增长上，却没有采取足够措施，来补上我们在平台监管、企业社会责任上欠下的功课，比如对低俗、暴力、有害内容、虚假广告的有效治理。PS：以上为解读，张一鸣声明原文见：http://tech.163.com/18/0411/07/DF3IT0P300097U7R.html

网上有一张图盘点了今日头条被点名批评的历程。细数了下，一年四个月的时间被点名批评16次，平均一月一次。直到最近的一次，内涵段子被下令关停，再也回不来。

最后笔者想说两点：技术的确是中立的，但如何利用技术、传播何种内容却是有偏倚的，这需要人来纠正；第二，长期的商业利益和监管并无冲突，内容平台重视监管、做好内容安全是发展中非常重要的组成部分，希望内容创业者谨记。

如果你是中小创业公司，在内容审核上觉得投入成本过高，无运营经验，也担心相关政策理解不到位，更担心投入了那么多没效果，那么你可以尝试用下易盾的反垃圾业务，一键接入易盾内容安全解决方案。