稳！网易云对象存储让用户数据实现一键反垃圾

网易云安全（易盾）对象存储反垃圾服务基于人工智能、大数据分析技术，依托网易反垃圾海量特征样本库，对用户存储在对象存储上的图片数据进行高效甄别，并对涉及广告、色情、违禁、暴恐等垃圾类型的图片数据进行嫌疑程度的判断，同时为用户提供准确便捷的检测结果展示平台。
 
用户可通过结果变更、删除等快捷操作，对图片等数据做出快速处理，帮助企业减少审核人力成本，有效降低运营风险。
 
对于一些每天有大量非结构化数据生成的 UGC 平台来说，不健康内容的上传不仅会影响到其他用户的产品使用体验，而且对于平台/产品来讲，对内容也负有着一定的监管义务甚至是监管责任。
 
那么，对于这些把这部分数据存储在云上的平台/产品来说，如何保障用户上传数据的健康、合理就显得尤为重要。
 
出于对这部分企业用户在如上业务场景中监管需求的考虑，网易云对象存储接入了网易云安全（易盾）反垃圾服务来帮用户轻松解决这一难题。
 

接入背景

 
近年来，我国对健康网络环境建设非常重视，相继颁发了《互联网信息服务管理办法》、《互联网交互式服务安全保护要求》、《网络安全法》等管理法规，并成立了互联网违法和不良信息举报中心、全国扫黄打非办公室等机构，在针对黄赌毒等垃圾信息上，出台了大家耳熟能详的 “七条底线”，致力于打造一个健康、和谐的绿色网络环境。
 
网易云对象存储向用户提供对海量非结构化数据的存储服务，主要针对企业级用户，存储的数据量都是 P 级别。而数据的生产者大多是企业用户的产品使用者，作为企业，须确保使用者上传的数据是健康、绿色的。
 
网易云安全（易盾）是一个拥有 20 年反黄反垃圾经验的成熟产品，用户口碑非常好，于是对象存储和易盾的结合就水到渠成。
 

解决方案

 
常见解决方案
 

 
目前多数云厂商采用上述方案，主要的流程为：
 
客户端上传文件到云存储，并设置好文件的 Content-Type
将文件在云存储的链接传到检测系统
检测系统根据用户提供的链接获取文件内容
用户采用轮询方式查询检测结果
 
该方案流程比较清晰，但是缺点非常明显，主要有以下几点：
 

1. 用户接入成本高

 
用户不光要关心上传动作，还要实现发送检测请求，增加了复杂度。
 

2. 严重依赖 Content-Type

 
检测系统基本上都是根据文件类型做检测，根据文件是图片、文本、视频，会进行不同的鉴别操作。而在很多场景下，文件大多是企业用户的产品使用者上传的，因此企业是很难获取文件的类型的，所以很难设置 Content-Type。
 

3. 安全性低

  
对于私有属性的文件，做检测时需要将文件的认证信息放在 URL 中发给检测系统，如果请求被捕获，则文件就会泄露，造成安全隐患。
 

优化的解决方案

 
通过对上面解决方案的分析，我们提出了一个比较完善的解决方案。
 
架构图如下：
 

 
在该架构下，用户接入异常简便，对于用户来说只需要两部分操作，其一为选择桶、点击开启，其二为正常上传文件。后续所有的事件通知、类型检查、文件检测都是自动完成。
 
整个流程分为开启和检测两个部分。开启部分，流程如下：
 

 
只有前两步需要用户参与。
 
检测的流程为：
 

 
用户只需要登录网易云安全（易盾）检测结果平台进行查看即可。
 
该方案有以下几个优点：
 

1. 用户使用简单

 
如上所示，用户接入只需要选择桶，点击开启即可，流程简单。
 

2. 完善的子账号权限控制体系

 
引入了 “权限控制” 模块，支持非常完善的账号权限体系。支持 “子账号”、”群组”、”策略”、”角色” 等概念。”策略” 是一系列权限的集合，”角色” 是和策略绑定的模板，”群组” 是和策略绑定具有一系列权限的组，”子账号” 属于某个 “群组” 从而拥有群组的权限。通过子账号权限体系，用户可以更方便、更安全地管理自己的资源。
 

3. 事件通知功能

 
事件通知功能会将用户关注的特定事件 （比如文件上传、删除等操作）异步推送到配置服务器上。网易云安全（易盾）通过订阅用户的上传事件，感知用户的文件上传，每当用户在云存储上上传文件，存储模块会异步将该事件通知给网易云安全（易盾）进行反垃圾处理。除此之外，用户还可以使用事件通知实现以下功能：
 
直传回调：用户在使用直传功能时，通过订阅上传事件，可以进行异步回调，从而将回调和上传流程解耦
统计分析：对资源的增删改查进行订阅，用户可以实现对资源的统计分析
资源监控：可以通过事件通知监控您的资源上发生的某些操作的 QPS 等指标
 

4. 便捷的垃圾文件管理

 
单独使用网易云安全（易盾）服务，网易云安全（易盾）是不会删除用户数据的，登录网易云安全（易盾）控制台只能查看垃圾文件，如果要删除需要用户通过文件名，调用 API 接口自己删除。但使用云存储的反垃圾功能，可以在网易云安全（易盾）控制台选择垃圾图片，通过点击进行批量删除。
 
目前反垃圾系统已经实现了针对图片的鉴黄功能，欢迎大家使用。接下来很快会推出视频、文本的反垃圾服务，敬请期待。
 

更多精彩

 
除了支持对上传数据进行一键反垃圾处理外，网易云对象存储服务还提供了其它的丰富的服务及功能。
 
例如，支持对存储的音视频进行元数据获取、音频转码、视频帧截图、截图去黑边等的处理；对图片进行缩略、裁剪、图文水印、旋转、质量参数、模糊化、类型转换等处理；对产品用户的数据上传进行直传加速，优化用户体验；支持对对象存储服务设置访问控制等等，很好地帮助企业用户解决非结构化数据的管理难题。欢迎体验试用。