社区编辑

个人签名

197篇博客

稳!网易云对象存储让用户数据实现一键反垃圾

社区编辑2018-05-18 15:33

网易云安全(易盾)对象存储反垃圾服务基于人工智能、大数据分析技术,依托网易反垃圾海量特征样本库,对用户存储在对象存储上的图片数据进行高效甄别,并对涉及广告、色情、违禁、暴恐等垃圾类型的图片数据进行嫌疑程度的判断,同时为用户提供准确便捷的检测结果展示平台。
 
用户可通过结果变更、删除等快捷操作,对图片等数据做出快速处理,帮助企业减少审核人力成本,有效降低运营风险。
 
对于一些每天有大量非结构化数据生成的 UGC 平台来说,不健康内容的上传不仅会影响到其他用户的产品使用体验,而且对于平台/产品来讲,对内容也负有着一定的监管义务甚至是监管责任。
 
那么,对于这些把这部分数据存储在云上的平台/产品来说,如何保障用户上传数据的健康、合理就显得尤为重要。
 
出于对这部分企业用户在如上业务场景中监管需求的考虑,网易云对象存储接入了网易云安全(易盾)反垃圾服务来帮用户轻松解决这一难题。
 

接入背景

 
近年来,我国对健康网络环境建设非常重视,相继颁发了《互联网信息服务管理办法》、《互联网交互式服务安全保护要求》、《网络安全法》等管理法规,并成立了互联网违法和不良信息举报中心、全国扫黄打非办公室等机构,在针对黄赌毒等垃圾信息上,出台了大家耳熟能详的 “七条底线”,致力于打造一个健康、和谐的绿色网络环境。
 
网易云对象存储向用户提供对海量非结构化数据的存储服务,主要针对企业级用户,存储的数据量都是 P 级别。而数据的生产者大多是企业用户的产品使用者,作为企业,须确保使用者上传的数据是健康、绿色的。
 
网易云安全(易盾)是一个拥有 20 年反黄反垃圾经验的成熟产品,用户口碑非常好,于是对象存储和易盾的结合就水到渠成。
 

解决方案

 
常见解决方案
 

 
目前多数云厂商采用上述方案,主要的流程为:
 
客户端上传文件到云存储,并设置好文件的 Content-Type
将文件在云存储的链接传到检测系统
检测系统根据用户提供的链接获取文件内容
用户采用轮询方式查询检测结果
 
该方案流程比较清晰,但是缺点非常明显,主要有以下几点:
 

1. 用户接入成本高

 
用户不光要关心上传动作,还要实现发送检测请求,增加了复杂度。
 

2. 严重依赖 Content-Type

 
检测系统基本上都是根据文件类型做检测,根据文件是图片、文本、视频,会进行不同的鉴别操作。而在很多场景下,文件大多是企业用户的产品使用者上传的,因此企业是很难获取文件的类型的,所以很难设置 Content-Type。
 

3. 安全性低

  
对于私有属性的文件,做检测时需要将文件的认证信息放在 URL 中发给检测系统,如果请求被捕获,则文件就会泄露,造成安全隐患。
 

优化的解决方案

 
通过对上面解决方案的分析,我们提出了一个比较完善的解决方案。
 
架构图如下:
 

 
在该架构下,用户接入异常简便,对于用户来说只需要两部分操作,其一为选择桶、点击开启,其二为正常上传文件。后续所有的事件通知、类型检查、文件检测都是自动完成。
 
整个流程分为开启和检测两个部分。开启部分,流程如下:
 

 
只有前两步需要用户参与。
 
检测的流程为:
 

 
用户只需要登录网易云安全(易盾)检测结果平台进行查看即可。
 
该方案有以下几个优点:
 

1. 用户使用简单

 
如上所示,用户接入只需要选择桶,点击开启即可,流程简单。
 

2. 完善的子账号权限控制体系

 
引入了 “权限控制” 模块,支持非常完善的账号权限体系。支持 “子账号”、”群组”、”策略”、”角色” 等概念。”策略” 是一系列权限的集合,”角色” 是和策略绑定的模板,”群组” 是和策略绑定具有一系列权限的组,”子账号” 属于某个 “群组” 从而拥有群组的权限。通过子账号权限体系,用户可以更方便、更安全地管理自己的资源。
 

3. 事件通知功能

 
事件通知功能会将用户关注的特定事件 (比如文件上传、删除等操作)异步推送到配置服务器上。网易云安全(易盾)通过订阅用户的上传事件,感知用户的文件上传,每当用户在云存储上上传文件,存储模块会异步将该事件通知给网易云安全(易盾)进行反垃圾处理。除此之外,用户还可以使用事件通知实现以下功能:
 
直传回调:用户在使用直传功能时,通过订阅上传事件,可以进行异步回调,从而将回调和上传流程解耦
统计分析:对资源的增删改查进行订阅,用户可以实现对资源的统计分析
资源监控:可以通过事件通知监控您的资源上发生的某些操作的 QPS 等指标
 

4. 便捷的垃圾文件管理

 
单独使用网易云安全(易盾)服务,网易云安全(易盾)是不会删除用户数据的,登录网易云安全(易盾)控制台只能查看垃圾文件,如果要删除需要用户通过文件名,调用 API 接口自己删除。但使用云存储的反垃圾功能,可以在网易云安全(易盾)控制台选择垃圾图片,通过点击进行批量删除。
 
目前反垃圾系统已经实现了针对图片的鉴黄功能,欢迎大家使用。接下来很快会推出视频、文本的反垃圾服务,敬请期待。
 

更多精彩

 
除了支持对上传数据进行一键反垃圾处理外,网易云对象存储服务还提供了其它的丰富的服务及功能。
 
例如,支持对存储的音视频进行元数据获取、音频转码、视频帧截图、截图去黑边等的处理;对图片进行缩略、裁剪、图文水印、旋转、质量参数、模糊化、类型转换等处理;对产品用户的数据上传进行直传加速,优化用户体验;支持对对象存储服务设置访问控制等等,很好地帮助企业用户解决非结构化数据的管理难题。欢迎体验试用。