随着网民、域名、网站、IDC服务机构数量以及网络带宽流量的不断增长,国内互联网上的信息传播流量和速度都达到了空前的程度,随之而来的各类违法有害信息也趁虚而入,网络信息安全成为各运营商必须面对的问题。
Web2.0、P2P、网络视频应用的不断兴起,论坛、聊天室、博客、即时通信、个人主页等交互类网络服务迅速膨胀,使得各类违法有害信息的传播方式也更加手段多样并且快速和隐蔽。一半的网民使用互联网作为信息获取的主要渠道,一旦出现违法有害信息,其危害及影响面会很大。
近年来政府针对互联网上违法有害信息传播也进行了多次“专项整顿”和“专项打击”行动,采取“抓信息源”(即网站经营单位)的做法,阶段性地抑制了违法有害信息的产生和传播。但由于缺乏有效技术手段和设备保障,每次专项行动中各级执法、执行机构的人员投入和工作量巨大,而且困难重重并难以形成长效机制,专项整治之后各类违规业务和违法有害信息又会出现“春风吹又生”的景象。
为提高网络管理水平和服务质量,有效防止信息安全事件的发生,迫切需要一个高性能、大容量、安全稳定的信息安全监控系统,在出现非法有害及敏感信息时能够及时进行告警并采取一定的措施,以保证移动互联网网络及下联客户、增值平台等的安全运行,杜绝网上非法信息的泛滥。
建设目标
针对移动互联网的内容监测系统建设要达到以下目标。
●实时监控不良信息的发布,及时追踪有害信息来源。
●监控移动互联网业务发展状况,对业务类型和访问流量进行分析统计,为企业互联网数据业务运营提供数据支持。
●建设中心监管平台,实现对全省互联网网站发布信息的全面监控与管理,及时发现不良信息、敏感信息,规范互联网行为,促进互联网信息化的良性发展。
建设原则
“互联网信息安全监控管理系统”的设计遵循以下原则。
●实用性:系统应部署简单,不影响互联网网络现状,网络拓扑不发生改变,不增加网络故障点。
●灵活性:“互联网信息安全监控管理系统”应采用模块化结构,具有良好的扩展能力,并能够根据将来信息安全形势发展需要,灵活扩展监控内容及网络覆盖范围。
●安全性:“互联网信息安全监控管理系统”必须从网络、主机、数据库和应用软件等方面保证系统运行和审计数据的安全。
可靠性:系统应有防护性能,防止网络病毒及攻击;应用软件应有容错能力,软件故障不应引起各类严重的系统再启动;整个系统需要按照电信级系统进行设计、开发及施工,充分保证7×24小时不间断运行,并且提供足够的冗余。
经济性:系统应具有较高的性能价格比,要根据实际网络规模进行紧凑配置,使资金的产出投入比达到最大值。
系统部署方案设计
互联网信息安全监控管理系统采取通行的IP协议分析技术,它是一种对互联网网络层和应用层各类协议进行分析处理的技术。系统通过采集获取移动数据网出口电路的网络流量数据,利用报文重组、协议规则分析等技术方法实现信息安全监控管理功能。结合互联网网络结构,有以下两种部署方案(如表所示)。
方案一:要实现最佳的监控性能,就需要最大范围的采集网络流量数据。设计选择移动互联网核心层上行出口电路分光或数据镜像方式采集网络流量数据。
方案二:接入层/汇聚层数据采集方案。在移动互联网接入层/汇聚层数据采集。
先从根源入手,对互联网的基本结构进行分析(如图1所示)。
●从不良内容密集度来看,大量的不良信息来源于外网,同时还有一些IDC接入的托管
●用户和专线用户也是不良信息的重要来源。
●从内容监管责任度来看,运营商对于IDC托管用户和专线接入用户承担很重的监管责任,而外网的不良信息则由于存在着接入和管理在外等因素影响而内容监管审核压力较小。
由于互联网的开放性特点,利用人工浏览和搜索技术对接入内容进行审核将会消耗大量的人力物力,形成一个甩不掉的沉重包袱;而自动的安全检测系统,则受制网络结构的复杂和数据流量的庞大,无法在宽带接入、城域网、骨干网等层面实现全部内容的监测过滤,部署覆盖全部网络接入层面的监控在技术和资金投入上都是不现实的。
因此,重点考虑图1中的1、2两个节点,即网络出口和IDC机房的监控。节点1即是方案一数据采集点部署位置,在移动互联网核心层,为本网到外网的网络接口。节点2即是方案二数据采集点部署的位置,在移动互联网汇聚层,主要针对IDC出口,集中了本网数据。
根据网络情况,首先在核心层网络出口部署相关的监控节点并且建设互联网内容安全管理的中心节点。上述节点的建设可以监测所有本网用户(专线用户、个人宽带用户)访问他网,如使用Web服务、即时通信工具、FTP服务等的信息内容;并可以监测所有外网用户访问的本网数据,可以实现对IDC主要内容的监测。同时可以考虑在汇聚层IDC部署对应的监控节点,以实现对IDC内容安全的全面管理。
系统结构设计
网络内容安全监测系统由内容监测前端机、图片识别服务器、应用服务器和中心报表服务器组成,系统逻辑组成如图2所示。
监测前端机、图像识别机和应用服务器之间通信采用内部地址,探针监测网络出口数据流时,监测端口不需要配置IP地址,不需要访问被监测设备,对被监测设备的性能没有影响,不改变原有业务流程。
监测前端机
监测前端机可根据需要选择千兆以太网电接口或光接口,前端机采用数据旁路方式接入被监测链路,多接口或主备链路可采用前端机接入集群来实现数据接入和内容安全分析。
监测前端机的主要工作任务是采集链路数据、还原业务内容并进行文字不良信息匹配识别,同时应用内容匹配去重机制过滤图片信息,将过滤后的图片传递到图像识别机进行黄色图片识别判定。
高速数据接口分流转换设备
对于2.5G/10G的高速数据接口可选择旁路接入的分流设备对被监测链路完成数据分流和流量预筛选。数据分流设备将接口转换为千兆以太网电接口,通过千兆接口的监测前端机对分流处来的网络流量进行数据采集分析。
对于多个GE接口,也可以采用GE接口专用汇聚设备将多个GE接口数据过滤转换到若干个GE接口,实现流量汇聚分析。
图像识别机
图像识别机的主要工作任务是将监测前端机传送过来的图片信息进行黄色图片智能识别判定,将判定结果上传到应用服务器。
应用服务器
应用服务器是内容安全监测系统的控制中枢,完成监测功能配置、监测记录存储记录、监测结果统计分析等功能。系统用户通过WEB浏览器完成对系统的功能配置和结果分析。如果监测入库的数据量汇总结果过大,可配置多台应用服务器实现应用服务器集群。
由于应用服务器需要和监测前端机保持高速的大带宽通信接口,所以需要每个监测的物理节点配置至少一台应用服务器,实现主备或监测集群设置需配置两台或多台应用服务器。
中心报表服务器
中心报表服务器主要完成监测结果的汇总统计分析功能,中心报表服务器与应用服务器通过网络连接。
系统功能设计
海量数据还原分析
针对业务访问特点,系统对捕获的图片进行智能分类记录,经过去重分析处理后的记录在数据库中的图片减少90%,经过黄色图片智能识别系统审核后的嫌疑图片占总数的1%左右,低于识别门限的小图片和图片被自然过滤。
系统实现了在电信系统高速数据接口对海量数据和图片的系统化应用,为业务运营的内容监管提供了新的技术手段和发展思路。
黄色图片智能识别判定
采用“基于内容的图像识别技术”,建立了人工智能的图像识别数学模型,根据标准肤色、姿态特征库直接对图像进行判断,而不是和现有图像库进行简单的对比,对色情图像的识别率很高,变被动防御状态为真正主动过滤,极大地提高了过滤的有效性。
文字不良信息智能匹配识别
关键字设置匹配管理可以增加、修改、删除关键字的类型。策略中需要进行关键字匹配时,需要指定关键字的类型(当然同一个策略可以指定多个关键字类型)。这样在检查业务数据时,如果业务内容中有一种指定关键字类型中的关键字则认为关键字匹配成功。
关键字可通过Excel模块来定义和维护,可通过系统导入关键字字典。用户可通过关键字列表来实现对关键字的维护,不同的业务类型可分别定义所属的关键字,也未可共用关键字列表。
权重匹配管理系统支持不同协议(业务)设置不同的关键词和权重,可根据查准率和出现概率,设置关键词的权重,可以设置减权关键词,降低误报率。
合理的设置监测策略,能极大提高数据中标率,降低误报率,从而极大地降低工作人员的工作量。具体来说,可以采取以下4种措施:调整关键字权重;设置减权关键字;把易误报的业务类型和URL增加到系统信任对象(白名单);按照系统使用情况定期调整关键词权重,合理设置权重阈值。
网站报备监测
系统能根据IP地址判断IDC客户的网站页面底部的中央位置上是否有通信管理局发放的备案编号及证书,系统能够对备案编号、证书、信息产业部备案管理系统网址等进行特征抽象,并形成一定的规则,进行智能识别,保证监测结果的准确性。
不良信息取证记录
为了满足增值业务不良信息监控审核的需要,系统提供不良信息监测结果的审核确认流程,并可在各阶段分别生成分析报表。
本系统支持良好的报表展现和不良信息审核流程,大致的审核流程如下:
●监测前端机获取符合内容匹配条件的中标记录信息;
●系统用户浏览并审核抓取的图片和网站内容;
●对于有嫌疑的网站或链接,系统会给出具体的url,通过链接查实;
●通过审核确实有问题的链接,可以进行截图,保存文件等取证工作。
●可按不良信息的类型(如黄色、反动、欺诈等)进行查询,支持多条件的复合查询,可对中标信息进行去重处理。
统计查询
系统支持对至少提供主机域名、URL、URL命中次数、源数据链接、源IP、源端口、目的IP、目的端口、协议方法、协议内容类型、时间、权重等可用信息的报表生成。系统支持测试报告的打印预览、Excel、html等格式的输出方式,为管理工作提供方便。
告警策略配置
对于系统监测到的不良信息,除了进行浏览审核外,系统还支持使用邮件、短信、SNMP的方式进行告警。系统告警的产生基于配置的告警策略,在配置告警策略后,系统会实时监控、统计抓取到的不良信息数据,如果满足配置的告警阀值,就会产生相应的告警。用户可根据需要设置若干个告警策略,可以基于告警策略设置告警阀值、告警通知邮箱、告警短信通知手机,并选择告警基本。
移动互联网随着网络流量带宽的不断增长,各类违法等有害信息也乘虚而入,网络信息安全将出现严峻形势。其中互联网数据中心是各类网站及应用系统的主要集中地,也是网络信息传播的主要节点,通过建设内容监测系统,采取技术手段,将提高维护人员工作效率,将强化对移动数据网内的信息监控,将会有效切断违法有害信息传播链条,确保互联网健康发展,为促进和谐社会贡献力量。
