大数据安全分析及态势感知——企业网络的安全倍增器

　　在十二届全国人大三次会议上，李克强总理在政府工作报告中首次提出“互联网+”行动计划。这意味着传统行业的业务与互联网不只是简单对接，而是要与互联网深度融合，承载传统行业的信息系统也要与互联网深度融合。

　　在“互联网+传统行业”的大趋势下，各类全新的信息安全问题逐渐浮出水面，一方面新的信息安全威胁层出不穷，利用特种木马、0day漏洞、水坑攻击、钓鱼攻击甚至威胁更大的APT攻击已是传统防火墙、IPS、杀毒软件等安全防护设备无法发现和阻止的。另一方面随着企业信息系统产生的海量数据无法被有效收集、整理并加以利用，导致信息安全管理员无法通过数据分析发现隐藏在其中的安全威胁。因此，如何解决新形势下的信息安全威胁则是企业信息安全保障下一步建设的关键所在。

企业网络安全的困境

　　经过近十年的大范围网络安全基础设施的建设，国内企业安全防护系统经历了一个从无到有、从有到全的发展过程，大量的投资建设建起了庞大的安全防御工事：IDS、防火墙、扫描器、审计系统、WAF、防毒墙等安全设备应有尽有，但是国内企业的安全事件依然层出不穷，敏感数据泄漏这样的安全事故更是比比皆是。本章所介绍的就是现阶段企业在网络安全方面面临的主要困境。

　　1)传统安全防御手段对未知威胁没有防御作用

　　传统安全防御体系的设备和产品遍布网络2-7层的数据分析。其中，与APT攻击相关的7层设备主要是IDS、IPS、审计，而负责7层检测IDS、IPS采用经典的CIDF检测模型，该模型最核心的思想就是依靠攻击特征库的模式匹配完成对攻击行为的检测。反观APT攻击，其采用的攻击手法和技术都是未知漏洞（0day）、未知恶意代码等未知行为，在这种情况下，依靠已知特征、已知行为模式进行检测的IDS、IPS在无法预知攻击特征、攻击行为模式的情况下，理论上就已无法检测APT攻击。

　　2016年初，360天眼实验室发布了《2015年中国APT研究报告》所描述的APT攻击现状就非常直观的展示了我国企业的安全现状。

中国受攻击APT行业分布

　　2)攻击者与防御者在信息上不对称

　　攻击者在发起攻击前通常都会精心策划每一个攻击环节，包括：攻击工具的开发、控制网络的构建、木马程序的投递、本地的突防利用、通信通道的构建等等。这些精心策划的过程在正式攻击发起前就早已经开始了，例如：攻击者在制造木马程序时会将木马在常见的防病毒软件中进行免杀测试，甚至会在互联网上小范围内进行投放测试，以验证木马效果。而真正在受害者网络中进行的攻击操作则非常精准、隐蔽，使得安全人员能从本地发现的攻击线索非常少，即便发现了异常，也无法定位攻击的来源和过程。因此，对于当前的攻击检测和防御，要求安全分析员不仅仅关注本地数据，还要了解互联网上的威胁情报信息，结合来自互联网的威胁情报来对本地线索进行关联分析。

　　3)缺少本地原始数据，难以溯源分析

　　攻击者通常都会在内网的各个角落留下蛛丝马迹，真相往往隐藏在网络的流量和系统的日志中。传统的安全事件分析思路是遍历各个安全设备的告警日志，尝试找出其中的关联关系。但依靠这种分析方式，传统安全设备通常都无法对高级攻击的各个阶段进行有效的检测，也就无法产生相应的告警，安全人员花费大量精力进行告警日志分析往往都是徒劳无功。

　　而如果采用全流量采集也存在不少难点，一方面企业或组织需要准备巨大的存储资源用于存储每天产生的全流量数据，而企业或组织通常没有足够的资源来支撑长时间的存储。另一方面全量数据来源于网络流量、主机行为日志、网络设备日志、应用系统日志等多种结构化和非结构化数据，无法直接进行格式化检索，同时在海量数据中搜索安全人员所需要的数据要花费很长的时间，因此导致安全人员很难从海量的数据中找到真正有价值的信息。

　　所以，以传统的方式进行攻击溯源，即使耗费巨大的人力物力，也很难还原出整个攻击流程，找到真正的攻击源头。

　　4)缺少能在海量数据中快速分析的工具

　　对高级攻击进行检测需要从内网全量数据中进行快速分析，这要求本地具备海量的数据存储能力、检索能力和多维度关联能力，而传统的数据存储和检索技术很难达到这样的要求。例如：在一个中型规模的企业中记录全年的网络出口流量，大约有2000亿条日志，需要约300多TB的存储空间，如果使用传统的检索技术进行一次条件检索，大概需要几个小时的时间。这种效率明显不能满足攻击行为分析的需求。

　　5)无法对信息系统内的海量数据进行有效利用

　　在已经建立的信息安全保障措施中，防火墙、IDS等设备只能够通过特征库匹配的方式已知的安全威胁。但是对于隐藏于信息系统运行时产生的流量、日志等未知的新威胁缺乏发现能力进而无法阻断。因此需要全面提升信息系统的信息安全检测、分析、发现和保护的能力，从而综合提升信息系统的信息安全保障能力。

　　其中信息安全检测、分析和发现的能力，主要是采用数据收集分析技术，并结合威胁发现，是最终能够对威胁进行定性、定量分析的能力。比如说传统的安全只是发现威胁、识别威胁，然后防御威胁，而象谁在攻击你？为什么攻击你？什么时候攻击的？怎么攻击 你？攻击是否成功？损失了什么？有关联攻击么？还攻击了谁？这些问题，传统的安全技术手段或产品是无法回答的。利用收集到的数据，基于多维数据的分析，通过多种图形展现方式，才能够实现对未知威胁进行发现、阻断、取证、回溯、研判和拓展的能力。

　　此外随着信息系统的建设和发展，信息系统产生的海量的Netflow以及各种日志等，传统产品例如日志分析产品等的产品性能已经无法满足采集、存储、分析、检索要求。并且相对于日志信息，信息系统产生的原始流量对于发现未知威胁的实际效果更加优秀，因此应使用成熟数据处理技术对原始流量和日志等进行有效的收集、存储、分析和检索。

解决困境的技术手段

　　大数据安全分析和网络安全态势感知是近两年在国际安全行业中比较热门的两种技术趋势。大数据安全分析指的是对规模巨大的安全数据进行分析，从而实现及时发现网络异常行为。网络安全态势感知指的是在融合各种网络安全要素的基础上从宏观的角度实时评估网络的安全态势，并在一定条件下对网络安全态势的发展趋势进行预测。通过灵活应用大数据安全分析和网络安全态势感知这两种技术，可以提高企业对其网络安全状况的监控能力和应急响应能力，帮助企业预测其网络的安全发展趋势，还可以为网络安全管理员的决策分析提供依据，将不安全因素带来的风险和损失降到最低。显然大数据安全分析及态势感知是企业解决新形势下的信息安全威胁的有效手段。

　　1)使用互联网数据发掘APT攻击线索

　　传统的APT防护技术专注于从企业客户自身流量和数据中通过沙箱或关联分析等手段发现威胁。而由于企业网络防护系统缺少相关APT学习经验，而且攻击者的逃逸水平也在不断的进步发展，本地设备会经常性的出现误报和漏报现象，经常需要人工的二次分析进行筛选。而且由于APT攻击的复杂性和背景的特殊性，仅依赖于单一企业的数据经常无法有效的发现APT攻击背景，难以做到真正的追踪溯源。而天眼则创新性的从互联网数据进行发掘和分析，由于任何攻击线索都会有相关联的其他信息被互联网数据捕捉到，所以从互联网进行挖掘可极大提升未知威胁和APT攻击的检出效率，而且由于数据的覆盖面更大，可以做到攻击的更精准溯源。

　　2)以威胁情报形式打通攻击定位、溯源与阻断多个工作环节

　　传统的防护体系在多台设备间进行联动往往需要通过特别开发的接口对一种或几种特殊类别的告警或信息进行分发和通知，这种设计往往会制约多种不同设备或系统之间的信息传递。同时由于对于消息接口缺乏一个系统化的规范化的描述，很难对复杂的攻击行为进行准确定义。该技术的创新点在于用威胁情报的形式对各种APT攻击中常出现的特点和背景信息进行记录和传输，威胁情报将通过统一的规范化格式将APT攻击中出现的多种攻击特征进行标准化，亦可满足未来扩展APT攻击特征以及后续扩展联动设备的需要。

　　3)使用搜索技术对企业信息进行记录和检索

　　传统的安全方案中，对于企业本地数据的处理往往采用mysql等关系型数据库。这种设计早已不能满足当前数据量的处理性能需要。采用搜索引擎技术作为本地数据存储和检索核心技术，采用json格式作为引擎的输入输出格式，这样可极大提高检索性能，实现对2000-3000亿级日志秒级搜索，同时相比传统架构也能够大量降低接口上的开发量。快速搜索技术可为企业本地的大规模数据保存、攻击证据留存和查询、实时关联分析提供坚实的技术保障。

　　4)基于数据处理与计算分析的自动化关联技术

　　通过基于数据处理与计算分析的自动化关联技术作为整体的事件处理流程框架，对各类数据按照预定的流程进行流式处理，以保证各种数据处理的准确性。依靠其延迟低，实时性强的特点，通过预先设定的事件处理拓扑，可以快速的对事件处理流程进行搭建，可根据不同的处理要求构建相应的事件处理拓扑模型，满足业务要求。使用实时关联规则引擎作为事件处理流程中的一个Bolt节点，所有事件处理完成后将汇总进入规则引擎入口，规则引擎内置多种分析规则，结合日志数据、流量数据等数据元分析数据流中的异常，从而触发告警。通过这种自动化关联的方式，可及时发现企业网内的异常行为并进行告警，保证企业可及时监控并处理这些异常行为，减少企业可能遭受的损失。

　　5)基于大数据挖掘分析的恶意代码智能检测技术

　　采用了机器学习等人工智能算法，针对海量程序样本进行自动化分析，有效解决了大部分未知恶意程序的发现问题。由于传统杀毒技术严重依赖于样本获得能力和病毒分析师的能力，基本只能处理已知问题，不能对可能发生的问题进行防范，具有严重的滞后性和局限性。本技术对海量样本进行挖掘，能够找到恶意软件的内在规律，能对未来相当长时期的恶意软件技术做出前瞻性预测，实现不更新即可识别大量新型恶意软件，在全球处于领先水平。

　　6)基于可视化技术的数据结构化显示

　　通过可视化技术的利用，将原本碎片化的威胁告警、异常行为告警、资产管理等数据结构化，形成高维度的可视化方案，以便于用户理解。大数据的存储与实时运算能力保证了360能够实现数据的实时推送，配以可以实时交互的3D可视化界面，与其美观的3D展示效果相得益彰。3D图形可视化有时会将大量的数据抽象地显示出来，我们则在地图旁添加2D的统计信息，更便于阅读，区域安全态势一目了然，省去了读繁复报告的过程。可视化技术的利用使得用户可以更直观地感受到网内的安全态势，使得安全由不可见变为可见，不但带来了更好的用户体验，同时还有效地提高了安全监控的效率。

企业如何利用大数据安全分析及态势感知

　　企业在信息安全保障建设中要有效利用大数据安全分析及态势感知技术应对新形势下的信息安全威胁，需要对大数据安全分析及态势感知平台的建设有清晰的思路。

大数据安全分析及态势感知平台架构图

　　建设大数据安全分析及态势感知平台时，以下几个方面必不可少：

　　1)建立本地安全大数据中心

　　企业首先需要在网络中尽可能广泛地建立各种硬件或软件的数据采集点。然后通过这些采集点采集企业网络中的原始流量、设备运行日志、设备告警日志及终端行为日志等各种信息，经过归一化处理后存储在企业本地搭建大数据存储平台中，实现对企业网络行为的全方位监控，实现“知己”。

　　2)导入全面的威胁情报

　　企业可以通过在线或离线的方式导入安全厂商提供的云端威胁情报，掌握最新最全面的攻击者信息、其外网网站的安全态势和其网站遭受DDOS攻击的信息，实现“知彼”。在国内威胁情报领域360公司具有独一无二的优势。360公司依托于云端的海量数据，通过基于人工智能自学习的自动化数据处理技术，依靠以顶尖研究资源为基础的多个国内高水平安全研究实验室为未知威胁的最终确认提供专业高水平的技术支撑，所有大数据分析出的未知威胁都会通过专业的人员进行人工干预，做到精细分析，确认攻击手段、攻击对象以及攻击目的，通过人工智能结合大数据知识以及攻击者的多个维度特征还原出攻击者的全貌，包括程序形态，不同编码风格和不同攻击原理的同源木马程序，恶意服务器（C&C）等，通过全貌特征‘跟踪’攻击者，持续的发现未知威胁，最终确保发现的未知威胁的准确性，并生成可供企业本地大数据平台使用的威胁情报。

　　3)云端情报与本地数据自动关联

　　利用快速搜索技术将云端威胁情报、本地安全规则与本地安全数据进行自动化关联，快速准确地发现本地网络中的威胁和异常，寻找攻击者在内网留下的痕迹，对攻击进行溯源和研判，并按照时间维度形成攻击证据链，使得管理者可以实现基于发现、阻断、取证、溯源、研判、拓展的安全业务闭环。

安全业务闭环

　　4)开发专用的应用模块

　　为保证将存储在本地安全大数据中心中的原始数据和外部引入的威胁情报有效利用起来，让大数据安全分析和态势感知平台真正为企业对安全态势的把控提供支持。企业需要基于这个平台开发多个专用的安全模块，涉及威胁感知、关联分析、日志检索、告警响应中心、报表中心、资产管理、文件威胁鉴定、DNS非法外联鉴定、邮件威胁鉴定、溯源分析等不同方向，分别用于分析企业网络中不同的安全问题。如果企业还可获取互联网端与自身重要网站相关的DDOS攻击数据情报源、网站漏洞数据情报源、网站挂马数据情报源和网站可用性数据情报源的话，则还可开发DDOS攻击预警模块和网站安全监控模块。这些应用应可以灵活组合，这样才能以模块化、平台化的方式满足企业的需求。

　　5)建立态势感知中心

　　通过多个电子大屏建立企业的态势感知中心，利用可视化技术将企业网络内的安全现状通过不同维度在电子大屏上实时展现，可使得企业网络安全有“不可见”变为“可见”，帮助企业的业务管理和决策者迅速判断并做出决策，全面提升企业对安全态势的把控能力。

态势感知中心

　　上述五个方面组合后就是在企业本地落地的大数据安全分析及态势感知平台。显然，如果企业在信息安全保障建设中要自行开发该平台的话，难度颇大、成本颇高，因此建议企业选择由专业安全厂商开发的软硬件一体化平台搭建自己的大数据安全分析及态势感知平台，这样才可以迅速落地，尽快搭建企业自有的大数据安全分析及态势感知平台，解决企业无法有效应对新形势下网络安全威胁的问题。

应用价值

　　灵活应用威胁情报、大数据存储、快速搜索、可视化、机器学习和自动关联等先进技术的大数据安全分析及态势感知平台一旦在企业本地搭建完成，不但会成为企业的安全数据中心和企业网络安全防护体系的大脑，也必将成为企业网络的安全倍增器，使企业的安全防护水平得到全面的提升，提高企业对其网络安全状况的监控能力和应急响应能力，帮助企业预测其网络的安全发展趋势，为企业的网络安全管理员进行决策分析提供依据，将不安全因素为企业带来的风险和损失降到最低。