智简园区加密通信分析技术白皮书Word文档格式.docx

1、C 通信， 从而及时进行处置处理。1.4 可获得性产品最低支持版本CISV100R003C30LSW（S5720HI/S5730HI/S6720HI）V200R013C00 2 实现原理2.1 方案架构华为 CIS 通过对加密流量的握手信息，数据包的时序关系，流的统计信息，加密流量的背景流量信息进行特征抽取，并基于关键特征采用机器学习的方式进行建模，然后就可以用模型对正常加密流量和恶意加密流量进行分类，能够有效的检测出恶意加密流量整个 ECA 检测方案分为前端 ECA 探针和后端 ECA 分析系统（集成在 CIS 系统中）。ECA 探针主要负责加密流量的特征提取，对特征进行编码后，送入 CIS

2、 ECA 分析模型进行判定。后端 ECA 分析系统集成在 CIS 系统中，结合自研的检测模型检测发现恶意加密流量。当前敏捷园区场景中前端 ECA 探针的形态有两种：流探针形态，园区交换机内置 ECA 探针。2.2 方案实现整个 ECA 工作分为 3 大部分：1. 首先安全研究人员通过获取的黑白样本集，结合查询开源情报，域名、IP、SSL 等的情报信息，进行特征信息提取；通过对黑白样本的客户端签名和服务器证书的签名进行分析；基于上述分析取证的特征向量，采用机器学习的方法，利用样本数据进行训练，从而生成分类器模型。这就形成 CIS 最核心的 ECA 检测分类模型2. 通过前端 ECA 探针提取网络

3、流量中加密流量的特征数据，包括 TLS 握手信息，TCP 统计信息，DNS/HTTP 相关信息，统一上报给 CIS 系统。3. CIS 结合自身的大数据关联分析能力，对探针上送的各类特征数据进行处理， 利用ECA 检测分类模型识别加密流量中的异常 C&C 连接，从而发现僵尸主机或者 APT 攻击在命令控制阶段的异常行为2.3 样本数据对训练、测试集分别统计以下特性，用来评估样本的典型性、代表性。2.3.1 白样本浏览器客户端在样本中的比例各种常见浏览器及版本：Firefox, chrome, safari, opera, ie（edge）, sougou, qq, liebao, 360中国

4、TopN 站点服务端口分布服务端证书 TLS 版本分布TLS 参数:加密套件与压缩算法等自签名样本比例客户端、服务器双向认证比例2.3.2 黑样本恶意样本的家族（指定 AV 反病毒引擎给定的家族名称及无家族）及数据量客户端、服务器双向认证比例恶意样本访问正常网站比例服务端口分布IP 分布TLS 版本分布TLS 参数客户端 TLS 库种类及分布自签名样本比例2.4 特性分析2.4.1 加密流量异常行为关联恶意软件的网络行为中，除了加密的流量异常外，还可能存在其他的异常行为，这些异常行为可能被其他检测引擎检测到，对一个客户端源 IP，例如，是否检测到恶意文件、DGA 域名请求、IPS 检测的异常、

5、扫描行为等。需要 CIS 进行异常事件关联分析。2.4.2 上下文流量信息关联恶意软件的网络行为中，除了 HTTPS 的流量，还包含 DNS 查询的流量，HTTP 请求的流量等，关联相同源IP 在加密流量的上下文的流量，分析这些没有加密的流量，看是否能找到一些线索。一个客户端源 IP 发送的请求数量非常多，大部分请求是正常的网络行为，怎么快速找到可疑的流量进行分析是取证的一个难点。主要关注HTTP 和 DNS 请求。针对DNS， 主要用途是获得 IP 地址，还有可能进行敏感数据外传。为了获取IP 地址，恶意软件可能使用 DGA 域名、动态域名、IP 直连的方式，在获取到 IP 地址之后存在后续

6、的请求；敏感数据外传的场景下，有大量的DNS 请求但后续没有操作；针对 HTTP，可能下载一些恶意脚本、其他的恶意软件，与 C&C 服务器通信获取控制命令、敏感数据外传等。需要针对当前黑样本集中加密流量的上下文的DNS 和 HTTP 流量进行分析，得到一些恶意流量的特点，帮助过滤一些可疑的流量。例如下载恶意软件的 HTTP 流，响应字节数/请求字节数比较大；敏感数据外传响应字节数/请求字节数比较小；被感染主机上线发送的请求包，响应的数据包可能在头部信息多，响应体的内容为空；可疑的User- Agent；可疑的页面跳转（根据 HTTP 的 Reference）等。2.4.3 样本数据分析针对签名

7、，分析签名命中的黑白样本的数量，如果签名存在误报，分析是否可以修改签名字段来提高签名的精度，如果不能，则考虑删除该条签名。签名要保证准确性。机器学习上报的恶意流量，找到黑样本中相似的样本（度量相似的方式可以有多种， 例如欧式距离、其他距离、基于决策树相同的叶子等），分析这些样本的特征和上报样本的特征的相同和不同的地方。现有黑白样本的客户端签名和服务器证书的签名，统计每条签名对应的黑白样本数 量，作为该签名的描述信息，如果一条流量的客户端签名和服务器证书签名与已有签名相同，可以作为辅助手段判断，命中黑样本数量明显高于白样本，是恶意的可能性高。除了这两个签名，可以新增其他的区分黑白样本的字段或者考

8、虑在当前签名中新增一些字段。辅助的手段：黑样本加密流量的分析，不同家族的样本的流量是否有区别，不同阶段（下载、C&C、数据外传等）的流量的差别，尝试能够从流量特征得出家族和攻击的阶段信息。2.4.4 机器学习机器学习算法的选择上，主要是从样本量需求，样本处理工作量，模型准确度要求， 模型训练周期，模型调优工作量，以及模型占用资源的可控程度几个维度来考虑，最终选择业界成熟的随机森林（RF）算法，利用样本数据进行训练，从而生成分类器模型。2.5 数据特征本方案主要使用了四大类数据特征，如下： TCP 流相关的统计特征 TLS 流的握手信息特征 TLS 流目的 IP 关联 DNS 信息特征 TLS

9、流源 IP 关联的 HTTP 信息特征2.5.1 TLS 握手信息特征一条完整的 TLS 握手信息至少应包含 ClientHello 消息，ServerHello 消息，客户端到服务端的 ChangeCipherSpec 消息，服务端到客户端的 ChangeCipherSpec 消息。如上图所示，TLS 握手的第一步是客户端向服务端发送 ClientHello 消息，这个消息里包含了客户端支持的加密套件（Cipher Suites）列表以及客户端支持的 extensions 列表。TLS 握手第二步是服务器端向客户端发送 ServerHello 消息，这个消息会从 ClientHello 传过

10、来的 Support CipherSuites 里确定一份加密套件以及服务器端选择的 extension 的列表。TLS 握手过程中，服务器端会通过 Certificate 消息将自己的证书下发给客户端，让客户端验证自己的身份。证书中可提取的特征包括证书有效期、SAN 数量、证书链长度等信息。TLS 握手的第三步为客户端发送 ClientKeyExchange，client 拿到 server 的 certificate后，就开始利用 certificate 里的 public key 进行 session key 的交换了，本消息一经是加密的，因此不进行报文特征提取。基于如上描述，TLS 握

11、手信息中提取的字段数据如下：1CipherSuitesTLS 客户端支持加密套件列表2SelectedTLS 服务器端选择的加密套件3Client_ExtensionTLS 客户端支持的extension 列表4Server_ExtensionTLS 服务器端选择的 extension 列表5Client_Key_Exchange_LenTLS 握手过程中 ClientKeyExchange 消息的负载长度6Server_Key_Exchange_LenTLS 握手过程中 ServerKeyExchange 消息的负载长度7Cert_Duration服务器叶证书的有效期（单位天）8Self_S

12、igned服务器叶证书是否为自签名证书9SAN服务器叶证书中的 SAN 数量10Cert_Nums服务器证书链中的证书数量11isCA服务器叶证书是否自称为 CA 证书2.5.2 TCP 统计特征一条完整的 TCP 流，从建流到流结束，除了五元组（目的 IP 地址、源 IP 地址、目的端口号、源端口号、协议号）信息外，还可以提取整条流的持续时间，这条流的包间隔，包长度分布等。TCP 统计特征中提取的字段数据如下：DurationTCP 流的持续时间，时间单位毫秒src_packets （max,min,mean,std）TCP 连接过程中发送的所有有负载（最多 150）的包的最大负载长度，最小

13、负载长度，平均值和标准差src_times （max,min,mean,std）TCP 连接过程中发送的所有有负载的包的间隔时间（毫秒）的最大值，最小值，平均值，标准差dst_packets （max,min,mean,std）TCP 连接过程中接收的所有有负载的包的最大负载长度，最小负载长度，平均值和标准差dst_times （max,min,mean,std）TCP 连接过程中接收的所有有负载的包的间隔时间的最大值，最小值，平均值，标准差Bytes.srcTCP 连接过程中发送的总字节数Num.srcTCP 连接过程中发送的总包数Bytes.dstTCP 连接过程中接收的总字节数Num.d

14、stTCP 连接过程中接收的总包数BDTCP 负载中的字节分布情况，详细描述Packet_stateTCP 连接过程中有负载的前 20 个包的包长转移概率矩阵12Time_stateTCP 连接过程中有负载的前 20 个包的间隔时间转移概率矩阵2.5.3 DNS 信息特征根据 TCP 连接中服务端的 IP，和DNS 查询中的 IP 查询结果进行匹配，可查询到目的IP 对应的域名，发送给大数据平台进行知名网站的匹配。Suffix目的 IP 关联的域名后缀TTL目的 IP 关联的域名的生存时间domain_num_count目的 IP 关联的域名中数字的个数domain_nonAlpha目的 IP

15、 关联的域名中符号的个数domain_len目的 IP 关联的域名长度ip_address_count目的 IP 关联的DNS Response 消息中返回的 IP 数量DNS_Alexa目的 IP 关联的域名在Alex 中的排序2.5.4 HTTP 信息特征（可选）对于要检测的 TLS 链接，寻找该条流开始时间在 TLS 结束前五分钟内的 http 报文，如果两者发送方 IP 地址相同，则将这部分 HTTP 作为关联数据。User_Agent源 IP 关联的 HTTPRequest 消息中的User_Agent 字段Client_Content_T ype源 IP 关联的 HTTPReque

16、st 消息中的 content_type 字段Server源 IP 关联的 HTTPResponse 消息中的 server 字段Server_Content_T ype源 IP 关联的 HTTPResponse 消息中的 content_type 字段2.6 CIS 系统原理CIS（cyber security intelligence system）采用大数据分析方法检测威胁，能准确的识别和防御 APT 攻击，有效避免 APT 攻击造成用户核心信息资产损失。CIS 的整体工作原理及流程如下包含数据采集。数据处理、威胁检测、威胁呈现等多个功能模块。在 ECA 检测功能中，主要涉及数据采集、威

17、胁分析检测。2.6.1 大数据采集原理数据采集原理数据采集包括日志采集和原始流量采集，日志采集器负责日志采集，流探针负责原始流量采集。日志采集流程包括日志接收、日志分类、日志格式化和日志转发。流量采集流程包括流量采集、协议解析、文件还原和流量元数据上报。数据预处理原理数据预处理负责对采集器上报的归一化日志和流探针上报的流量元数据进行格式化处理，补充相关的上下文信息（包括用户、地理位置和区域），并将格式化后的数据发布到分布式总线。分布式存储原理分布式存储负责对格式化后的数据进行存储，针对不同类型的异构数据（归一化日志、流量元数据、PCAP 文件）进行分类存储，分布式存储的数据主要用于威胁检测和威

18、胁可视化。考虑到可靠性和高并发性能的要求，分布式存储的数据保存在多个检测/ 存储节点，并且可以按需扩展存储节点。分布式索引原理分布式索引负责对关键的格式化数据建立索引，为可视化调查分析提供基于关键字的快速检索服务。分布式索引采用了多实例自适应的索引技术和时间片抽取的分层索引结构，索引数据保存在多个检测/存储节点，提供了高可靠性和高并发索引能力，支持按需弹性扩展索引。2.6.2 大数据分析原理事件关联分析原理关联分析主要通过挖掘事件之间的关联和时序关系，从而发现有效的攻击。关联分析采用了高性能的流计算引擎，关联分析引擎直接从分布式消息总线上获取归一化日志装入内存，并根据系统加载的关联规则进行在线

19、分析。系统预置了一部分关联分析规则，用户也可以自定义关联分析规则。当多条日志匹配了某一关联规则，则认为它们之间存在对应的关联关系，输出异常事件，同时将匹配用到的原始日志记录到异常事件中。WEB 异常检测原理WEB 异常检测主要用于检测通过 WEB 进行的渗透和异常通信，从历史数据中提取HTTP 流量元数据，通过分析 HTTP 协议中的URL、User-Agent、Refer 和上传/下载的文件 MD5 等信息，并结合沙箱文件检测结果，离线挖掘和检测下载恶意文件、访问不常见网站和非浏览器流量等异常。C&C 异常检测C 异常检测主要通过对协议流量（DNS/HTTP/TLS/3,4 层协议）的分析检

20、测 C&C 通信异常。基于 DNS 流量的 C&C 异常检测采用机器学习的方法，利用样本数据进行训练，从而生成分类器模型，并在客户环境利用分类器模型识别访问 DGA 域名的异常通信，从而发现僵尸主机或者 APT 攻击在命令控制阶段的异常行为。基于 3,4 层流量协议的 C&C 异常检测根据CC 通讯的信息流与正常通讯时的信息流区别，分析CC 木马程序与外部通讯的信息的特点，区分与正常信息流的差异，通过流量检测发现网络中所存在的CC 通讯信息流。对于基于 HTTP 流量的 C&C 异常检测采用统计分析的方法，记录内网主机访问同一个目的 IP+域名的所有流量中每一次连接的时间点，并根据时间点计算每

21、一次连接的时间间隔，定时检查每一次的时间间隔是否有变化，从而发现内网主机周期外联的异常行为威胁判定原理威胁判定根据多个异常进行关联、评估和判定产生高级威胁，为威胁监控和攻击链路可视化提供数据。威胁判定按照攻击链的阶段标识/分类各种异常，并以异常发生的时间为准，通过主机 IP、文件 MD5 和URL 建立异常的时序和关联关系，根据预定义的行为判定模式判定是否高级威胁，同时根据相关联的异常的严重程度、影响范围、可信度进行打分和评估，从而产生威胁事件。 3 典型场景在原有敏捷园区安全协防的基础上，增加 ECA 检测功能，通过流探针或交换机内置ECA 实现对加密流量的关键特征提取，配合 CIS 的 E

22、CA 检测算法，发现加密流量中的恶意通信。3.1 场景描述敏捷园区场景由于 ECA 检测当前主要针对南北向出口流量，所以一般 ECA 探针主要部署在总部出口或数据中心出口，提取加密流量特征；CIS 系统（ECA 分析检测）作为威胁检测平台部署在总部的管理区；3.2 部署说明1、由于 ECA 探针存在多种形态，需要根据客户现网实际情况，选择不同的探针形态。一般实际使用场景中，客户除了 ECA 功能还会有其他高级威胁检测的诉求，譬如C&C，DGA，态势感知等，实际项目中需要结合客户具体场景、需求、预算等统筹分 析。2、ECA 探针类型选择上主要考虑如下几个技术因素： 出口流量大小； 现网出口位置的

23、设备类型，是否有华为设备（园区交换机）； 内置 ECA 探针选择时，要考虑 ECA 功能对园区交换机转发性能的影响； 客户是否有其他高级威胁检测需求； 由于 CIS 是 ECA 检测必需组件，而流探针一般都会和 CIS 一起配置，所以总部出口优先使用流探针。因此通常情况下我们推荐流探针交换机内置 ECA。3、CIS 系统一般部署在管理区，具体选型需要根据实际流量大小选择对应的配置3.3 典型配置CIS 选型标准化部署:：大于 2Gbps 以上业务流量流探针：高配支持 10Gbps 混合流量或 1GbpsDNS 流量。低配支持 500Mbps 混合流量或 50Mbps DNS 流量。11 节点，

24、11 台硬件服务器， 可扩容小型化部署：1） 纯流量支持 2Gbps 混合流量（需要流量平均包长不小于 640 字节），或者 200Mbps DNS 流量（需要流量平均包长不小于 128 字节）2） 流量+日志处理能力：1Gbps 混合流量+1000EPS 日志4 节点，4 台硬件服务器单机版部署：1） 纯流量处理能力：支持 1Gbps 混合流量（需要流量平均包长不小于 640 字节），或者 100Mbps DNS 流量（需要流量平均包长不小于 128 字节）。支持 500Mbps 混合流量+1000EPS 日志日志处理能力：峰值 1000EPS（Event per Second）， 单条日志

25、平均长度不超过 400 字节。1 台硬件服务器，4 个虚机园区交换机S5720HI/S5730HI/S6720HI典型部署：1. 敏捷园区场景下，企业总部/分支出口流量使用流探针实现 ECA 检测及其他高级安全检测需求：2. 敏捷园区场景下，企业总部出口部署流探针实现加密、非加密流量检测，分支出口通过园区交换机开启内置 ECA 探针实现分支 ECA 检测；如果考虑东西向加密流量检测，可以在总部内网的园区交换机开启 ECA 功能。园区交换机开启内置 ECA 功能后，对其转发性能影响较大，选型上需要注意： A 缩略语缩略语英文全名中文解释Appapplication应用APTadvanced persistent threat高级持续性威胁NGFWNext-Generation Firewall下一代防火墙TLSTransport Layer Security传输层安全Cyber Security Intelligence System网络安全智能系统ECAEncrypt Communication Analysis加密通信分析AVAnti-Virus反病毒