网络态势感知大数据.pptx

1、网网络态势络态势感知感知&大数大数据据天融信Friday,February04,2022从从419讲话说讲话说起起全天候全方位感知全天候全方位感知网网络络安全安全态势态势，知己，知己知知彼，才能百彼，才能百战战不殆，没有意不殆，没有意识识到到风险风险是最大是最大的的风险风险。军队公安保密工信其它网网络络安全安全态势态势感感知知目目录录态势感知理解态势感知系统介绍案例分享市场分析态势态势感知的字面意感知的字面意义义态：状态 了解现状势：趋势 预测未来感：感觉 信息收集知：认识 归纳总结数据行为态势态势感知的字面关感知的字面关系系感知态势从技从技术视术视角理解角理解态势态势感感知知态：状态CPU、

2、内存、磁盘、带宽、配置、病毒、漏洞、APT、僵木蠕检测.知：分析方法检索、统计、关联、聚类、分类.展示方法饼图、柱图、折线、地图、关系、3D.攻击.势：趋势可用性、病.毒.传.播.、网站被黑、僵木蠕传播.感：传感器交换机、防火墙、IDS/IPS、漏扫、WAF、从技从技术视术视角理解角理解态势态势感感知知省略了什么？已知的其它内容未知的内容人类认识世界是循序渐进的，态势感知的边界也是不断变化的从技从技术视术视角理解角理解态势态势感感知知不能一蹴而就是解决方案，不是单一系统市场视角广义态势感知：解决方案狭义态势感知：态势感知系统态势态势感知系感知系统统&大数据分大数据分析析态势感知系统大数据最 佳

3、？实践大数据特大数据特点点Velocity(速度)快快清清Visualization(可视)Variety(类型)多多低低Value(价值)大大Volume(体量)势态目目录录态势感知理解态势感知系统介绍案例分享市场分析网网络络安全安全态势态势感知定感知定义义在大规模网络环境中，对能够引起网络态势发生变化的安全要素进行获取、理解、显示以及对未来短期的发展趋势的预测。网络态势感知(Cyberspace Situation Awareness)最早由Tim Bass 在1999介绍下一代网络管理与入侵检测系统理念时提出。其借鉴并对比了“空中交通监管”态势感知的概念。包含有两层含义：实时地根据网络安

4、全设备的告警信息及其他信息，进行关联归并、数据融合等操作，实时反映网络实际的运行状况；根据历史数据进行一定的离线分析，采用一定手段对潜在可能的威胁进行预测。网网络络安全安全态势态势感知模感知模型型态势态势要要素素获获取取态势态势理理解解态势预态势预测测态势感知三级模型网络安全态势感知模型大数据系大数据系统统态势态势感知架构感知架构图图态势呈现与报表态势感知与应用数据分析与处理数据存储与计算数据加载与整理数据采集与传输系系统统架构数据采集架构数据采集层层多元异构数据信息结构化：csv、数据表等半结构化：xml、json等非结构化:pcap包、图片等多样数据采集方式主动：FTP、HTTP Get、

5、旁路抓包等被动：WebService、MQ、e-Mail等系系统统架构数据架构数据汇汇入入层层海量数据传输与并行处理Kafka分布式消息队列异构数据多样清洗、整理可视化 ETL模型定义系系统统架构存架构存储计储计算算层层海量异构数据存储非结构数据-HDFS;半结构数据-Hbase;结构化数据-Hive,RDB;高效海量数据检索ElasticSearch：反向索引、全文检索多样数据计算框架批处理-MapReduce(历史);流计算-Spark Streamling(实时)系系统统架构分析架构分析调调度度层层数据并行处理与分析可伸缩的分析调度控制集群不断演进的数据处理与分析可视化数据处理与分析模型

6、定义系系统统架构核心架构核心业务业务层层态势感知可视化态势感知模型(属于分析模型)告警与处置追踪溯源可视化追踪溯源模型(属于分析模型)核心流程数据整核心流程数据整理理数据采集层外部数据源数据汇入层流式实时处理ETL汇入处理核心业务层存储计算层核心流程数据分核心流程数据分析析存储计算层数据分析层核心业务层存储计算层效果展示可效果展示可视视化建化建模模数据模型管理算子库效果展示效果展示态势态势地地图图效果展示效果展示监视仪监视仪表表盘盘大数据到底干了什么？大数据到底干了什么？态势感知边界是不断变化的高效收集、处理多种不同类型的数据海量存储、检索各类数据信息持续深入、挖掘、认识数据丰富、全面展现态势

7、信息基于存储、性能增长的全面水平扩展能力目目录录态势感知理解态势感知系统介绍案例分享市场分析案例分案例分享享 普遍有态无势预测方法不一 预测结果不准 不同人解读不同案例分享案例分享1某部某部委委 2010年现在 5G/天，10T总设备数39台数据类型20+统计、关联、挖掘分析模型900+个 1400+任务/天案例分享案例分享1某部某部委委 分析维度时间：周、月、年地区：省运营商重要客户数据类型.案例分享一案例分享一-某部委该图是根据僵尸网络控制端控制的肉鸡的相似程度对僵尸网络控制端进行聚簇，以图发现隐藏在INTERNET中的地下经济组织。案例分案例分享享 2012年2016年初流量12GB/s

8、数据类型3方案：2个ta-w,1个大数据分析平台关注失泄密失泄密告警失泄密溯源.目目录录态势感知理解态势感知系统介绍案例分享市场分析市市场场分析分析-公安网公安网监监 2015年启动市场规模30亿八大模块态势感知、安全监测、等级保护、追踪溯源、侦查调查、通报预警、快速处置、情报信息数据：流量、扫描结果、情报信息市市场场分析分析-移移动动 2016年启动市场规模大各省建设内容不同数据：各类安全设备数据案例：南方基地；成果：安全分析模型市市场场分析分析-移移动动 案例：南方基地；成果：安全分析模型34个Xss攻击模型异常bot行为攻击Sql 注入模型蠕虫分析模型表单暴力破解攻击病毒木马攻击敏感目录

9、探测攻击异常HTTP方法请求分析模型暴力破解攻击可疑爬虫行为攻击分析模型ftp异常访问分析异常客户端请求分析模型监控命令查看敏感文件MS文件解析漏洞攻击分析模型监控执行命令认证/会话探测攻击分析模型可疑文件上传不安全第三方组件访问分析可疑扫描行为模型.市市场场分析分析-其它行其它行业业金融军队保密.大数据系统还能做点啥？跨行跨行业应业应用用高校大数据分析金融大数据分析专业领域数据分析水文声学.应应用案例用案例-高校大数高校大数据据应应用案例用案例-金融大数金融大数据据应应用案例用案例-水文声水文声学学我我们们的的优势优势安全领域2010年开始做成熟的企业级应用案例非安全领域平台化、组件化、可视化构建的快速适应能力谢谢谢谢