数据业务一站式实现平台方案.docx

数据业务一站式实现平台方案.docx

《数据业务一站式实现平台方案.docx》由会员分享，可在线阅读，更多相关《数据业务一站式实现平台方案.docx（26页珍藏版）》请在冰豆网上搜索。

数据业务一站式实现平台方案

数据业务一站式实现平台方案

iHolstein数据业务实现平台致力于企业的数字化转型

II

1.0概述

随着互联网逐渐深入到各个行业，企业管理者已普遍认识到了数字技术的价值，及其对企业所发挥的作用。

在这种环境下，企业纷纷斥巨资投入到数字化转型中。

然而，管理者常常沮丧地发现，不菲的投入却换不来显著的业绩提升。

有的公司则没有长远规划，投入到一系列漫无目的数字实验中。

这些行为不但无法带来竞争优势，反而会提升公司的成本，让其变得更加脆弱。

究其原因，当前的数据业务实现模式有很大的负面影响。

当前软件研发模式：

业务梳理、需求分析与DEMO原型设计、数据获取即系统开发、应用上线部署及数据获取实施、试运行、商用；业务梳理由业务人员完成，其它环节都由IT的业务分析人员、开发人员、运维人员分别完成。

这个模式适合企业信息化建设阶段，但对于当前的数字化转型所涉及的大量数据业务，则瓶颈凸显，主要表现在：

IT响应周期无法满足日益变化的数据业务需求、IT投入成本高但回报很低。

iHolstein数据业务实现平台致力于企业的数字化转型，协助企业CDO做好数字化转型。

基于iHolstein一体化的数据业务实现平台，可以实现“DEMO设计+数据模型即可功能实现”、“一个人可以从业务到上线全程一人搞定”；实现周期平均缩短3/5、可减少3个人力，故障恢复时间平均缩短2/3、可减少2个人力。

2.1数据业务一站式实现平台介绍

2.2体系结构

数据业务一站式实现平台帮助企业在数字化转型过程中，实现数据处理的实时化、分析的智能化、应用的快速定制化。

实时化体现在大数据实时处理与计算技术；智能化体现在机器学习技术的运用；快速定制化体现在平台提供界面化操作，通过托拉拽的方式可快速完成一个数据业务应用。

数据业务一站式实现平台包含采集管理、搜索管理、关系管理、容器管理，企业可以根据自己的需求在平台上选择或定制不同的数据业务应用，如安全审计、容量管理、业务交易分析等。

2.3平台功能介绍

2.21采集管理

数据业务实现平台通过SYSLOG、SNMP、SCP、WMI、ODBC等多种协议或专用Agent

采集分散在各个系统/设备中的各种数据信息。

数据业务实现平台既支持实时采集，也支持

按照制定的计划周期采集；既支持主动式采集，也支持被动式采集；既支持分布式采集，也支持层次采集。

2.22搜索管理

数据业务实现平台采用nosql的方式，可通过集群扩展、离线备份支持海量数据存储。

数据业务实现平台提供了非常方便、简单易懂的检索语法，语法完全采用自然语言定义，

类似于使用谷歌或XX搜索的体验。

只要会使用搜索引擎,就可以检索查看分析数据。

2.23关系管理

数据分析引擎是综合了统计分析、机器学习、人工智能、数据库等诸多方面的综合应用技术，面对大数据的价值密度低的特点，利用丰富的知识库和策略库，包括决策树、聚类、回归、神经网络等算法模型对数据进行“提纯”，解决实际应用中传统统计方法难以解决的问题。

同时，数据分析引擎还可以对接第三方算法模型和第三方工具，如spark。

2.24容器管理

统计分析：

数据业务实现平台内置柱状图、线型图、饼图、表格、面积图等多种图表形式，同时提供定制化应用程序和报表内容。

5-10分钟即可制定好需要的报表数据，报表可随时转换为仪表版模式。

iHolstein数据业务实现平台采用平台+应用的模式，通过平台提供的采集、索引、分析等基础功能和API接口，可以根据不同的业务逻辑构建不同的数据应用，做到“一份数据，多种数据应用”。

2.25告警中心

可统一整合处理各种监控策略和监控功能点产生的事件，产生告警信息，并可按设定的告警方式实时将告警信息通知到对应的干系人。

根据相关数据情况，告警信息可包含业务影响范围（颗粒度可以细到业务模块、当前处理流程和节点及业务量）、预计恢复时间等。

可快速搜索、查看各种原始监控事件和告警信息。

以表格的形式展示监控策略名、日志源IP、告警类型、告警级别、告警时间、发送记录、处理状态及操作。

3.1系统账号威胁分析功能介绍

3.2系统账号安全态势

通过全局可视化安全视图，直观展现企业系统账号安全态势，帮助企业用户识别系统账号弱点、网络异常、潜在威胁，快速掌握企业安全状况，把握威胁事件发展趋势，全方位感知安全态势，包括以下安全视图：

系统账号整体安全态势，从系统账号威胁发现、系统账号策略合规、系统账号操作合规等多角度呈现系统账号安全问题，把握企业系统账号安全短板。

iHolstein学习用户、组、设备的行为，建立行为基线，并应用风险评分，风险评分根据风险事件、实体属性，如密码变更周期、密码强度、风险事件类型与数量等多个维度综合加权计算得出。

企业系统账号安全风险整体评分，数字化量化安全威胁，帮助企业管理者一眼看清企业系统账号安全现状，了解系统账号安全变化趋势。

如果一个安全事件发生，依据威胁的类型，风险评分将发生上升或改变。

基于风险评分的策略可以协助企业跟踪自身不安全系统账号与设备，并随着时间的推移，帮助它们变得更安全。

最近一周系统账号风险事件，通过气泡颜色、分值直观呈现系统账号风险事件，帮助企业了解近期系统账号风险事件分布情况，并提供快速入口进行风险事件处理。

3.3系统账号威胁隐患监测

通过系统账号策略合规检查、异常状态系统账号发现，事前监测系统账号安全威胁隐患。

可监测多类系统账号威胁隐含，如僵尸系统账号、弱密码、密码变更长周期、永不变更密码、无/弱认证方式。

3.4系统账号威胁活动监测

iHolstein提供了良好的安全可视化视图直观展示风险系统账号、风险设备、被盗用系统账号与特权用户的行为。

通过持续不断的监测与学习企业内网所有用户、用户组、设备的行为，如它们何时何地登录、它们的角色、系统权限、密码强度、你可以识别恶意行为或威胁。

海量行为数据的深度挖掘机器学习与异常行为分析，建立每个系统账号正常行为模式，监测所有系统账号行为偏差，深刻洞悉系统账号威胁，事中监测系统账号威胁活动，及时发现异常，快速响应。

系统账号威胁活动监测多类威胁活动，如系统账号猜测行为监测、密码猜测行为监测、系统账号盗用行为监测、堡垒机高危操作监测、系统账号/群组权限变更监测、系统账号群组异常监测。

3.5系统账号操作合规分析

事后行为审计与行为学习，保障系统账号管理合规，落实企业的系统账号安全管理要求，提高企业安全水平。

可分析多类系统账号操作过程的合规，如未纳入管理系统账号的发现、管理目标系统账号冗余分析、未纳入管理资产发现、堡垒机绕行登录分析、运维跳板登录分析。

3.6风险排名

风险排名从系统账号、机器、事件三个角度量化风险排名，包括系统账号风险排名、机器风险排名、事件风险排名。

系统账号风险排名，帮助发现高风险内部系统账号。

机器风险排名，帮助发现由于系统账号威胁引起的企业内部高风险机器。

事件风险排名，帮助发现由于系统账号威胁引起的企业内部高风险信息安全事件。

3.7系统账号安全管理

内部系统账号的集中安全管理，通过系统账号安全管理功能，可以全局系统账号类型、安全状态分布，检索关注系统账号，查看关注系统账号安全详情，发现系统账号安全问题。

系统账号管理功能主要包括：

风险系统账号级别统计、系统账号风险变化趋势、系统账号类型统计、系统账号安全状态统计、系统账号检索、系统账号安全详情。

系统账号安全统计：

系统账号检索：

系统账号安全详情，包括：

系统账号基本信息、系统账号风险、系统账号访问分析、系统账号合规分析。

3.8系统账号风险事件管理

内部系统账号风险事件的集中管理，通过系统账号风险事件管理功能，可以全局风险事件类型、事件处理状态分布，检索关注系统账号、机器的风险事件，查看风险事件详情，及时响应事件处理。

系统账号风险事件管理功能包括：

风险事件类型统计、风险事件变化趋势、风险事件类型统计、事件处理状态统计、事件检索、事件详情、事件处理。

风险事件统计：

风险事件检索：

风险事件详情及处理：

4.1防火墙安全威胁分析功能介绍

4.2安全策略分析

➢安全策略使用状况分析及对象使用状况分析报告

iHolstein-FWPOA记录每条安全策略的被使用情况，并且通过图形化方式显示策略利用率报告。

通过这个报告，你可以查看某台防火墙上安全策略的利用率状况，或者哪些策略是长期以来没有被使用过。

管理员通过该报告可以调整防火墙安全策略的顺序，或者删除删除长期命中率为零的安全策略。

➢访问路径分析

➢冗余及无用安全策略分析

随着网络复杂度的提升，防火墙的策略也变得日益庞大，而其中通常有大量的无用，或者冗余的安全策略。

过多的安全策略严重降低防火墙的性能及效率。

通过iHolstein-FWPOA管理员可查看哪些安全策略是不必要的冗余配置。

可以根据该报告清理多余的安全策略。

➢安全策略收敛及流量分析

许多防火墙上均会存在一些过于“宽松”的安全策略，包括允许了过多的IP地址、允许了过多的服务端口，或者直接是’any’类型的安全策略。

这不符合安全策略配置的一般性原则，需要进行“收敛”。

这需要了解这些安全策略下的流量状况，包括特定应用流量的占比，如HTTP流量百分比多少，TCP端口443的占比多少等。

通过FWPOA的TrafficFlowAnalysis功能，管理员可查看任何一条安全策略的流量详细信息，包括各种应用的占比等。

管理员可以根据该报告制定更加有针对性、更加准确的安全策略，从而提升防火墙的安全性

4.3安全策略性能分析

➢机器学习方式智能分析结果，无须人工干预；

iHolstein-FWPOA记录每条安全策略的先后顺序，根据内置强大分析引擎，自动识别出防火墙策略配置时常常被忽略的五大规则：

屏蔽规则、交叉规则、反向屏蔽、冗余规则和宽泛策略。

五类规则示意图如下：

屏蔽规则示意图

交叉规则示意图

反向屏蔽示意图

冗余规则示意图

➢最短路径，最佳推荐算法；

iHolstein-FWPOA根据静态安全策略与动态流量相结合的技术，给客户推荐最佳的策略排序方式。

4.4配置及变更管理

➢自动获取防火墙配置信息；

某些比较老型号的防火墙，不具备主动通知变更的功能，iHolstein-FWPOA会根据系统会根据管理员的要求，定时去防火墙获取系统的配置信息。

➢配置的变更监控；

➢实时告警变更通知；

iHolstein-FWPOA会实时监控防火墙，当防火墙的配置或者安全策略被变更时，

指定的管理员会实时收到FWPOA发来的邮件或者短信通知，告知管理员配置的变更以及变更状况。

➢智能识别安全配置；

防火墙配置信息内容，包含策略、账号、对象等信息，iHolstein-FWPOA自动识别哪些是安全策略配置信息，其他内容均会忽略。

➢防火墙配置比对：

同一台防火墙不同时间点配置的比对，以及不同防火墙安全策略配置的比对

记录每次防火墙配置的修改，包括修改的详细技术信息。

并且可比较不同时间点的配置的异同，并详细标记差异之处，使得管理员清楚地了解配置的变化，以及变化的过程。

4.5可视化分析报告

➢智能分析报告展现；

图表1架构图

4.6风险分析

➢深度学习，自动检测异常流量；

iHolstein-FWPOA内置机器学习算法，通过对防火墙流量数据的分析，建立一定时间段的协议、源IP地址、目的IP地址、用户（系统不支持则不分析）、应用（系统不支持则不分析）总体统计流量数据，形成基线数据。

系统自动预测每日的高分位浮动基线数据和低分位浮动基线数据，对于高于高分位和低于低分位浮动基线数据数据进行告警；

➢自识别高危协议；

iHolstein-FWPOA内置机器学习算法，自动识别哪些协议及端口存在潜在的风险，

有可能会导致黑客绕过防火墙而侵入内网。

如Telnet，ftp，snmp，pop等协议。

通

常情况下，在防火墙域间（在Internal,DMZ,External之间,或者在开发环境和生产环境之间）:

这些高危的协议是被认为有很大风险的，因为他们明文传输一些敏感数据。

任何使用这些高危协议的都应该从策略和使用上进行监控的。

4.7合规检查

➢PCIDSS,ISO27001等国际标准规范审计

➢自定义安全规范审计

➢防火墙安全策略合规性检查的“利器”

5.1价值

•让用户将数据低成本、高效率“玩”起来并能创造智慧。

•360度洞悉企业系统账号安全威胁，让系统帐号的全生命周期闭环管理得以实现。

•洞察防火墙上配置的安全合规情况、配置变更情况，识别穿越防火墙的网络异常行为，让防火墙名副其实。

6.1典型案例

6.2某银行业务交易分析

该客户的业务办理渠道、运营支撑部门经过多年的建设，积累了海量的业务数据，在日维过程中经常会碰到的问题严重地影响了业务工作的正常开展，例如：

•问题的处理滞后，往往是有报障之后才排查。

无法及时、提前发现。

•缺乏对业务交易状况的监控，无法深度分析业务交易的异常根源（RCA）。

•无法将分散的各个交易，以业务为线串起来，实现端到端的业务交易监控。

因此如何有效地监控这些业务系统，及时准确地发现系统中存在的问题，进而优化运行参数改进，已经成为客户在业务运营和监控等方面的热点问题。

部署方式

单机部署

数据源

交易类日志，20G/天

性能指标

16394EPS

自2015年6月份上线后，通过利用iHolstein机器数据分析平台将海量业务数据进行统一采集和分析，对不同子系统（POS、网银、支付清算、手机银行等）产生的交易日志进行交易事务还原、关联分析、深度分析、定位根源问题:

客户收益：

•外围系统的运营优化：

相对孤立的单一业务系统接入，减轻了目前运维人员的运维难度，提升了运营过程中的运维效率。

•核心系统的运营优化：

省前置系统、安全平台系统等核心系统的接入，将各个相对孤立运营管理的系统进行了有效串联。

•

统一的管理运营：

系统提供的统一业务视图，最大化地发挥了各系统融合后的运营整合能力。

6.3某移动省公司DNS数据分析

通过域名访问互联网，是目前互联网业务的主要访问方式。

所有通过域名访问互联网的业务，都必须通过DNS进行域名解析，获得目标网站的IP地址后，才能正常通信。

而目前大多互联网内容资源的调度，也是采用域名进行调度。

因此，通过对DNS解析日志进行分析和深度挖掘，对DNS解析本网率、用户访问本网率、资源引入本网率进行分析，能够对互联网资源优化、用户行为分析、业务数据创新提供数据支撑。

根据工信部电管[2009]188号“工业与信息化部印发《关于加强互联网站备案管理的工作方案》的通知”要求，为加强互联网网站备案管理工作，提高网站备案率和备案信息准确率，中国移动计划进行网站备案管理系统建设，需各省DNS系统配合完成相应的改造工作。

部署方式

单机部署

数据源

DNS解析日志，120G/天

深圳市大讯永新科技有限公司为西藏移动提供了DNS系统日志分析与优化服务。

实现了对DNS业务质量的持续监测和考核；推动了互联网重点业务质量的提升，完成了集团的相关接入要求。

性能指标

25000EPS

客户收益：

o实现了多项DNS指标的分析。

监测DNS解析质量，为互联网资源优化、用户行为分析、业务数据创新提供数据支撑。

o帮助管理层实时地对整体网络解析质量的情况进行监控，并提供了直观的可视化呈现。

o直接帮助客户从DNS解析质量全国排名倒数转变成全国排名第二

6.4某大型速运集团智能运维

该事业部目前有250多个应用系统与核心设备，每天产生10TB左右的日志数据，在日常工作中面临了如下问题，给日维工作带来了极大挑战：

o日志体量庞大，存储相对零散、无法统一管控

o业务系统节点繁多，无法对整个业务流程进行有效地监控分析

o无法及时、准确地进行故障定位和告警

部署方式

4台组成分布式集群部署

数据源

三类业务数据，每天总日志量为12G

性能指标

17986EPS或者13Mb/s

自2015年12月24日上线后通过iHolstein机器数据分析平台进行日志的集中采集和管理：

客户收益：

o对分散的IT设备、应用系统、中间件等日志进行统一地收集、筛选、存储、搜索、分析及展示。

o将分散的、跨系统的各个业务节点，以业务为线串链起来，帮助用户实现了端到端的业务流监控。

o建立了高效、简便的全业务指标监控视图，帮助用户监控业务运行情况。

o深入洞悉业务细节，清晰地整理出失败的根源在哪里（RCA）。

提高了故障问题的快速定位，大幅提升了解决问题的效率以及客户满意度。

o对业务量、业务成功率等关键指标提供多维的分析统计；对关键节点的响应性能等提供预警，帮助用户监控业务使用情况，为运营决策提供了科学依据。

o和工单系统相结合，为智能运营提供了决策依据。

7.0典型客户