技术部分创新点新产品.docx
《技术部分创新点新产品.docx》由会员分享，可在线阅读，更多相关《技术部分创新点新产品.docx（19页珍藏版）》请在冰豆网上搜索。
技术部分创新点新产品
第二章项目技术方案与创新性
一、项目的技术原理
项目的技术原理
1、技术依托
本项目产品的研发是在本公司研发团队在综合比较国内外相关产品技术情况的基础上，充分借鉴国内外先进技术成果，并紧跟技术发展趋势而开发的具有自主知识产权的产品，该项目的立项依托了：
（1）国内外同类的产品先进技术；
（2）国内外相关技术成果；（3）国内外相关论文及专利。
具体参考了以下材料：
[1]孙玮，无线充电，经济学人，2009
[2]马勇，无线充电，龙源电子期刊，2008
[3]魏坤、王卫洁，自制无线充电器，无线电，2008
[4]王传亮，无线充电技术简介及其监管机制思考，人民邮电出版社，2011
[5]黄洁琳，无线充电器设计，山西电子技术，2009
[6]郭言平，无线充电的关键技术和研究，合肥学院学报，2012
[7]白旭，基于无线充电的无线传感网LEACH算法改进，武汉理工大学学报，2010
[8]肖志坚，关于便携式电子设备新型无线充电系统的研究，自动化技术和应用，2007
[9]郭言平，无线充电技术持续发展，数字通讯，2010
[10]洪枚，无线充电--未来的充电模式，电动自行车，2010
[11]谢利涛，无线充电技术及其应用，河南科技，2011
[12]刘阳春，无线充电设备WILDCHARGE，电世界，2011
[13]韩霜，无线充电,开启移动设备充电新纪元，世界电子元器件，2011
[14]大秋，无线充电解决方案，军民两用技术与产品，2011
2、技术原理s
项目总体技术原理
网络流量控制与应用优化产品可以控制网络中s所有网络应用和优化网络中的关键业务，能在复杂的网络环境中，控制不同的业务流走不同的通道，关键的业务走可靠的通道并保证服务质量，并且在网络拥塞的情况下，动态调整数据传输，使得网络资源得以优化运用。
本项目正是基于这种思想而实施的，其操作系统体系构架框图如下：
其产品功能实现的具体步骤为：
第一步：
对网络报文进行流控制，分类到每个session中，即：
根据源IP、目的IP、协议号、源端口、目的端口五元组，为每个session的key。
第二步：
对报文进行应用层协议识别，即用DPI技术，对应用层报文进行业务的识别工作。
通过这两步可以将报文根据用户、应用和业务进行分类，利用网络流量控制中的策略设置，对用户、应用、vlan、时间等条件进行流量的管理。
再次通过QoS来时带宽的优化工作，主要包括限速和流量整形两部分工作。
限速：
对不同类别的流量按照用户设置进行保证用户的关键业务流量占用的带宽，抑制非关键业务对网络的影响；整形：
为了让网络瓶颈的各类数据流平缓的注入主干网，减少数据包的边缘网关排队等待时间，从而减少了边缘网关缓存的大小以及数据包的丢失率。
整形能够降低或避免拥塞的发生，保证网络的稳定性。
最后流量统计和数据的展现，给用户提供图形化的流量信息分析展现，能够让用户对自己的网络完全了解。
以下为各模块功能的实现及原理：
（1）Session流建立模块
本模块主要是通过模块中的算法软件，根据TCP/IP协议规定，IP报根据源IP、目的IP、协议号、源端口、目的端口五元组，从而找到相关链接和传播方向，我们利用RBTree技术将五元组相同的报文归属于同一个流的报文，利用Session将这些报文联系起来，为数据分流提供依据。
（2）DPI协议识别模块
本模块利用深度数据包检测DPI技术，DPI技术在分析包头的基础上，增加了对应用层的分析，是一种基于应用层的流量检测和控制技术，当IP数据包、TCP或UDP数据流经过基于DPI技术的网络设备时，DPI引擎通过深入读取IP包载荷的内容来对OSI7层协议中的应用层信息进行重组，从识别出IP包的应用层协议。
这是通过对一系列数据包的包头以及负载中的签名特征（Signature）进行分析，同时DPI提供了对网络的利用率的分析，为网络性能优化提供了手段。
例如下图，显示了一个数据包的结构；如果只是通过常见的HTTP应用签名特征进行判断，就很容易将它误判为一个Web访问的应用。
因为如果我们只观察第一个签名特征样本（例如HTTP/），那么它看上去很像是一个标准的HTTP协议。
然而通过对数据包的负载部分的进一步深入考察，我们发现了该数据包具有的第二个代码样本签名特征，即KaZaA，这样我们就能够了解这个数据包的真实身份和目的。
有时候，不同的代码样本签名特征是分散在一次协议会话的多个数据包之中的。
为了能够准确的对应用进行识别，就必须使用精密的第7层协议侦测系统对往来的数据包进行分析，从而实现与应用代码样本匹配。
（3）策略控制模块
本模块利用多维树算法实现了内置灵活的、高效的应用层防火墙策略控制方法。
应用层防火墙通过将传统防火墙的访问控制策略深化到应用层面，管理员可以实现基于应用优先级、源IP地址、目标IP地址、VLAN、时间段、协议或协议组、动作、会话数、带宽的进出通道等灵活的带宽流量控制和应用优化功能，管理员可以根据上述参数对网络流量进行划分，并确定如何有效、合理地进行带宽的管理与控制。
（4）QoS流量控制模块
本模块采用令牌桶（tockenbucket）机制实现的一种流量控制方法。
带宽控制和应用优化系统使用的流量整形对CAR中需要丢弃的报文进行缓存——当令牌桶中的令牌少到报文不能发送时，报文将被缓存入流量整形队列中。
当流量整形队列中有报文的时候，流量整形按一定的周期从队列中取出报文来发送，每次发送都会与令牌桶中的令牌数作比较，直到令牌桶总的令牌数减少到队列中的报文不能再发送或者是队列中的报文全部发送完毕为止。
该产品使用的带宽流量管理和分配算法，提供自定义的虚拟带宽通道、最大带宽限制、保证带宽、带宽租借、Per-IP带宽控制、Vlan带宽控制、时间、应用优先级以及随机公平队列等一系列的应用优化和带宽管理控制功能。
强大的应用层优化策略将网络带宽的管理从被动的、消极的、无效的传统模式提升到主动的、有效的、智能化的带宽管理服务，最终达到保证关键应用正常运行的目标，有效地提升用户网络的运维、管理水平。
基于协议或应用组的带宽保障和控制：
流量控制和应用优化系统支持组对象的配置，如：
用户可以自定义组（IP组）、协议组、时间组，方便用户根据不同类型的应用、IP、时间等带宽管理策略的控制。
带宽控制策略：
流量控制和应用优化系统基于源/目的IP、时间段、VLAN、应用协议、进入/出去带宽通道等参数管理和控制用户的网络带宽流量。
（5）统计分析和实时数据展现模块
统计分析模块利用了hash、树、链表等算法的结合，能够利用报文中IP信息，一次性定位到需要统计的单元数据中，实现高效的查询统计功能。
实时数据展现模块采用应用实时系统（ApplicationReal-TimeAnalyzerSystem）实现网络的可视化。
ARAS采用JavaSwing构架，提供了实时流量采集、分析和展现功能。
本产品使用一套自主分析算法实现网络信息的实时统计。
基于对网络报文的分析方法，即以网络层分析和传输层分析为基础，可以实现以IP、网段、端口、连接信息的实时统计和实时速率展现；基于以应用协议分析为基础，可以提供应用、应用组的各类实时报表。
将多种分析方法相互结合，可以展现出应用、应用组、网段、IP等相互组合的实时分析数据，通道流量、设备运行的实时数据，让用户可以全面的掌控网络带宽的使用情况，使网络运行状况、应用使用情况、带宽使用情况等完全可视化。
二、项目国内外研究开发现状
项目国内外研究开发现状
一、国内外技术开发总体现状
网络数据流量监控及优化技术经过近几年的发展，技术越来越成熟，已经达到实用的地步。
目前，国内外已经有多种产品面世，但总体表现出国外产品质量、性能明显优于国内产品，高端市场%为国外产品占据，国内生产厂家完全是低端品牌，一直处于弱势地位。
造成这种结果主要的原因在于：
国内外生产厂家对于技术的开发采取了完全不同的态度，国外厂家注重对相关技术的全面研究，注重自主创新，因而始终处于技术发展前沿；反观国内产品生产厂家很少重视技术研发，主要采取的是技术跟进、技术模仿和OEM的方式，因而产品质量、性能均无法与国外同类产品比较。
虽然国内一些公司做了很大的努力，但在技术上仍然无法取得突破。
1、国外技术现状
国外相关产品研究、开发、使用的时间相对较长，先后发展了几代产品，有着丰富的研发和产业化经验，具有较高的技术水平，代表着行业技术发展的水平，引领着技术发展方向。
目前，在网络流控设备行业中领先的有ALLOT、Sandvine等公司，他们生产的相关产品性能不错，但价格很高、国内协议识别率较低、用户界面不太友好、功能偏少、难以调试，不太符合国内客户的需求，另一方面，基于国内信息安全的考虑，国外产品也受到了较大的限制。
2、国内技术现状
我国研发、制造和使用网络数据流量监控及优化产品的时间比较短，其产品主要采用OEM形式生产，因而核心技术不能被自己所掌握，产品质量和功能都比国外差，不能满足众多客户的需求，只能应用于要求不高的场合，因而无法得到众多客户的认可，无法实现大规模的市场销售。
目前，国内仅有北京网康科技有限公司和深圳深信服科技有限公司等几家公司展开了相关的研究和开发，然而其技术水平还处于较低的阶段，短时间无法取得技术上的突破，因而其产品质量和功能也无法得到较大的提升，仍属于低端产品，市场认可度也不高，因而市场表现不佳。
3、技术发展趋势
国内外网络数据流量监控及优化技术发展现状表明，研究具有网络资源利用率高、识别率高、处理流量大的网络流控管理与优化产品是未来产品发展的方向，其所依托技术的主要算法也向着更加简介、快速、高效、适用范围更广、可靠性和稳定性都更高的方向发展，以便适应高速网络发展的需求。
二、本项目已有技术基础及现状
本项目技术是在充分比较借鉴国内外相关技术的基础上提出来的，通过全体技术人员的协同攻关和创新而开发出来的，完全具有自主知识产权，产品达到国内领先、国际先进的技术水平（见查新报告）。
目前公司申请了一项与本项目相关的软件着作权，与之配套的相关技术算法基本解决。
目前，该项目已经制造出样品，正在做各项测试和改进，从各项数据的检测结果和用户试用的情况来看，该产品质量可靠，可以满足各种复杂条件下的网络数据流量的监控及网络数据传输优化，产品具有智能化程度高、适应能力强、处理速度快、处理能力强等特点，产品质量达到并部分超过国外同类产品。
三、项目主要内容及创新点
1、项目主要内容及技术路线
申报项目研究内容及涉及的关键技术及技术指标描述
1、本项目研发内容
本项目旨在通过总结和借鉴目前国内相关产品技术的基础上，通过自我技术创新和技术改造，设计开发一种基于流的源端控制技术的高带宽利用率的网络业务优化平台，实现对网络数据流量业务的综合管理和优化，满足国内网络客户对高性能产品的需求。
本项目研发的主要内容有：
（1）网络报文解析技术的研究
本项目是对网络业务进行优化，主要是研究对象是：
网络数据报文。
网络数据报文的基本结构如下图：
TCP/IP网络上面的数据报文主要有，二层数据链路层信息、三层IP头部信息、四层传输层协议信息和七层应用层数据信息组成。
通过我们的内核实现对报文的逐步解开，根据协议进行分类处理。
（2）网络流建立技术研究
为了对网络数据报文进行完整的分析，由于本设备放在网络的出口处，我们将报文的五个关键域来表示每股网络流量：
·源IP地址
·目的IP地址
·4层协议号
·TCP/UDP源端口
·TCP/UDP目的端口
如果不同的IP报文中所有的五个关键域都匹配，那么这些IP报文都将被视为属于同一股流量。
程序实现的构架图：
（3）DPI协议识别技术研究
DPI全称为“DeepPacketInspection”，即深度包检测。
所谓深度是和普通的L2-L4交换或路由器的报文分析层次相比较而言的。
DPI除了像对IP数据包进行四层以下的分析之外，还增加了应用层特征分析，识别各种应用，甚至内容的识别。
DPI识别实现模型：
DPI技术能够精细和准确识别网络协议。
不同的应用通常会采用不同的协议，而各种协议都有其特殊的指纹，这些指纹可能是特定的端口、特定的字符串或者特定的Bit序列。
基于特征字的识别技术，正是通过识别数据报文中的指纹信息来确定业务所承载的应用。
根据具体检测方式的不同，基于特征字的识别技术又可细分为固定特征位置匹配、变动特征位置匹配和状态特征字匹配三种分支技术。
通过对指纹信息的升级，基于特征字的识别技术可以方便的扩展到对新协议的检测。
（4）DFI协议识别技术研究
DFI（Deep/DynamicFlowInspection，深度/动态流检测）采用的是一种基于流量行为的应用识别技术，即不同的应用类型体现在会话连接或数据流上的状态各有不同。
例如，网上IP语音流量体现在流状态上的特征就非常明显：
RTP流的包长相对固定，一般在130～220byte，连接速率较低，为20～84kbit/s，同时会话持续时间也相对较长；而基于P2P下载应用的流量模型的特点为平均包长都在450byte以上、下载时间长、连接速率高、首选传输层协议为TCP等。
DFI技术正是基于这一系列流量的行为特征，建立流量特征模型，通过分析会话连接流的包长、连接速率、传输字节量、包与包之间的间隔等信息来与流量模型对比，从而实现鉴别应用类型。
根据会话连接流的包长、连接速率、传输字节、包和包的间隔时间等元素，建立数学模型。
数据报文通过设备建立的模型，将DPI无法准确识别的流，进行第二次识别。
这样将加密的协议进行分类识别了。
（5）QoS流控制技术的研究
QoS流控制技术利用了一个非常精确的调度程序。
该调度程序决定某一特定时刻哪个流可能发送数据包。
发送完数据包后，系统将根据定义的策略和每个流已发送的数据包的数量来决定哪个流将发送下一个数据包。
在该数据包到达QoS模块后，它将会检查承诺的带宽是否耗尽以及是否达到了最大界限。
如果承诺的带宽没有耗尽，则将立即（没有延迟）传输数据包。
如果已经达到了该流的最大界限，则数据包将被放入到缓存中。
否则，该数据包将被放入到其流队列中，并根据该流的优先级和可用带宽来传输它。
（6）网络流量可视化技术研究
使用一套自主分析算法实现网络信息的实时统计，同时通过直观的图形、图表展现出应用、应用组、网段、IP等相互组合的实时分析数据，通道流量、设备运行的实时数据，让用户可以全面的掌控网络带宽的使用情况，使网络运行状况、应用使用情况、带宽使用情况等完全可视化。
2、涉及的关键技术
（1）利用RB树建立流技术
（2）DFA应用于DPI协议识别技术
（3）网络业务特征库管理技术
（4）DFI模型建立技术
（5）DPI和DFI协议识别结合技术
（6）ECBQ的流的网络带宽控制技术
（7）PerIP的流控制技术和带宽的公平分配技术
（8）网络业务流量可视化展现技术
3、本项目主要解决的关键问题
（1）网络报文解析技术需要解决RFC、的协议支持；
（2）网络流建立技术需要需要解决快速查找、插入和删除Sessen信息的方法，快速确定流的服务方式等功能，使得设备能够达到8G的网络吞吐量；
（3）DPI协议识别技术需要解决准确、快速识别网络应用、将网络上的应用识别率广和支持大部分网络应用；
（4）DFI协议识别技术需要解决加密协议的识别，数学模型参数的准确性学习性的问题；
（5）DPI协议识别和DFI协议识别结合技术需要解决准确识别和DFI模糊识别的分类的问题，使得网络流量的识别率达到90%以上；
（6）QoS流控制技术需要解决准确的流的流控、流量控制的进度达到1KB和从流的源端控制技术达到93%以上的带宽利用率；
（7）实现网络流量可视化技术需要，解决人性化的数据展现和准确的数据分析功能。
4、技术路线描述：
（1）项目生产方案
由于本项目产品由软件和硬件两部分组成，其中硬件部分基本为成熟产品，可以很容易购得，由上游厂商根据本公司的需求提供；软件部分才是本项目产品的关键，它通常固化在设备中，这部分由公司自主开发；因而本项目产品的生产将采取“硬件外购+软件自主生产”的方式进行。
（2）技术路线
a、理论模型的建立
b、各功能模块算法设计
c、各功能模块无缝对接
d、在设备中固化入软件
e、系统配套试用调试
f、产品功能的完善和最终定型。
（3）项目实现的系统的框架图
2、项目创新点
技术创新
1、DFA技术应用于DPI引擎
对于报文的识别方法主要使用正则表达式的匹配方式实现的，目前国内大多数厂家及国外部分厂家使用的方法的是使用NFA（Non-deterministicfiniteautomaton，不确定有穷自动机）的匹配方法。
由于NFA的匹配需要对每一条正则表达式一条条的匹配，因而存在匹配速度较慢和难于维护等问题。
而DFA引擎在任意时刻必定处于某个确定的状态，而NFA引擎可能处于一组状态之中的任何一个，所以，NFA引擎必须记录所有的可能路径（tracemultiplepossibleroutesthroughtheNFA），NFA之所以能够提供Backtrack的功能，原因就在这里。
从理论上说，如果我们不需要Backtrack，或者仅仅需要很小级别的Backtrack，完全可以从NFA构造出等价的DFA，再进行匹配，这样能大大提高速度——代价是，DFA需要更多的空间。
NFA因为不确定，所以限制比DFA要少，构造起来也比较方便一点，但匹配速度较慢.而DFA依次匹配并记录匹配过程中每个字符的位置，因此每个字符最多被匹配一次，其匹配速度比NFA要高许多。
虽然要把正则表达式先转化为NFA，再把NFA转换为DFA，其转换时间相对要长，但是只需在匹配报文前对正则表达式编译一次，因此匹配报文的总体时间要比NFA的匹配引擎快很多。
但由于DFA的空间要求比较高，因而限制了其技术的使用，始终不能实现商业化，目前该技术主要使用在一些表达式的集合匹配算法上面，例如：
linux上grep命令和一些简单的数据挖掘上面。
针对这种情况，本公司技术团队对DFA技术进行了改进、创新，对DFA节点进行最小化的处理，大大的较少了内存空间的使用，克服了单纯使用DFA技术的缺点，首次实现了DFA技术在DPI引擎上的应用，其技术具体实现过程为：
首先将正则表达式转化到NFA，将NFA的体现方式转换成DFA，最后将DFA进行最小化。
其中DFA最小化技术就是本项目最大的技术创新点之一。
DFA最小化技术实现原理具体如下：
有穷自动机分为确定的有穷自动机DFA和不确定的有穷自动机NFA两种。
定义1DFA：
一个确定的有穷自动机，M是一个五元组，M=（K,Σ,f,S,Z），其中:
K是一个有穷集,其元素称为状态；Σ是一个有穷字母表,其元素称为输入符号；S∈K,称为初态;ZìK，是终态集；f是转换函数，是K×Σ→K上的映射，f（ki,a）=kj,（ki∈K,kj∈K）表示状态ki，输入符为a时，转换为状态kj。
定义2无用状态：
从自动机的开始状态出发,任何输入串也不能到达的那个状态;或者从这个状态没有通路到达终态的状态。
定义3等价状态：
如果说两个状态s和t是等价的,应满足如下条件:
（a）一致性条件：
s和t必须同时为终态或为非终态;（b）蔓延性条件：
对于所有输入符号，状态s和t必须转换到等价的状态里。
一个DFAM可以通过消除无用状态和合并等价状态而转化为一个最小化的与之等价的DFAM’。
该过程称为DFA的最小化。
最小化的思想是在不改变DFA识别的语言的前提下，合并相应的结点，使合并后的DFA与合并前的DFA等效，而结点数目减少。
但在实现上，采用是从合到分的方法。
先从最精简的结构出发，即，整个系统就两个集合，所有的终态结点并为一个结点，所有的非综态结点合并为一个结点。
然后看这种划分是否可行，如不可行，再分解出更多的集合。
而合并可行的依据就是集合中的每个元素通过同一条弧到达同一个目标集合。
如上图，首先将所有的非综态结点合并为I0，。
将综态结点合并为I1。
分别考察两个集合。
对于I0，通过0弧，有如下跳转：
S0?
S1，S2?
S1，S1?
S3。
而S1∈I0，S3∈I1，据此，S1和S0、S2要分开位于不同集合。
现假定I0={S0,S2}，I1={S3,S4}，I2＝{S1}。
考察I0，同样是通过1弧，则有如下跳转：
S0?
S2、S2?
S4，而S2∈I0,S4∈I1。
故，S2与S4分开。
可以看出，只要发现一条弧不满足上述条件，就可以将其分离。
并非要考察完每条弧。
再来考察I1，通过0弧可得：
S3?
S3∈I1，S4?
S3∈I1。
通过1弧可得：
S3?
S4∈I1，S3?
S4∈I1。
显然，I1不可再分。
如此重复，直到每个集合Ii（I=0,1,…）均不可再分为止。
最小化后的状态转换图如下：
DFA应用于DPI技术易于理解、升级方便、维护简单，是目前运用最有效的流量识别方法。
其主要优点包括：
准确性高、健壮性好、具有分类功能等。
准确性高是由于该方法执行精确特征匹配，因此极少存在误判问题。
健壮性好是由于可以处理数据包丢失、重组等，因此能适应如今复杂的网络应用。
具有分类功能是由于深层数据包检测技术可以依据不同应用的载荷特征来准确分类各网络应用，因此可以为实施流量监管策略提供准确的信息。
和DPI技术结合
目前，在网络数据流量控制与优化的相关产品中，国内厂家大多采用DPI引擎技术，其主要通过源IP地址、目的IP地址、源端口、目的端口、会话信息以及对IP包中的荷载Payload（应用层数据）深入分析，匹配应用协议的特征库，可以探测和跟踪动态端口分配的应用，能够识别变动端口的会话流，并能够对使用同一端口的不同协议进行自动识别，从而可以做到基于真正七层的协议或应用实现流量整形和带宽控制，来优化用户的网络和应用的可用性。
但在实际网络中，很多应用为了逃避DPI的检测来达到对网络资源的占用；这些应用会对报文进行加密，特别是P2P的应用，如：
BT、eDonkey等都有加密的流量，这就造成了国内目前产品普遍存在网络识别率低的问题。
针对这种情况，本公司技术团队在总结DPI技术优点的基础上，结合DFI的优点，提出了“DFI+DPI”相结合的协议识别方法。
DFI全称为“DeepFlowInspection”，称为深度流检测。
采用一种基于流量行为的应用识别技术，DFI技术的有力的补充了应用优化过程中对加密流量的应用的识别。
DFI技术基于一系列流量的行为特征，建立流量特征模型，通过分析会话连接流的包长、连接速率、传输字节量、包与包之间的间隔等信息来与流量模型对比，从而实现鉴别应用类型的目的。
有了DFI技术的强力补充，能够保证正确识别加密传输的应用流量。
该技术的使用，使得DPI技术和DFI技术相辅相成，从而保证了对800多种网络协议和应用软件的识别，涵盖了目前主流的各种应用，包括P2P、VoIP、IM、视频/流媒体、炒股软件、网络游戏、企业内部核心应用等。
本项目以DPI和DFI技术为核心，通过智能分类引擎，结合基于应用特征字（签名）及基于行为启发式的技术，可以识别L2到L7层的各种协议和应用，最终实现网络传输的全面可视化。
主要协议和应用类别如下：
P2P应用：
Bittorrent、电驴、迅雷、KAZAA、KURO、NAPSTER、EDONKEY、EZPEER、超级旋风、KUGOO、FASTTRACK、GNUTELLA、VAGAA、SOULSEEK、
升级会员 