VR虚拟现实原创用冯向军知觉模型实现HARTLEY信息.docx

1、VR虚拟现实原创用冯向军知觉模型实现HARTLEY信息（VR虚拟现实）原创用冯向军知觉模型实现HARTLEY信息原创用冯向军知觉模型实现HARTLEY信息、香侬信息、复杂度信息、本质信息、KULLBACK相对信息、鱼罩子广义信息、观控隶属度、观控隶属域的超大统一(待续)冯向军2006/01/29于美国(甲)信息最终要被信息接受者所反映。这就是为什么冯向军要在WEBER-FECHNER的基础上建立起更一般的知觉模型deltaS=a(deltaOS/OS)+b(deltaOS)(1)这其中a、b为待定常数。OS为某种客观的刺激；deltaS为因客观刺激的变化而引发的感官变化；a(deltaOS/O

2、S)是因客观刺激的相对变化而引发的感官变化；deltaOS是因客观刺激的绝对变化(或相对于某种不变的客观标准的变化)而引发的感官变化；通过这些日子的讨论，我已逐步展示确实可以用上述模型来实现HARTLEY信息、香侬信息、复杂度信息、本质信息、KULLBACK相对信息、鱼罩子广义信息、观控隶属度、观控隶属域的超大统一。(乙)(一)我们从WEBER-FECHNER对数律推导出广义的相对信息的一种一般形式，从冯向军的知觉模型得到了更一般的形式.现在再把视野稍微扩展一点。把U视为刻划与信息有关的不确定性，复杂性，可区分性.的某种参数.我们诚恳地认为，几乎所有比较流行的信息测度模式均可归于如下方程、定律

3、、模型(A)RI=log2(U/Ub)(1-1)(广义相对信息的一种一般形式)(B)REs=p1*log2(U1/Ub)+p2*log2(U2/Ub)+.+pn*log2(Un/Ub)(2-1)(具有单独可变门槛Ub的广义相对熵。)REm=p1*log2(U1/Ub1)+p2*log2(U2/Ub2)+.+pn*log2(Un/Ubn)(3-1)(具有多种可变门槛的广义相对熵。)(C)WEBER-FECHNER对数律deltaS=a(deltaU/U)(4-1)(D)冯向军的知觉模型deltaS=a(deltaU/U)+b(deltaU)(5-1)这其中U为描述与信息密切相关的不确定性，复杂性

4、，可区分性.的某种参数，Ub,Ub1,Ub2,.Ubn为这种参数的可控达门槛。p1,p2,.pn是一概率分布，p1+p2+.+pn=1(二)现举例说明。当U为1/p,而p为符号的概率，Ub=1/max(p)=1，按(1-1)我们就有RI=log2(1/p)(1-2)这RI就是汉明先生给出的信息的工程定义。当U为张学文玻尔兹曼状态数W，而Ub=min(W)=1，按(1-1)我们就有RI=log2(W)(2-2)这RI就是张学文广义集合的一种很好的复杂度。当U=1/N，而N为N种可能性，Ub=1/min(N)=1，按(1-1)我们就有RI=log2(N)(3-2)这RI就是HARTLEY信息。当U

5、i=1/pi,pi为符号i的概率，i=1，2，.,nUb=1/max(p)=1,按(2-1)式就有REs=-p1log2(p1)-p2log2(p2)-.-pnlog2(pn)(4-2)这REs就是SHANNON信息熵。当Ui=pi,pi为符号i的概率，i=1，2，.,nUb=1/n,按(2-1)式就有REs=log2(n)-p1log2(p1)-p2log2(p2)-.-pnlog2(pn)(5-2)这REs就是于宏义先生的风险熵，我称之为聚集熵。(表面两者矛盾，实际上在不同条件下两者在某种程度上相通。)当Ubi=1/pi,而Ui=1/qi，qi是另一概率分布，i=1，2，.,n，按(3-1

6、)式就有REm=p1log(p1/q1)+p2log(p2/q2)+.+pklog(pk/qk)(6-2)这REm就是Kullback-Leibler相对熵。当U=混淆概率Q(Aj/xi),Ub=Q(Aj),按(1-1)就有鱼罩子广义互信息RI=I(xi,Aj)=log2(Q(Aj/xi)/Q(Aj)(7-2)当U=观控隶属域f(I)，Ub=任意指定的门槛隶属域fb，按(1-1)就有观控互信息GKI(xi,I)=log2(f(I/xi)/fb)(8-2)当pi=p(xi/zk),Ui=Qk(xi/zk),Ubi=Q(xi),按(3-1)就有鱼罩子广义Kullback公式REm=p(x1/zk)

7、log2(Q(x1/zk)/Q(x1)+p(x2/zk)log2(Q(x2/zk)/Q(x2)+.+p(xn/zk)log2(Q(xn/zk)/Q(xn)(9-2)互信息不过是对广义相对信息RI求2次数学期望而已。于宏义先生的观控隶属度和我的观控隶属域新公式都能从WEBER-FCHNER感觉模型和冯向军的知觉模型推出.我的本质信息也可以从冯向军的知觉模型推导出来。.http:/forum/ftopic3272-0-asc-60.html附录信息熵的基本数学性质http:/forum/ftopic3392.html信息熵的基本数学性质的简单数学证明定理1.2.1当正数p-0,p*log(p)-0

8、证明：将p*log(p)写成log(p)/(1/p),当p-0用罗必塔法则求导，即有log(p)/(1/p)-(1/p)/(-1/p2)-p-0.证毕。定理1.2.2对于两个事件组成的分布，若其中一个事件(符号)的概率为p,那么信息熵H=-pLOG(p)-(1-p)LOG(1-p),H取最大值1比特，当且仅当p=0.5。当p-0或1，H取最小值0。其中LOG表以2为底的对数。证明：对于两个事件组成的分布，当其中一事件的概率为p,则另一事件的概率为1-p.于是按信息熵H的定义H=-p*LOG(p)-(1-p)*LOG(1-p)考虑到不等式loge(x)0均成立，且等号只在x=1成立，有H-1=H

9、-LOG(2)=p*LOG(1/p)+(1-p)*LOG(1/(1-p)+(p+1-p)LOG(1/2)=p*LOG(1/(2p)+(1-p)*LOG(1/(2(1-p)=lOG(e)p*(1/(2p)-1)+(1-p)*(1/(2(1-p)-1)=LOG(e)1/2-p+1/2-(1-p)=lOG(e)1-p-1+p=0所以H0,按定理1.2.1,H=0;当p-1,按定理1.2.1,H=0.证毕定理1.2.3对于任何x0,恒有loge(x)0,定义函数f=loge(x)-x+1则有df/dx=1/x-1令df/dx=0则有极值点x=1但是，当x=1时二阶导数d2f/d2x=-1/x20所以x

10、=1是极大值点。有f=loge(x)-x+1=loge(1)-1+1=0或loge(x)=x-1且等号仅在x=1时成立。证毕定理1.2.4对于满足x1+x2+.+xq=1;y1+y2+.+yq=1的两组概率分布xi,i=1,2,.,q以及yi,i=1,2,.,q恒有x1*LOG(y1/x1)+x2*LOG(y2/x2)+.+xq*LOG(yq/xq)=0且等号只在yi=xi(i=1,2,.,q)时成立。证明：根据定理1.2.3有x1*LOG(y1/x1)+x2*LOG(y2/x2)+.+xq*LOG(yq/xq)=0且等号只在pi=qi(i=1,2,.,k)时成立。证明：根据定理1.2.3有p

11、1*LOG(p1/q1)+p2*LOG(p2/q2)+.+pk*LOG(pk/qk)=-p1*LOG(q1/p1)+p2*LOG(q2/p2)+.+pk*LOG(qk/pk)=-LOG(e)(q1+q2+.+qk)-(p1+p2+.+pk)=-LOG(e)1-1=0且等号仅在pi=qi时成立，i=1,2,.,k.证毕。定理1.2.6对于q个符号的以比特为单位的信息熵H，恒有H=LOG(q)其中等号只能在q个符号具有等概率分布才成立。此时p1=p2=.=1/q,其中pi为第i个符号的信息，i=1,2,.q。证明H-LOG(q)=-p1LOG(p1)-p2LOG(p2)-.-pqLOG(pq)-(

12、p1+p2+.+pq)LOG(q)=p1LOG(1/(p1*q)+p2LOG(1/(p2*q)+.+pqLOG(1/(pq*q)=lOG(e)p1(1/(p1*q)-1)+p2(1/(p2*q)-1)+.+pq(1/(pq*q)-1)=lOG(e)(1-p1-p2-.-pq)=(1-1)=0等号当且仅当p1=p2=.=pq=1/q时成立。证毕。定理1.2.7信息熵H给出了唯一可译码的平均码长(L)的下限，或H=L。这里等号只有在二元情况才成立。证明：要证明上述定理，就要证明很有意思的Kraft不等式：一个具有q个符号si(i=1,2,.q)，码字长为L1=L2=.=Lq的即时码存在的必要和充分

13、的条件是1/rL1+1/rL2+.+1/rLq=1.对于最大码长为1的即时码，可以用最大长度为1的即时树来描述。我们有1条或两条长度为1的支路。所以对于1个符号的情况有：1/2=1而对于2个符号的情况有：1/2+1/2=1。所以对于最大码长为1的即时码Kraft不等式成立。假定Kraft不等式不等式对所有长度小于n的树皆成立。那么当树的最大长度为n时，第一个节点引出一对长度不超过n-1的子树，对于子树我们有不等式K1=1K2=1但是当子树接入主树时所有长度Li均增加1。所以在不等式中就增添了系数1/2。于是有1/2(K1+K2)=1。Kraft不等式证毕。经典信息论的一种关于信息的理解和信息的

14、工程定义式我一直认同并采用汉明码发明人汉明(R.W.Hamming)对信息的工程定义式。汉明先生说：假定我们有一个含有q个符号s1,s2,.,sq的信源字母表，每个符号的概率各为p(s1)=p1,p(s2)=p2,.,p(sq)=pq.当我们接受其中一个符号时，我们得到多少信息呢？例如，若p1=1(当然此时所有其它的pi=0),那么收到它就毫不“意外”。所以没有信息，因为我们知道消息必定是什么。反之，若这些概率差异很大，那么在小概率事件发生时我们会感到比较意外，因而我们获得的信息比大概率事件发生时获得的信息要多。所以信息与事件发生的概率有点象反比例关系。我们还直观地感到：“意外”是可加的-由两

15、个独立符号得到的信息是分别从各个符号所得信息和。由于复合事件的概率是两个独立事件概率的乘积，所以很自然地把信息量定义为I(si)=log2(1/pi)这样就得到如下的结果：I(s1)+I(s2)=log2(1/(p1p2)=I(s1,s2)此式清楚地表明如果概率取积那么信息量就取和。所以这一定义和我们头脑中关于信息应该是什么的概念大致吻合。这是根据符号的概率来建立的一个工程定义,而不是根据这个符号对人的实际意义来建立的定义。对信息论一知半解的人在这一点上认识往往非常模糊。他们根本不明确这是一个纯技术定义。这一定义仅抓住了信息一词在通常的概念中所包含的丰富内容的一小部分。熵Hr就是这个信息的技术

16、定义下的平均信息。Hr=p1logr(1/p1)+p2logr(1/p2)+.+pqlogr(1/pq)其中r为对数的底。尽管我对信息的本质有自己的看法，但真正做信息的科学计算时，从来就是用汉明这一套。参考文献1R.W.汉明，编码和信息理论，朱雪龙译，科学出版社。19842http:/non/Forum2/HTML/003303.html3张学文.组成论M合肥：中国科技大学出版社，2003年12月第1版，第1次印刷.4冯向军,1比特本质信息论-一种定性-定量兼顾融合各家的原创信息论(特邀论文),世界华人一般性科学论坛EB(ISBN0-9755039-2-8)，第1卷第3期，2005年9月。5C

17、.E.Shannon,“Amathematicaltheoryofcommunication,”BellSystemTechnicalJournal,vol.27,pp.379-423and623-656,JulyandOctober,1948.6鲁晨光.广义信息论M合肥：中国科技大学出版社，1983年10月第1版，第1次印刷.7YuHongYi;Leon(Xiangjun)Feng;YuRan.PansystemsGuanKongtechnologyandinformationquantization.Kybernetes:TheInternationalJournalofSystems&C

18、ybernetics.Year:2003Volume:32Page:905911.8于宏义,信息量化测度,世界华人一般性科学论坛EB(ISBN0-9755039-0-)，第2卷第1期，2006年1月。附录命题：“广义Kullback信息”0，i=1,2,.,n假设Q1+Q2+.+Qn=1,就恒有P1log(Q1/U1)+P2log(Q2/U2)+.+Pnlog(Qn/Un)=P1log(P1/U1)+P2log(P2/U2)+.+Pnlog(Pn/Un)(1)这是因为1P1log(Q1/U1)+P2log(Q2/U2)+.+Pnlog(Qn/Un)-(P1log(P1/U1)+P2log(P2

19、/U2)+.+Pnlog(Pn/Un)=P1log(Q1/P1)+P2log(Q2/P2)+.+Pnlog(Q2/Pn)=k*(P1n(Q1/P1)+P2ln(Q2/P2)+.+Pnln(Q2/Pn)=k*(Q1+Q2+.+Qn-P1-P2.-Pn)=k*(Q1+Q2+.+Qn-1)0,i=1,2,.,n假设Q1/U1+Q2/U2+.+Qn/Un=1,就恒有P1log(Q1/U1)+P2log(Q2/U2)+.+Pnlog(Qn/Un)=P1log(P1)+P2log(P2)+.+Pnlog(Pn)(1)这是因为1P1log(Q1/U1)+P2log(Q2/U2)+.+Pnlog(Qn/Un)

20、-(P1log(P1)+P2log(P2)+.+Pnlog(Pn)=P1log(Q1/U1)/P1)+P2log(Q2/U2)/P2)+.+Pnlog(Qn/Un)/Pn)=k*(P1n(Q1/U1)/P1)+P2ln(Q2/U2)/P2)+.+Pnln(Q2/Un)Pn)=k*(Q1/U1+Q2/U2.+Qn/Un-P1-P2.-Pn)=k*(Q1/U1+Q2/U2+.+Qn/Un-1)0i=1,2,.,n假设Q1(V1/U1)+Q2(V2/U2)+.+Qn(Vn/Un)=1,就恒有P1log(Q1/U1)+P2log(Q2/U2)+.+Pnlog(Qn/Un)=P1log(P1/V1)+P

21、2log(P2/V2)+.+Pnlog(Pn/Vn)(1)这是因为1P1log(Q1/U1)+P2log(Q2/U2)+.+Pnlog(Qn/Un)-(P1log(P1/V1)+P2log(P2/V2)+.+Pnlog(Pn/Vn)=P1log(Q1V1/U1)/P1)+P2log(Q2V2/U2)/P2)+.+Pnlog(QnVn/Un)/Pn)=k*(P1n(Q1V1/U1)/P1)+P2ln(Q2V2/U2)/P2)+.+Pnln(Q2VN/Un)Pn)=k*(Q1V1/U1+Q2V2/U2.+QnVn/Un-P1-P2.-Pn)=k*(Q1V1/U1+Q2V2/U2+.+QnVn/Un

22、-1)=0以上三种证明实际上给出了不失一般性的三种具有“由事实来检验预测”功能的广义相对信息。作为第二种证明的一个特例，我可以直接用观控隶属度F(I)的权重W(I)来十分方便地构造具有“用事实来检验预测”的广义相对熵。全然不需要什么BAYES公式，也不需要什么背离物理意义的“对称性”数学处理。以事实为基准，让相对信息永远不大于事实所对应的信息。至于事实信息为正为负，那可视具体情况随心所欲地改变(不等式两边同加一个常量)。我现在随便引入一个具体的观控相对信息熵：GKE=P1log(W1/P12)+P2log(W2/P22)+.+Pnlog(Wn/Pn2)(GK-1)Wi为观控权重，i=1，2，.

23、,n.不难证明GKE=-P1log(P1)-P2log(P2)-.-Pnlog(Pn)(GK-2)右边的事实信息为非负。作者:Leon于2/11/20061:02:08PM回复回复返回按泛系观控的术语，Wi是软概率或主观概率，Pi是硬概率或客观概率。那么我冯向军的GKE公式就是描述主观概率相对客观概率偏差了多少的广义相对熵。详见我们的被SCI收录的论文2。参考文献1经典信息理论与工程专题讨论隆重开幕2YuHongYi;Leon(Xiangjun)Feng;YuRan.PansystemsGuanKongtechnologyandinformationquantization.Kybernetes:TheInternationalJournalofSystems&Cybernetics.Year:2003Volume:32Page:905911.