VR虚拟现实原创用冯向军知觉模型实现HARTLEY信息.docx
《VR虚拟现实原创用冯向军知觉模型实现HARTLEY信息.docx》由会员分享，可在线阅读，更多相关《VR虚拟现实原创用冯向军知觉模型实现HARTLEY信息.docx（12页珍藏版）》请在冰豆网上搜索。
VR虚拟现实原创用冯向军知觉模型实现HARTLEY信息
（VR虚拟现实）[原创]用冯向军知觉模型实现HARTLEY信息
[原创]用冯向军知觉模型实现HARTLEY信息、香侬信息、复杂度信息、本质信息、KULLBACK相对信息、鱼罩子广义信息、观控隶属度、观控隶属域的超大统一（待续）
冯向军
2006/01/29于美国
（甲）
信息最终要被信息接受者所反映。
这就是为什么冯向军要在WEBER-FECHNER的基础上
建立起更一般的知觉模型
deltaS=a（deltaOS/OS）+b（deltaOS）
（1）
这其中
a、b为待定常数。
OS为某种客观的刺激；
deltaS为因客观刺激的变化而引发的感官变化；
a（deltaOS/OS）是因客观刺激的相对变化而引发的感官变化；
deltaOS是因客观刺激的绝对变化（或相对于某种不变的客观标准的变化）而引发的感官变化；
通过这些日子的讨论，我已逐步展示确实可以用上述模型来实现HARTLEY信息、香侬信息、复杂度信息、本质信息、KULLBACK相对信息、鱼罩子广义信息、观控隶属度、观控隶属域的超大统一。
（乙）
（一）
我们从WEBER-FECHNER对数律推导出广义的相对信息的一种一般形式，从冯向军的知
觉模型得到了更一般的形式.
现在再把视野稍微扩展一点。
把U视为刻划与信息有关的{不确定性，复杂性，可区
分性...}的某种参数.
我们诚恳地认为，几乎所有比较流行的信息测度模式均可归于如下方程、定律、模
型
（A）
RI=log2（U/Ub）（1-1）
（广义相对信息的一种一般形式）
（B）
REs=p1*log2（U1/Ub）+p2*log2（U2/Ub）+...+pn*log2（Un/Ub）（2-1）
（具有单独可变门槛Ub的广义相对熵。
）
REm=p1*log2（U1/Ub1）+p2*log2（U2/Ub2）+...+pn*log2（Un/Ubn）（3-1）
（具有多种可变门槛的广义相对熵。
）
（C）
WEBER-FECHNER对数律
deltaS=a（deltaU/U）（4-1）
（D）
冯向军的知觉模型
deltaS=a（deltaU/U）+b（deltaU）（5-1）
这其中U为描述与信息密切相关的{不确定性，复杂性，可区分性......}的某种参
数，Ub,Ub1,Ub2,...Ubn为这种参数的可控达门槛。
p1,p2,...pn是一概率分布，
p1+p2+...+pn=1
（二）
现举例说明。
当U为1/p,而p为符号的概率，Ub=1/max（p）=1，按（1-1）我们就有
RI=log2（1/p）（1-2）
这RI就是汉明先生给出的信息的工程定义。
当U为张学文玻尔兹曼状态数W，而Ub=min（W）=1，按（1-1）我们就有
RI=log2（W）（2-2）
这RI就是张学文广义集合的一种很好的复杂度。
当U=1/N，而N为N种可能性，Ub=1/min（N）=1，按（1-1）我们就有
RI=log2（N）（3-2）
这RI就是HARTLEY信息。
当Ui=1/pi,pi为符号i的概率，i=1，2，...,n
Ub=1/max（p）=1,按（2-1）式就有
REs=-p1log2（p1）-p2log2（p2）-...-pnlog2（pn）（4-2）
这REs就是SHANNON信息熵。
当Ui=pi,pi为符号i的概率，i=1，2，...,n
Ub=1/n,按（2-1）式就有
REs=log2（n）–[-p1log2（p1）-p2log2（p2）-...-pnlog2（pn）]（5-2）
这REs就是于宏义先生的风险熵，我称之为聚集熵。
（表面两者矛盾，实际上在不同条件下两者在某种程度上相通。
）
当Ubi=1/pi,而Ui=1/qi，qi是另一概率分布，i=1，2，...,n，按（3-1）式
就有
REm=p1log（p1/q1）+p2log（p2/q2）+...+pklog（pk/qk）（6-2）
这REm就是Kullback-Leibler相对熵。
当U=混淆概率Q（Aj/xi）,Ub=Q（Aj）,按（1-1）就有鱼罩子广义互信息
RI=I（xi,Aj）=log2（Q（Aj/xi）/Q（Aj））（7-2）
当U=观控隶属域f（I），Ub=任意指定的门槛隶属域fb，按（1-1）就有观控互信息
GKI（xi,I）=log2（f（I/xi）/fb）（8-2）
当pi=p（xi/zk）,Ui=Qk（xi/zk）,Ubi=Q（xi）,按（3-1）就有鱼罩子广义Kullback公
式
REm=p（x1/zk）log2（Q（x1/zk）/Q（x1））+p（x2/zk）log2（Q（x2/zk）/Q（x2））+...+
p（xn/zk）log2（Q（xn/zk）/Q（xn））（9-2）
互信息不过是对广义相对信息RI求2次数学期望而已。
于宏义先生的观控隶属度和我的观控隶属域新公式都能从WEBER-FCHNER感觉模型和冯
向军的知觉模型推出.我的本质信息也可以从冯向军的知觉模型推导出来。
......
http:
///forum/ftopic3272-0-asc-60.html
附录信息熵的基本数学性质
http:
///forum/ftopic3392.html
信息熵的基本数学性质的简单数学证明
定理1.2.1当正数p--->0,p*log（p）----->0
证明：
将p*log（p）写成log（p）/（1/p）,当p--->0用罗必塔法则求导，即有
log（p）/（1/p）--->（1/p）/（-1/p^2）--->p---->0.
证毕。
定理1.2.2对于两个事件组成的分布，若其中一个事件（符号）的概率为p,那么信息熵H=-pLOG（p）-（1-p）LOG（1-p）,H取最大值1比特，当且仅当p=0.5。
当p--->0或1，H取最小值0。
其中LOG表以2为底的对数。
证明：
对于两个事件组成的分布，当其中一事件的概率为p,则另一事件的概率为1-p.于
是按信息熵H的定义
H=-p*LOG（p）-（1-p）*LOG（1-p）
考虑到不等式loge（x）<=x-1,对于x>0均成立，且等号只在x=1成立，有
H-1=H-LOG
（2）=p*LOG（1/p）+（1-p）*LOG（1/（1-p））+（p+1-p）LOG（1/2）
=p*LOG（1/（2p））+（1-p）*LOG（1/（2（1-p）））
<=lOG（e）[p*（1/（2p）-1）+（1-p）*（1/（2（1-p））-1）]
=LOG（e）[1/2-p+1/2-（1-p）]=lOG（e）[1-p-1+p]=0
所以
H<=1
且等号只在
1/（2p）=1
且
1/（2（1-p））=1
成立
也就是说等号只有在
p=0.5时成立，这时两个符号的概率相等。
当p--->0,按定理1.2.1,H=0;
当p--->1,按定理1.2.1,H=0.
[证毕]
定理1.2.3对于任何x>0,恒有loge（x）<=x-1,其中loge表以e为底的对
数。
且等号只在x=1时成立。
证明：
对于所有的x>0,定义函数
f=loge（x）-x+1
则有
df/dx=1/x-1
令
df/dx=0
则有极值点
x=1
但是，当x=1时
二阶导数
d^2f/d^2x=-1/x^2<0
所以x=1是极大值点。
有
f=loge（x）-x+1<=loge
（1）-1+1=0
或
loge（x）<=x-1
且等号仅在x=1时成立。
[证毕]
定理1.2.4对于满足
x1+x2+...+xq=1;
y1+y2+...+yq=1
的两组概率分布
xi,i=1,2,...,q
以及
yi,i=1,2,...,q
恒有
x1*LOG（y1/x1）+x2*LOG（y2/x2）+...+xq*LOG（yq/xq）<=0
且等号只在
yi=xi（i=1,2,...,q）时成立。
证明：
根据定理1.2.3有
x1*LOG（y1/x1）+x2*LOG（y2/x2）+...+xq*LOG（yq/xq）
<=LOG（e）[x1*（y1/x1-1）+x2*（y2/x2-1）+...+xq*（yq/xq-1）]
=LOG（e）[（y1+y2+...+yq）-（x1+x2+...+xq）]
=LOG（e）[1-1]
=0
且等号仅在
xi=yi时成立，i=1,2,...,q.
证毕。
定理1.2.5对于满足
p1+p2+...+pk=1;
q1+q2+...+qk=1
的两组概率分布
pi,i=1,2,...,k
以及
qi,i=1,2,...,k
恒有Kullback-Leibler距离
p1*LOG（p1/q1）+p2*LOG（p2/q2）+...+pq*LOG（pk/qk）>=0
且等号只在
pi=qi（i=1,2,...,k）时成立。
证明：
根据定理1.2.3有
p1*LOG（p1/q1）+p2*LOG（p2/q2）+...+pk*LOG（pk/qk）
=-[p1*LOG（q1/p1）+p2*LOG（q2/p2）+...+pk*LOG（qk/pk）]
>=-LOG（e）[（q1+q2+...+qk）-（p1+p2+...+pk）]
>=-LOG（e）[1-1]
=0
且等号仅在
pi=qi时成立，i=1,2,...,k.
证毕。
定理1.2.6对于q个符号的以比特为单位的信息熵H，恒有
H<=LOG（q）
其中等号只能在q个符号具有等概率分布才成立。
此时
p1=p2=...=1/q,其中pi为第i个符号的信息，i=1,2,...q。
[证明]
H-LOG（q）=-p1LOG（p1）-p2LOG（p2）-...-pqLOG（pq）-（p1+p2+...+pq）LOG（q）
=p1LOG（1/（p1*q））+p2LOG（1/（p2*q））+...+pqLOG（1/（pq*q））
<=lOG（e）[p1（1/（p1*q）-1）+p2（1/（p2*q）-1）+...+pq（1/（pq*q）-1）]
=lOG（e）（1-p1-p2-...-pq）=（1-1）=0
等号当且仅当
p1=p2=...=pq=1/q时成立。
证毕。
定理1.2.7信息熵H给出了唯一可译码的平均码长（L）的下限，或
H<=L。
这里等号只有在二元情况才成立。
证明：
要证明上述定理，就要证明很有意思的Kraft不等式：
一个具有q个符号si（i=1,2,...q），码字长为
L1<=L2<=...<=Lq的即时码存在的必要和充分的条件是
1/r^L1+1/r^L2+...+1/r^Lq<=1.
对于最大码长为1的即时码，可以用最大长度为1的即时树来描述。
我们有1条或两条
长度为1的支路。
所以
对于1个符号的情况有：
1/2<=1
而对于2个符号的情况有：
1/2+1/2<=1。
所以对于最大码长为1的即时码Kraft不等式成立。
假定Kraft不等式不等式对所有长度小于n的树皆成立。
那么当树的最大长度为n时，第一个节点引出一对长度不超过n-1的子树，对于子树
我们有不等式
K1<=1
K2<=1
但是当子树接入主树时所有长度Li均增加1。
所以在不等式中就增添了系数1/2。
于是有
1/2（K1+K2）<=1。
Kraft不等式证毕。
经典信息论的一种关于信息的理解和信息的工程定义式
我一直认同并采用汉明码发明人汉明（R.W.Hamming）对信息的工程定义式。
汉明先生说：
假定我们有一个含有q个符号s1,s2,...,sq的信源字母表，每个符号的概率各为
p（s1）=p1,p（s2）=p2,...,p（sq）=pq.
当我们接受其中一个符号时，我们得到多少信息呢？
例如，若p1=1（当然此时所有其它的pi=0）,那么收到它就毫不“意外”。
所以没有信息，因为我们知道消息必定是什么。
反之，若这些概率差异很大，那么
在小概率事件发生时我们会感到比较意外，因而我们获得的信息比大概率事件发生时获得的信息要多。
所以信息与事件发生的概率有点象反比例关系。
我们还直观地感到：
“意外”是可加的---由两个独立符号得到的信息是分别从各个符号所得信息和。
由于复合事件的概率是两个独立事件概率的乘积，所以很自然地把信息量定义为
I（si）=log2（1/pi）
这样就得到如下的结果：
I（s1）+I（s2）=log2（1/（p1p2））=I（s1,s2）
此式清楚地表明如果概率取积那么信息量就取和。
所以这一定义和我们头脑中关于信息应该是什么的概念大致吻合。
这是根据符号的概率来建立的一个工程定义,而不是根据这个符号对人的实际意义来建立的定义。
对信息论一知半解的人在这一点上认识往往非常模糊。
他们根本不明确这是一个纯技术定义。
这一定义仅抓住了信息一词在通常的概念中所包含的丰富内容的一小部分。
熵Hr就是这个信息的技术定义下的平均信息。
Hr=p1logr（1/p1）+p2logr（1/p2）+...+pqlogr（1/pq）
其中r为对数的底。
尽管我对信息的本质有自己的看法，但真正做信息的科学计算时，从来就是用汉明这一套。
[参考文献]
[1]R.W.汉明，编码和信息理论，朱雪龙译，科学出版社。
1984
[2]http:
///non/Forum2/HTML/003303.html
[3]张学文.组成论[M]合肥：
中国科技大学出版社，2003年12月第1版，第1次印刷.
[4]冯向军,1比特本质信息论-一种定性-定量兼顾融合各家的原创信息论（特邀论文）,世界华人一般性科学论坛[EB]（ISBN0-9755039-2-8），第1卷第3期，2005年9月。
[5]C.E.Shannon,“Amathematicaltheoryofcommunication,”BellSystemTechnicalJournal,vol.27,pp.379-423and623-656,JulyandOctober,1948.
[6]鲁晨光.广义信息论[M]合肥：
中国科技大学出版社，1983年10月第1版，第1次印刷.
[7]YuHongYi;Leon（Xiangjun）Feng;YuRan.PansystemsGuanKongtechnologyandinformationquantization.Kybernetes:
TheInternationalJournalofSystems&Cybernetics.Year:
2003Volume:
32Page:
905–911.
[8]于宏义,信息量化测度,世界华人一般性科学论坛[EB]（ISBN0-9755039-0-），第2卷第1期，2006年1月。
附录
命题：
“广义Kullback信息”<=Kullback信息对于满足一定条件的相对信息均成立，
因为这是Kullback距离的基本性质，不一定非要是鱼罩子相对信息才行。
证明
（一）
设Pi为概率分布，Qi为一组描述与信息有关的{不确定性、复杂性、可区分性......}的参数，设Ui为Pi和Qi的共同可变门槛，Qi>0，i=1,2,...,n
假设Q1+Q2+...+Qn<=1,就恒有
P1log（Q1/U1）+P2log（Q2/U2）+...+Pnlog（Qn/Un）<=P1log（P1/U1）+P2log（P2/U2）+...+Pnlog（Pn/Un）
（1）
这是因为[1]
P1log（Q1/U1）+P2log（Q2/U2）+...+Pnlog（Qn/Un）-（P1log（P1/U1）+P2log（P2/U2）+...+Pnlog（Pn/Un））
=P1log（Q1/P1）+P2log（Q2/P2）+...+Pnlog（Q2/Pn）
=k*（P1n（Q1/P1）+P2ln（Q2/P2）+...+Pnln（Q2/Pn））
<=k*（Q1+Q2+...+Qn-P1-P2...-Pn）
=k*（Q1+Q2+...+Qn-1）<=0
证明
（二）
设Pi为概率分布，Qi为一组描述与信息有关的{不确定性、复杂性、可区分性......}的参数，设Ui为Qi的可变门槛，Qi/Ui>0,i=1,2,...,n
假设Q1/U1+Q2/U2+...+Qn/Un<=1,就恒有
P1log（Q1/U1）+P2log（Q2/U2）+...+Pnlog（Qn/Un）<=P1log（P1）+P2log（P2）+...+Pnlog（Pn）
（1）
这是因为[1]
P1log（Q1/U1）+P2log（Q2/U2）+...+Pnlog（Qn/Un）-（P1log（P1）+P2log（P2）
+...+Pnlog（Pn））
=P1log（（Q1/U1）/P1）+P2log（（Q2/U2）/P2）+...+Pnlog（（Qn/Un）/Pn）
=k*（P1n（（Q1/U1）/P1）+P2ln（（Q2/U2）/P2）+...+Pnln（（Q2/Un）Pn））
<=k*（Q1/U1+Q2/U2...+Qn/Un-P1-P2...-Pn）
=k*（Q1/U1+Q2/U2+...+Qn/Un-1）<=0
证明（三）
设Pi为概率分布，Qi为一组描述与信息有关的{不确定性、复杂性、可区分性......}的参数，设Ui为Qi的可变门槛，Vi为Pi的可变门槛QiVi/Ui>0
i=1,2,...,n
假设Q1（V1/U1）+Q2（V2/U2）+...+Qn（Vn/Un）<=1,就恒有
P1log（Q1/U1）+P2log（Q2/U2）+...+Pnlog（Qn/Un）<=P1log（P1/V1）+P2log（P2/V2）+...+Pnlog（Pn/Vn）
（1）
这是因为[1]
P1log（Q1/U1）+P2log（Q2/U2）+...+Pnlog（Qn/Un）-（P1log（P1/V1）+P2log（P2/V2）+...+Pnlog（Pn/Vn））
=P1log（（Q1V1/U1）/P1）+P2log（（Q2V2/U2）/P2）+...+Pnlog（（QnVn/Un）/Pn）
=k*（P1n（（Q1V1/U1）/P1）+P2ln（（Q2V2/U2）/P2）+...+Pnln（（Q2VN/Un）Pn））
<=k*（Q1V1/U1+Q2V2/U2...+QnVn/Un-P1-P2...-Pn）
=k*（Q1V1/U1+Q2V2/U2+...+QnVn/Un-1）<=0
以上三种证明实际上给出了不失一般性的三种具有“由事实来检验预测”功能的广义
相对信息。
作为第二种证明的一个特例，我可以直接用观控隶属度F（I）的权重W（I）来十分方便地构造具有“用事实来检验预测”的广义相对熵。
全然不需要什么BAYES公式，也不需要什么背离物理意义的“对称性”数学处理。
以事实为基准，让相对信息永远不大于事实所对应的信息。
至于事实信息为正为负，那可视具体情况随心所欲地改变（不等式两边同加一个常量）。
我现在随便引入一个具体的观控相对信息熵：
GKE=P1log（W1/P1^2）+P2log（W2/P2^2）+...+Pnlog（Wn/Pn^2）（GK-1）
Wi为观控权重，i=1，2，...,n.
不难证明
GKE<=-P1log（P1）-P2log（P2）-...-Pnlog（Pn）（GK-2）
右边的事实信息为非负。
作者:
Leon于2/11/20061:
02:
08PM回复回复返回
按泛系观控的术语，{Wi}是软概率或主观概率，{Pi}是硬概率或客观概率。
那么我冯向军的GKE公式就是描述主观概率相对客观概率偏差了多少的广义相对熵。
详见我们的被SCI收录的论文[2]。
参考文献
[1]经典信息理论与工程专题讨论隆重开幕
[2]YuHongYi;Leon（Xiangjun）Feng;YuRan.PansystemsGuanKongtechnologyandinformationquantization.Kybernetes:
TheInternationalJournalofSystems&Cybernetics.Year:
2003Volume:
32Page:
905–911.
升级会员 