信息论与编码-第六章2.ppt
《信息论与编码-第六章2.ppt》由会员分享，可在线阅读，更多相关《信息论与编码-第六章2.ppt（74页珍藏版）》请在冰豆网上搜索。
信息论与编码-最优译码和最大似然译码最优译码和最大似然译码信道的输入是一个二（或q）进制序列，而译码器的输出时一个信息序列M的估值序列。
如下图所示。
信息论与编码-最优译码和最大似然译码信道纠错编码器纠错译码器干扰源信源编码器输出至信宿分组码数字通信模型信息论与编码-最优译码和最大似然译码最优译码和最大似然译码信道的输入是一个二（或q）进制序列，而译码器的输出时一个信息序列M的估值序列。
如下图所示。
译码器的基本任务就是根据一套译码规则，由接收序列R给出与发送的信息序列最接近（最好是相同）的估值序列信息论与编码-最优译码和最大似然译码由于M与码字C之间存在一一对应关系，所以这等价于译码器根据R产生一个C的估值序列信息论与编码-最优译码和最大似然译码由于M与码字C之间存在一一对应关系，所以这等价于译码器根据R产生一个C的估值序列，显然，当且仅当时，。
这时译码器正确译码。
信息论与编码-最优译码和最大似然译码由于M与码字C之间存在一一对应关系，所以这等价于译码器根据R产生一个C的估值序列，显然，当且仅当时，。
这时译码器正确译码。
如果，则译码器产生错误译码。
信息论与编码-最优译码和最大似然译码由于M与码字C之间存在一一对应关系，所以这等价于译码器根据R产生一个C的估值序列，显然，当且仅当时，。
这时译码器正确译码。
如果，则译码器产生错误译码。
当给定接收序列R时，译码器的条件译码错误概率定义为信息论与编码-最优译码和最大似然译码所以译码器的错误译码概率为信息论与编码-最优译码和最大似然译码所以译码器的错误译码概率为其中，是接收R的概率，与译码方法无关，信息论与编码-最优译码和最大似然译码所以译码器的错误译码概率为其中，是接收R的概率，与译码方法无关，所以译码错误概率最小的最佳译码规则是使最小，即信息论与编码-最优译码和最大似然译码所以译码器的错误译码概率为其中，是接收R的概率，与译码方法无关，所以译码错误概率最小的最佳译码规则是使最小，即而信息论与编码-最优译码和最大似然译码因此，如果译码器对输入的R，能在个码字中选择一个使最大的码字作为C的估值序列，即信息论与编码-最优译码和最大似然译码因此，如果译码器对输入的R，能在个码字中选择一个使最大的码字作为C的估值序列，即则这种译码规则一定能使译码器输出错误概率最小信息论与编码-最优译码和最大似然译码因此，如果译码器对输入的R，能在个码字中选择一个使最大的码字作为C的估值序列，即则这种译码规则一定能使译码器输出错误概率最小，称这种译码规则为最大后验概率译码MAP（maximumaposteriori）信息论与编码-最优译码和最大似然译码因此，如果译码器对输入的R，能在个码字中选择一个使最大的码字作为C的估值序列，即则这种译码规则一定能使译码器输出错误概率最小，称这种译码规则为最大后验概率译码MAP（maximumaposteriori）,也叫做最佳译码。
信息论与编码-最优译码和最大似然译码由贝叶斯公式可知，如果发送端发送每一个码字的概率均相同,且由于p（R）与译码方法无关，信息论与编码-最优译码和最大似然译码由贝叶斯公式可知，如果发送端发送每一个码字的概率均相同,且由于p（R）与译码方法无关，所以信息论与编码-最优译码和最大似然译码一个译码器如果能选择即在已知r的情况下使先验概率最大，则这种译码规则称为最大似然译码信息论与编码-最优译码和最大似然译码一个译码器如果能选择即在已知r的情况下使先验概率最大，则这种译码规则称为最大似然译码（MLD：
MaximumLikelihood）信息论与编码-最优译码和最大似然译码一个译码器如果能选择即在已知r的情况下使先验概率最大，则这种译码规则称为最大似然译码（MLD：
MaximumLikelihood），称为似然函数。
信息论与编码-最优译码和最大似然译码一个译码器如果能选择即在已知r的情况下使先验概率最大，则这种译码规则称为最大似然译码（MLD：
MaximumLikelihood），称为似然函数。
相应的译码器称为最大似然译码器。
信息论与编码-最优译码和最大似然译码由于logx与x是单调关系，因此最大似然规则也可以写成信息论与编码-最优译码和最大似然译码由于logx与x是单调关系，因此最大似然规则也可以写成称logp（R/C）为对数似然函数。
信息论与编码-最优译码和最大似然译码对于DMC信道，如果发送端发送每一个码字的概率相等，则MLD就是译码错误概率最小的一种最佳译码规则。
信息论与编码-最优译码和最大似然译码对于DMC信道，如果发送端发送每一个码字的概率相等，则MLD就是译码错误概率最小的一种最佳译码规则。
由于最佳译码要求知道后验概率p（R/C），这在很多时候是很困难的，所以经常使用的是最大似然译码，在很多情况下，可以认为最大似然译码就是最佳译码。
信息论与编码-最优译码和最大似然译码对于BSC信道，在译码的时候，如果我们逐比特地比较发码和收码，就只有两种可能性：
相同或者不同，其概率分别是：
信息论与编码-最优译码和最大似然译码如果R中有d个码元与不同，我们称R和之间的距离为d，这样定义的距离称为汉明距离。
信息论与编码-最优译码和最大似然译码如果R中有d个码元与不同，我们称R和之间的距离为d，这样定义的距离称为汉明距离。
接收码字R和发送码字之间的汉明距离，就是二者模2加后的重量信息论与编码-最优译码和最大似然译码如果R中有d个码元与不同，我们称R和之间的距离为d，这样定义的距离称为汉明距离。
接收码字R和发送码字之间的汉明距离，就是二者模2加后的重量，即信息论与编码-最优译码和最大似然译码此时的似然函数是信息论与编码-最优译码和最大似然译码此时的似然函数是因为上述似然函数中是常数，可以看出，d越大，则似然函数越小信息论与编码-最优译码和最大似然译码此时的似然函数是因为上述似然函数中是常数，可以看出，d越大，则似然函数越小，因此，求最大似然函数问题就变成了求最小汉明距离问题。
信息论与编码-最优译码和最大似然译码汉明距离译码是一种硬判决译码。
信息论与编码-最优译码和最大似然译码汉明距离译码是一种硬判决译码。
只要在接收端将接收码R与所有可能的发码逐比特进行比较，选择其中汉明距离最小的码字作为译码结果就可以了。
信息论与编码-最优译码和最大似然译码汉明距离译码是一种硬判决译码。
只要在接收端将接收码R与所有可能的发码逐比特进行比较，选择其中汉明距离最小的码字作为译码结果就可以了。
当发送的码字互相统计独立且等概时，汉明距离译码就是最佳译码。
信息论与编码-码距与检错、纠错能力码距与检错、纠错能力的关系码距：
在随机编码中，我们曾说过，一个码字可以看作是N维矢量空间的一个点，全部码字所对应的点集合构成矢量空间的一个子集。
子集的任意两点之间都存在一定的距离，这个距离叫做码字之间的码距。
子集任意两点之间的码距的最小值记为。
欧氏距、汉明距信息论与编码-码距与检错、纠错能力检错能力：
如果信道传输无误，接收到的N重矢量一定是码字，在矢量空间中一定对应到码字子集中的一个点上。
信息论与编码-码距与检错、纠错能力检错能力：
如果信道传输无误，接收到的N重矢量一定是码字，在矢量空间中一定对应到码字子集中的一个点上。
当传输有误时，可能会发生两种情况：
信息论与编码-码距与检错、纠错能力检错能力：
如果信道传输无误，接收到的N重矢量一定是码字，在矢量空间中一定对应到码字子集中的一个点上。
当传输有误时，可能会发生两种情况：
一是不再对应码子字集上的一点，而是对应到码字子集点相邻的的另一个空间点上；信息论与编码-码距与检错、纠错能力检错能力：
如果信道传输无误，接收到的N重矢量一定是码字，在矢量空间中一定对应到码字子集中的一个点上。
当传输有误时，可能会发生两种情况：
一是不再对应码子字集上的一点，而是对应到码字子集点相邻的的另一个空间点上；第二种可能是仍然对应到码子字集中的一个点上，但却是一个错误的点上。
信息论与编码-码距与检错、纠错能力检错能力：
如果信道传输无误，接收到的N重矢量一定是码字，在矢量空间中一定对应到码字子集中的一个点上。
当传输有误时，可能会发生两种情况：
一是不再对应码子字集上的一点，而是对应到码字子集点相邻的的另一个空间点上；第二种可能是仍然对应到码子字集中的一个点上，但却是一个错误的点上。
第一种情况下，译码的时候一定可以判断出发生了误码；信息论与编码-码距与检错、纠错能力检错能力：
如果信道传输无误，接收到的N重矢量一定是码字，在矢量空间中一定对应到码字子集中的一个点上。
当传输有误时，可能会发生两种情况：
一是不再对应码子字集上的一点，而是对应到码字子集点相邻的的另一个空间点上；第二种可能是仍然对应到码子字集中的一个点上，但却是一个错误的点上。
第一种情况下，译码的时候一定可以判断出发生了误码；而第二种情况却不能判断出发生了误码。
信息论与编码-码距与检错、纠错能力对于一个最小码距为的码字子集，如果传输中发生误码后使得空间点的位置偏移小于，则一定可以判断出发生了误码，信息论与编码-码距与检错、纠错能力对于一个最小码距为的码字子集，如果传输中发生误码后使得空间点的位置偏移小于，则一定可以判断出发生了误码，因为这时候由于误码不可能从一个空间点偏移到另一个空间点。
信息论与编码-码距与检错、纠错能力对于一个最小码距为的码字子集，如果传输中发生误码后使得空间点的位置偏移小于，则一定可以判断出发生了误码，因为这时候由于误码不可能从一个空间点偏移到另一个空间点。
换句话说，可以检测到错误。
信息论与编码-码距与检错、纠错能力对于一个最小码距为的码字子集，如果传输中发生误码后使得空间点的位置偏移小于，则一定可以判断出发生了误码，因为这时候由于误码不可能从一个空间点偏移到另一个空间点。
换句话说，可以检测到错误。
而当由于误码使空间偏移大于时，则有可能偏移到另外的码字点上，也就有可能检不出该错误来。
信息论与编码-码距与检错、纠错能力对于一个最小码距为的码字子集，如果传输中发生误码后使得空间点的位置偏移小于，则一定可以判断出发生了误码，因为这时候由于误码不可能从一个空间点偏移到另一个空间点。
换句话说，可以检测到错误。
而当由于误码使空间偏移大于时，则有可能偏移到另外的码字点上，也就有可能检不出该错误来。
因此，对于最小码距为的码子字集，其检错能力为。
信息论与编码-码距与检错、纠错能力纠错能力：
如果我们采用最佳译码或最大似然译码，那么当接收到的码字偏离其在N维空间中原来的位置时，只要偏离得不太远，就可以根据最大似然译码规则（或最佳译码规则）经过译码得到正确的结果。
信息论与编码-码距与检错、纠错能力纠错能力：
如果我们采用最佳译码或最大似然译码，那么当接收到的码字偏离其在N维空间中原来的位置时，只要偏离得不太远，就可以根据最大似然译码规则（或最佳译码规则）经过译码得到正确的结果。
但如果偏离得太远，以至于离另外一个码字的空间点更近一些，则经过最大似然译码，就会译成另一个码字，也就是不能纠正误码，或者说超出了该种编码的最大纠错范围。
信息论与编码-码距与检错、纠错能力纠错能力：
如果我们采用最佳译码或最大似然译码，那么当接收到的码字偏离其在N维空间中原来的位置时，只要偏离得不太远，就可以根据最大似然译码规则（或最佳译码规则）经过译码得到正确的结果。
但如果偏离得太远，以至于离另外一个码字的空间点更近一些，则经过最大似然译码，就会译成另一个码字，也就是不能纠正误码，或者说超出了该种编码的最大纠错范围。
那么纠错范围是多大呢？
信息论与编码-码距与检错、纠错能力我们可以设想以个码字空间点为球心，分别做一个超维的球体，且各个球体互不相交信息论与编码-码距与检错、纠错能力我们可以设想以个码字空间点为球心，分别做一个超维的球体，且各个球体互不相交，那么，如果由于误码使空间点的偏移没有超出所对应的球体，则可以由最大似然译码纠正其错误，也就是可以纠错。
信息论与编码-码距与检错、纠错能力我们可以设想以个码字
升级会员 