序列分类竞赛题.docx

1、序列分类竞赛题DNA序列分类摘要本问题是一个“有人管理分类问题” 首先分别列举出20个学习样本序列中1字符串、2字符串、3字符串出现的频率，构成含41个变量的基本特征集，接着用主成分分析法从中提取出4个特征然后用Fisher线性判别法进行分类，得出了所求20个人工制造序列及182个自然序列的分类结果如下：1） 20个人工序列：22, 23，25，27，29，34，35，36，37为A类，其余为B类2） 182个自然序列：1，4，8，10，27，29，32，41，43，48，54，63，70，72，75，76，81，86，90，92，102，110，116，119，126，131，144，150

2、，157，159，160，161，162，163，164，165，166，169，170，182为B类，其余为A类最后通过检验证明所用的分类数学模型效率较高一、问 题 重 述人类基因组计划中DNA全序列草图是由4个字符A，T，C，G按一定顺序排成的长约30亿的字符序列，其中没有“断句”也没有标点符号虽然人类对它知之甚少，但也发现了其中的一些规律性和结构例如，在全序列中有一些是用于编码蛋白质的序列片段，即由这4个字符组成的64种不同的3字符串，其中大多数用于编码构成蛋白质的20种氨基酸又例如，在不用于编码蛋白质的序列片段中，A和T的含量特别多些，于是以某些碱基特别丰富作为特征去研究DNA序列的结

3、构也取得了一些结果此外，利用统计的方法还发现序列的某些片段之间具有相关性，等等这些发现让人们相信，DNA序列中存在着局部的和全局性的结构，充分发掘序列的结构对理解DNA全序列是十分有意义的目前在这项研究中最普通的思想是省略序列的某些细节，突出特征，然后将其表示成适当的数学对象作为研究DNA序列的结构的尝试，提出以下对序列集合进行分类的问题：1）请从20个已知类别的人工制造的序列（其中序列标号110 为A类，1120为B类）中提取特征，构造分类方法，并用这些已知类别的序列，衡量你的方法是否足够好然后用你认为满意的方法，对另外20个未标明类别的人工序列（标号2140）进行分类，把结果用序号（按从小

4、到大的顺序）标明他们的类别（无法分类的不写入）2）同样方法对182个自然DNA序列(他们都较长)进行分类，像1）一样地给出分类结果二、模型的合理假设1 各序列中DNA碱基三联组（即3字符串）的起始位置和基因表达不影响分类的结果2 64种3字符串压缩为20组后不影响分类的结果3 较长的182个自然序列与已知类别的20个样本序列具有共同的特征三、模型建立与求解研究DNA序列具有什么结构，其A，T，C，G4个碱基排成的看似随机的序列中隐藏着什么规律，是解读人类基因组计划中DNA全序列草图的基础，也是生物信息学（Bioinformatcs）最重要的课题之一题目给出了20个已知为两个类别的人工制造的DN

5、A序列，要求我们从中提取特征，构造分类方法，从而对20个未标明类别的人工DNA序列和182个自然DNA序列进行分类这是模式识别中的“有人管理分类”问题，即事先规定了分类的标准和种类的数目，通过大批已知样本的信息处理找出规律，再用计算机预报未知给出的已知类别的样本称为学习样本对于此类问题，我们通过建立分类数学模型（这包括形成和提取特征以及制定分类决策）、考查分类模型的效率、预报未知这几个步骤来进行（一）特征的形成和提取为了有效地实现分类识别，首先要根据被识别的对象产生一组基本特征，并对基本特征进行变换，得到最能反映分类本质的特征这就是特征形成和提取的过程在列举了尽可能完备的特征参数集之后，就要借

6、助于数学的方法，使特征参数的数目（在保证分类良好的前提下）减到最小这是因为：1.多余的特征参数不但没有多少好处，而且会带来噪音，干扰分类和数学模型的建立2.为了保证样本数和特征参数个数的比值足够大，而又不必要用太多的样本，最好使特征参数的个数降至最少模式识别计算一般要求样本数至少为变量数的3倍，否则结果不够可靠本问题的学习样本数为20个，故特征参数的个数以68个为宜我们通过研究4个字符A,T,C,G在DNA序列中的排列、组合特性，主要是研究字符和字符串的排列在序列中出现的频率，从中提取DNA序列的结构特征参数1特征的形成分别列举一个字符，2个字符，3个字符的排列在序列中出现的频率，构成基本特征

7、集（1）1个字符的出现频率表1列出了20个样本中A，T，C，G这4个字符出现的频率由于在不用于编码蛋白质的序列片段中，A和T的含量特别多些，因此我们将A和T是否特别丰富作为一个特征在表1中，列出了A和T出现的频率之和(程序见附录一) 表 1 A C T G A+T 1. 29.73 17.12 13.51 39.64 43.242. 27.03 16.22 15.32 41.44 42.343. 27.03 21.62 6.31 45.05 33.334. 42.34 10.81 28.83 18.02 71.175. 23.42 23.42 10.81 42.34 34.236. 35.14

8、 12.61 12.61 39.64 47.757. 35.14 9.91 18.92 36.04 54.05 8. 27.93 16.22 18.92 36.94 46.85 9. 20.72 20.72 15.32 43.24 36.0410.18.1827.27 13.64 40.91 31.8211. 35.45 4.55 50.00 10.00 85.45 12. 32.73 2.73 50.00 14.55 82.7313. 25.45 10.00 51.82 12.73 77.2714. 30.00 8.18 50.00 11.82 80.0015. 29.09 .00 64.5

9、5 6.36 93.6416. 36.36 8.18 46.36 9.09 82.7317. 35.45 24.55 26.36 13.64 61.8218. 29.09 11.82 50.00 9.09 79.09 19. 21.82 14.55 56.36 7.27 78.1820. 20.00 17.27 56.36 6.36 76.36（2）2字符串的排列出现的频率A，T，C，G这4个字符组成了16种不同的2字符串表2列出了20个样本中各2字符串出现的频率（用“滚动”算法，如ATTCG有AT,TT,TC,CG共4个2字符串）(程序与附录一类似)表 2 AA AC AT AG TA TC

10、 TG TT CA CT CC CG GA GT GC GG1. 9.01 9.01 3.60 8.11 4.50 .90 4.50 3.60 3.60 3.60 1.80 8.11 11.7 1 2.70 5.41 18.92 2. 9.91 7.21 3.60 5.41 2.70 1.80 5.41 5.41 4.50 1.80 .90 9.01 9.91 4.50 5.41 21.62 3. 5.41 11.71 3.60 5.41 2.70 1.80 .90 .90 5.41 .90 .90 14.41 13.51 .90 7.21 23.42 4. 18.92 5.41 11.71

11、5.41 10.81 1.80 5.41 10.81 5.41 1.80 .90 2.70 6.31 4.50 2.70 4.50 5. 6.31 8.11 1.80 7.21 1.80 2.70 2.70 3.60 5.41 4.50 2.70 10.81 9.91 .90 9.01 21.62 6. 15.32 2.70 6.31 9.91 3.60 1.80 1.80 5.41 4.50 .00 .00 8.11 10.81 .90 8.11 19.82 7. 15.32 1.80 10.81 7.21 4.50 2.70 6.31 5.41 .90 1.80 .90 6.31 13.5

12、1 .90 4.50 16.22 8. 8.11 3.60 6.31 9.91 5.41 3.60 2.70 7.21 2.70 3.60 1.80 8.11 10.81 1.80 7.2116.229. 9.01 .90 4.50 6.31 .00 3.60 7.21 4.50 3.60 2.70 2.70 11.71 7.21 3.60 13.5118.02 10. 6.36 3.64 1.82 6.36 1.82 5.45 2.73 3.64 5.45 3.64 4.55 13.64 4.55 3.64 13.64 18.18 11. 15.45 2.73 14.55 2.73 16.3

13、6 .91 1.82 30.00 .91 .91 .91 1.82 2.73 4.55 .00 2.73 12. 13.64 .91 10.91 6.36 15.45 1.82 1.82 30.91 .91 .91 .00 .91 2.73 7.27 .00 4.55 13. 6.36 4.55 10.00 4.55 12.73 1.82 2.73 34.55 2.73 2.73 1.82 1.8 2 3.64 4.55 1.82 2.7314. 8.18 .91 12.73 7.27 13.64 6.36 1.82 28.18 2.73 4.55 .00 .91 5.45 4.55 .91

14、.91 15.13.64 .00 12.73 1.82 13.64 .00 2.73 48.18 .00 .00 .00 .00 1.82 3.64 .00 .9116. 16.36 3.64 15.45 .9113.64 4.55 4.55 22.73 1.82 5.45 .00 .91 4.55 2.73 .00 1.82 17.17.27 5.45 10.91 1.82 10.00 6.36 4.55 5.45 4.55 7.27 9.09 2.73 3.64 2.73 3.64 3.64 18.8.18 7.27 11.82 1.82 15.45 1.82 .91 30.91 3.64

15、 3.64 1.82 2.73 1.82 3.64 .91 2.73 19.2.73 2.73 13.64 1.82 14.55 9.09 .913 1.82 1.82 8.18 1.82 2.73 2.73 2.73 .91 .91 20. 6.36 6.36 6.36 .91 9.09 10.00 3.64 32.73 2.73 13.64 .91 .00 1.82 3.64 .00 .91（3）3字符串的排列出现的频率A，T，C，G这4个字符组成了64种不同的3字符串这64种3字符串构成生物蛋白质的20种氨基酸在参考文献1的Figur2中，给出了这20种氨基酸的编码（见图1）因此，在计算

16、3字符串的出现频率时，我们根据图1将代表同一种氨基酸的3字符串合成一类，只统计20类3字符串的出现频率（不考虑字符串在序列片段中的起始位置，也采用“滚动”算法如ACGTCC中就有ACG,CGT,GTC,TCC共4个3字符串）见表3(程序与附录一类似)Symmetries of the diamond code sort the 64 codons into 20 classes, indicated here by 20 colors. All the codons in each class specified the same amino acid. 图1 Brian Hayes 在论文“

17、The Invention of the Genetic Code”中给出的图形 （注：图中DNA被转录为RNA,“U”代表“T”）表 3 b1 b2 b3 b4 b5 b6 b7 b8 b9 b10 b11 b12 b13 b14 b15 b16 b17 b18 b19 b20 1 1.77 3.54 2.65 0.88 0.00 0.00 7.96 0.88 4.42 2.65 17.70 10.62 3.54 4.42 4.42 7.08 1.77 3.54 13.27 7.08 2 1.89 1.89 0.94 0.94 0.00 0.94 1.89 0.94 4.72 12.26 7

18、.55 11.32 8.49 3.77 3.77 6.60 9.43 6.60 7.55 2.83 3 0.98 0.00 0.00 5.88 0.98 8.82 2.94 0.00 0.00 2.94 10.78 5.88 13.73 0.00 4.90 3.92 19.61 1.96 8.82 5.88 4 0.00 0.00 0.00 0.87 0.00 0.87 13.04 1.74 6.09 2.61 11.30 13.04 3.48 5.22 3.48 8.70 3.48 1.74 14.78， 7.83 5 2.86 0.00 0.00 3.81 0.95 3.81 3.81 0

19、.00 3.81 3.81 9.52 9.52 12.38 2.86 9.52 4.76 7.62 2.86 7.62 9.52 6 0.00 0.00 0.88 2.63 0.00 1.75 13.16 0.88 4.39 1.75 14.04 9.65 7.02 5.26 4.39 11.40 2.63 1.75 10.53 6.14 7 1.92 0.00 0.00 2.88 0.96 4.81 2.88 0.00 1.92 4.81 12.50 6.73 13.46 1.92 6.73 4.81 10.58 3.85 9.62 7.69 8 2.56 3.42 0.00 0.85 0.

20、85 0.85 12.82 0.85 1.71 0.85 20.51 2.56 3.42 9.40 5.98 11.11 0.85 4.27 11.97 3.42 9 0.00 0.00 0.00 2.97 2.97 9.90 2.97 0.00 0.99 3.96 6.93 1.98 13.86 1.98 2.97 3.96 23.76 2.97 8.91 6.9310 1.87 0.93 3.74 2.80 0.00 0.00 2.80 0.00 7.48 8.41 9.35 7.48 3.74 14.95 12.15 0.00 2.80 4.67 7.48 7.48 11 0.00 0.

21、89 0.00 0.00 0.00 1.79 8.04 0.00 5.36 4.46 15.18 8.04 8.93 4.46 3.57 8.04 4.46 6.25 13.39 5.36 12 2.73 0.00 0.91 2.73 0.91 3.64 4.55 3.64 3.64 1.82 9.09 5.45 3.64 5.45 6.36 7.27 8.18 5.45 10.91 9.09 13 1.80 0.90 0.90 0.90 0.00 0.90 9.01 0.00 3.60 7.21 14.41 8.11 7.21 6.31 7.21 4.50 1.80 7.21 11.71 4

22、.50 14 2.94 0.00 0.00 5.88 0.00 6.86 1.96 0.00 3.92 6.86 3.92 9.80 13.73 0.98 5.88 2.94 10.78 0.98 1 0.78 9.80 15 2.91 1.94 2.91 1.94 0.00 5.83 1.94 0.00 1.94 9.71 5.83 8.74 10.68 1.94 3.88 3.88 8.74 2.91 11.65 10.68 16 2.86 0.95 0.00 11.43 1.90 1.90 2.86 0.00 4.76 3.81 5.71 8.57 8.57 6.67 9.52 4.76

23、 5.71 2.86 7.62 7.62 17 1.92 0.96 1.92 4.81 1.92 3.85 1.92 0.96 0.96 6.73 4.81 8.65 10.58 2.88 6.73 2.88 9.62 6.73 8.65 7.69 18 1.71 0.85 1.71 0.85 0.85 2.56 16.24 0.85 1.71 0.85 16.24 5.13 6.84 5.98 3.42 11.11 1.71 5.13 11.11 3.42 19 0.94 0.94 1.89 0.94 0.94 0.94 1.89 0.94 10.38 7.55 5.66 9.43 8.49

24、 8.49 7.55 5.66 6.60 11.32 6.60 0.94 20 0.86 0.86 0.00 1.72 0.86 0.86 17.24 0.86 2.59 1.72 15.52 7.76 5.17 3.45 4.31 9.48 5.17 5.17 9.48 5.17 其中 b1 =aaa+ata b2=aca+aga b3=cac+ctc b4=ccc+cgc b5 =gag+gtg b6=gcg+ggg b7=tat+ttt b8=tct+tgt b9 =aac+caa+atc+cta b10=aag+gaa+atg+gta b11=aat+taa+att+tta b12=a

25、cc+cca+agc+cga b13=acg+gac+ctg+gtc b14=act+tca+agt+tga b15=cag+gac+ctt+ttc b16=cat+tac+ctt+ttc b17=ccg+gcc+cgg+ggc b18=cct+tcc+cgt+tgc b19=gat+tag+gtt+ttg b20=gct+tcg+ggt+tgg综合起来，形成了有41个变量的基本特征集2. 特征的提取上述基本特征集中有41个变量，即样本处于一个高维空间中特征的提取就是通过变换的方法用低维空间来表示样本，使得X的大部分特性能由Y来表达，即将p维随机向量X变换成q维随机向量 Y（qp）我们用主成分

26、分析法进行特征的提取，其步骤是：（1）求X的均方差矩阵V的特征根，记为：12k0 k+1=P=0（2）求1,2K对应的标准正交的特征向量r1，r2,rk得到第i个主成分为yi=riX, i=1,2,k.（3）求第i个主成分的贡献率ui=i/j, i=1,2,k, 及前m个主成分的累计贡献率vm=ui .（4）求得q，使得VqV0(V0一般在0.85到1之间)，则取 W=(r1,r2,rq)Y=XW第3步所求的贡献率，代表主成分表达X的能力，贡献率越大，对应的主成分表达X的能力越强只要前q个主成分的累计贡献率超过给定的百分比V就可以用低维特征Y=（y1,y2,yq）来反映高维特征（x1,x2,x

27、p）的变化特性现将反映20个已知类别样本的41个特征的随机向量X进行特征提取计算得前4个主成分的累计贡献率为96%，故提取特征为4个变量，取W=（r1,r2,r3,r4），则Y=XW，Y的4个分量就是从基本特征集提取所得的特征参数向量(程序及结果见附录二)（二）分类决策的制定前面已选取了特征参数，把特征参数张成的多维空间称为特征空间分类决策就是在特征空间中用统计的方法把被识别对象归为某一类别基本作法是在学习样本集的基础上确定某个判决规则，使按这种判决规则对被甄别对象进行分类所造成的错误识别率最小或引起的损失最少这里，我们的分类决策选取Fisher线性判别法即选取线性判别函数U(x)，使得：U(

28、x)=E1U(x)-E2U(x)2/D1 U(x)+D2U(x)=max (1) 其中Ei与Di分别表示母体i的期望和方差运算，i=1，2（1）式的含义是：构造一个线性判别函数U(x)对样本进行分类，使得平均出错概率最小即应在不同母体下，使U(x)的取值尽量分开具体地说，要使母体间的差异 (E1(U(x)-E2(U(x)2相对于母体内的差异D1U(x)+D2U(x) 为最大取U(x)=(1-2)T(1+2)-1X 就可满足(1)其中i为第i类母体的均值矩阵的估计，i为第i类母体的方差矩阵的估计取分类门槛值为：U0=U(*1+(1-)*2)其中0U0,U(2)U0., 就认为X取自母体1；当U(

29、X)U0, 就认为X取自母体2用上面得出的4个主成分构成的特征组和此分类决策，对20个学习样本进行分类，能得出正确的结果但是，若取W=（r1,r2,r3），求Y=XW，以Y的3个分量作为特征参数向量，再用Fisher线性判别法对20个学习样本进行分类，则第四个样本不能正确分类因此，得出分类的数学模型为：（1） 特征选取：取W=（r1,r2,r3,r4），求Y=XW，得出特征参数向量就是Y的4个列向量其中X是反映20个学习样本的41个特征的随机向量（2） 分类决策：Fisher线性判别法（三）分类模型的有效性考察前面建立的分类数学模型对20个学习样本进行了正确分类为了进一步考查分类模型的有效性和

30、可靠性，我们采用的方法是：预先留一部分学习样本不参加训练，然后用分类决策模型对其作预报，将预报成功率作为预报能力的指标每次取出一个学习样本，以其余学习样本作训练集，用分类决策模型对取出的一个样本作预报，同时对给出的后20种样本作预报结果见表4表 4取出样品序号 取出样本类别预报后20组样本中A类序号预报 1 A22，23，25，27，29，34，35，36，37 2 A22，23，25，27，29，34，35，36，37 3 A22，23，25，27，29，34，35，36，37 4 A23，25，27，29，34，35，36，37 5 A22，23，25，27，29，34，35，36，37

31、6 A22，23，25，27，29，34，35，36，37 7 A22，23，25，27，29，34，35，36，37 8 A22，23，25，27，29，34，35，36，37 9 A22，23，25，27，29，34，35，36，37 10 A22，23，25，27，29，34，35，36，37 11 B22，23，25，27，29，34，35，36，37 12 B22，23，25，27，29，34，35，36，37 13 B22，23，25，27，29，34，35，36，37 14 B22，23，25，27，29，34，35，36，37 15 B22，23，25，27，29，34，35，36，37，39 16 B22，23，25，27，29，34，35，36，37 17 B22，23，25，27，29，34，35，36，37，30，39 18 B22，23，25，27，29，34，35，36，37 19