输入法发展走向Word格式.docx
《输入法发展走向Word格式.docx》由会员分享,可在线阅读,更多相关《输入法发展走向Word格式.docx(15页珍藏版)》请在冰豆网上搜索。
![输入法发展走向Word格式.docx](https://file1.bdocx.com/fileroot1/2022-12/12/6e706f0e-161f-42bb-b2f1-5ea5e5356d25/6e706f0e-161f-42bb-b2f1-5ea5e5356d251.gif)
该技术我预计可以在语料上增加声音的确定性来提高准确度。
通过近期微软win7中的语音和早期IBM的测试都能看出语音技术正在逐渐成熟。
看形码的语音录入:
我们对着电脑说:
横竖撇捺折,耳刀旁、竖心、刀字头,别人在旁边都不知道你在说什么,还有反而比拼音和发声更麻烦
最可怕的还是脑思维,有人预言说极端发展的结果是输入法脑思维来控制打字。
大家想象一下:
我们在念文章的时候要考虑这个文章上的字都是各种偏旁部首和拆分的不规则或规则的字根吗?
这个脑思维起到先导性作用的必将是“声音”。
就拿“声音”一词为例,你感受一下你脑海里是反应这个字的发声快还是字形快呢?
当然了,我们在录入文章时,脑思维在念这文章就打出来了,而不是一个字拆分再反应出来。
当然了,传统的键盘输入法,在短期内形码仍然占一定的市场,因为目前形码的确定性更高。
随着拼音类输入法的发展,辅助码的提高,语料库的算法的先进化,很快拼音类也会占更多市场。
笔者的用自然码双拼打字(用搜狗平台、加加平台或是原装自然码)看打的速度有200左右,听打的速度有300左右。
只要努力练习和掌握已经初步可以达到与形码速度比美的效果了。
综上所述,未来中文输入法的发展声音会占主导地位并最终占领市场。
拿计算机语言来比较的话。
字形类输入法类似计算机语言中的低级语言,需要背诵和记忆的东西特别的多,长期不用甚至会遗忘,很难掌握和编写程序。
而发声和人类的自然语言是一样的,类似高级语言,计算机的高级语言是接近自然语言方式的,所以才高效。
最后,希望我的分析能给开发输入法的官方人员以启迪。
自然码汉字输入系统主策划加加论坛特邀会员郑文宇
二〇〇九年一月十六日
联系方式:
QQ14818014
输入法发展史回顾现已进入第三代
泡泡网软件频道1月14日技术发展周期一般会持续十年的时间,我们现在已经进入移动互联网周期的早期阶段,这是过去的50年来的第5个发展周期:
20世纪60年代,大型机时代;
20世纪70年代,小型机时代;
20世纪80年代,个人电脑时代;
20世纪90年代,桌面互联网时代;
21世纪最初10年,移动互联网时代。
而在这5个发展周期中,中文输入法则经历了3个时代:
1983年,五笔输入法诞生,成为单机时代输入法的前奏。
23年之后,搜狗拼音输入法面世,输入法进入了互联网时代。
2009年,一款概念产品——搜狗云输入法则展望了云时代输入法的轮廓。
三个时代的输入法有哪些差异呢?
从实际输入效果来看可见一斑,打开记事本,切换到任意一款时下流行的第二代拼音输入法,键入如下字符:
Zheng’dang’jue’ce’bu’men’wei’mi’he’shou’ru’cha’ju’de’hong’gou’ji’si’guang’yi’shi
出现在屏幕上对应的很可能是如下的句子:
“正当决策部门萎靡和收入差距的鸿沟集思广益是”。
但是,当我们切换到搜狗云输入法,敲击同样的字符序列,我们会得到一个通顺的句子:
“正当决策部门为弥合收入差距的鸿沟集思广益时”。
搜狗云输入法是如何做到大幅提高用户长句输入准确率的呢?
笔者将按照输入法智能化发展的脉络,为您揭开输入法智能化背后的神秘面纱。
单机时代的输入法
有一定年龄的用户对单机时代的输入法会深有印象。
在那个时代,电脑似乎还是专业人士手中的魔盒,输入法讲究的是一个“快”字。
所谓快,在那时被理解为重码率低,以五笔为代表的一批基于字形、笔画、音形结合的输入法在当时十分流行,经过专业训练的打字员的输入速度甚至超过英文输入,很少有人考虑输入法的易用性。
随着电脑的日益普及,全拼、智能ABC、紫光、微软拼音、拼音加加等输入法的用户数日益上升,毕竟拼音才是普通用户最容易学习的输入方式。
这些产品开始考虑易用性的问题,有了用户个人词库、自定义词库、组词和组句的概念,输入的准确度有了大幅度的提升。
但互联网才刚刚走入人们的生活,机器的存储、计算能力也有限,输入法本质上还是一款单机软件。
单击输入法讲求速度但易用性欠佳
词库,注音和词频
拼音输入法的核心是词库,词库是记录的集合,每条记录包括词条、注音和同音词的词序(大多数体现为词频或概率)三个基本元素构成。
早期的输入法的词条和注音通常来自专业机构和个人的人工整理。
词序通常基于统计词频,拿较大规模的文本(例如几年的人民日报)作为标准训练库(通常称为语料)。
统计时首先将语料切分成词条形式,比如“今天漫天大雪”,如果输入法词典中有“今天,漫天,大雪”这些词,那么这句话就会被切分成“今天|漫天|大雪”。
这个过程称为分词。
切分不是唯一的,“今天|漫|天|大雪”也是一种可能的切分,分词的目的是寻找一种最合理的切分方法。
分词的具体技术在本文中不做详述,但合理的词频统计一定是基于合理的分词方法。
切分后每个词条的总出现次数称为词频,除以所有词条出现的总次数后得到出现的概率。
当输入特定的拼音序列时,如果匹配上多个词条,将按照词频或概率的高低确定展现顺序。
理论上,如果词库集合无穷大,可以把所有文本片段放入词库中。
例如“今天漫天大雪”所有字串全部放入词库一共有21个词条。
所有这样的碎片加入词库,理论上可以匹配用户想输入的任何信息。
但不幸的是,电脑的计算能力、存储能力、以及软件的安装包大小等,不允许过大的词库。
早期的输入法词库的规模最大也只有十万条左右。
在单机时代,输入法的好坏往往取决于词库的大小、质量、合理性等。
组词和组句
当用户输入的拼音序列无法完整匹配上词库中的任何一个词条时,这时有两种做法,一种是早期输入法如全拼和智能ABC的做法,仅仅提供给用户最长匹配的词,例如输入“jin’tian’man’tian’da’xue”这个句子,给用户的候选是“今天”,当用户作出明确的选择后再给用户后续选择。
另一种做法紫光、拼音加加等输入法发,通过某种方法猜测用户想输入的完整句子或短语作为候选。
实现这一输入方式,首先需要对用户输入的整体拼音串进行切分,切分成不同的音节,比如用户输入“jin’tian’man’tian’da’xue”时,“jin’tian|man’tian|da’xue”,是一种切分方式,而“jin’tian|man|tian’da|xue”是另一种切分方式。
之后把每一个拼音切分映射成词库中的词,得到不同的词与词的组合。
最终可能的组合有“今天|漫天|大学”,“今天|漫天|大雪”,“今天|慢|天大|学”等。
最终将哪种组合方式展现给用户呢?
最普遍的做法是,计算每一种组合方式的组合概率。
对于组合w1,w2,w3,w4,最简单的计算方式就是:
P(w1,w2,w3,w4)=P(w1)*P(w2)*P(w3)*P(w4)
那么整体组合概率就依赖于每个词单独出现的概率(也即词频)。
这种组合概率计算方法称为1元模型,统计信息少,计算复杂度低,也有一定的准确率,在早期有着很广泛的应用。
但这种方法的错误率也是比较高的,例如,如果在全局信息中,P(大学)>
P(大雪),那么概率最大会是“今天漫天大学”,用户仍然需要进一步修改“大学”得到“大雪”才能输出选项。
这个问题如何解决呢?
互联网输入法正是我们手边流行的输入法
互联网时代的输入法
互联网时代的输入法以搜狗输入法为代表,它诞生于互联网应用爆炸的时代,电脑已经不再是少数人手中的玩具,已经深入到千家万户中,聊天、论坛、写博、评论、电子邮件等网络应用已经取代专业输入成为主流需求。
由于传播渠道有了质的改善,各个输入法产品之间的竞争也显得更为激烈。
传统的词库制作方法已经不能满足网民的需求,体现在以下的三个方面:
1、词库中大都是比较权威的正式词条,而少有网民的口语词汇
2、互联网上的新词热词往往成为网民们热衷讨论的话题,需要非常快的词库更新速度
3、网民在进行某个特定领域输入的时候,严重缺乏该领域的专业词条
让我们看看搜狗输入法所代表的新一代输入法的进步所在:
互联网语料
互联网语料是解决上述问题的主要钥匙。
网络上充斥着大量的信息,有的是权威发布的信息(如官方新闻等),有的是网民的交互活动产生的信息(如论坛,博客),当然也有大量的无效信息,例如广告传销、SEO作弊等。
互联网语料的生成本身是一个复杂的问题,但依赖于搜狗搜索引擎的技术底蕴和海量数据处理能力,我们能够比较方便的获得最新的优质语料。
这也是输入法能越来越“聪明”的基础。
新词和口语词
互联网具有这样两个特点:
有大量网民产生的“非主流”的口语词汇;
随时会产生新的词汇、词法或流行语。
这就意味着,传统的基于人工构造的词典不会有很好的效果。
口语词发现和新词发现成为互联网输入法的重要技术点。
比如“帅哥”这个词,在官方、正统的词库中是不会存在的,但在网络上使用频率非常高。
再如“云计算”这样的词,在特定时间出现井喷。
这两类词的发现在技术实现上稍有不同,但都是基于对海量语料的高频模板的挖掘。
幸运的是,新词发现(特别是专有名词的发现)是近年来研究界关注较多的领域,有丰硕的成果;
而搜狗搜索引擎本身也有着丰富的积累,使我们能用很短的时间取得突破。
专业细胞词库
专业词汇的发现技术和新词、口语词类似,只要我们能够获得特定专业领域的足够语料,后续的挖掘行为是雷同的。
我们通过对文本分类和聚类算法,将某一个领域中被局部用户使用比较多的词汇聚合成一个类,形成我们的专业词库(也就是搜狗的细胞词库),并通过细胞词库推荐的形式,推荐给需要的用户使用来提高其输入的效率。
组词算法的革命
通过新词发现、口语词发现、专业细胞词库,输入法已经聪明了很多,能够做到“与时俱进”了。
下面我们回到最开始的话题:
输入法怎样变得更聪明,能更准确的理解用户的意图呢?
还是以“今天漫天大雪”为例。
如果是一个人,光看到“daxue”时,第一印象很可能也是“大学”,但如果看到“mantiandaxue”,通常会反映过来是“漫天大雪”。
这是因为人的思考结合了上下文和语境等因素。
这也给我们一个启示,“漫天”和“大雪”之间的关系更强,一个改进的方法是,在分词统计的时候,不仅统计词条出现的次数,还统计“二元组”连续出现的概率,比如P(漫天,大雪),那么在计算整体组合概率的时候,就可以简单的使用:
P(今天,漫天,大雪)=P(今天)*P(漫天,大雪)
由于在统计语料中,(漫天,大雪)出现的次数会远远地大于(漫天,大学)的出现次数,因此最终“今天漫天大雪”的组合概率将更胜一筹。
显然的,这种基于“二元组”的概率计算方法更具有整体性。
但相比基于词的概率计算方法,却要存储更多的信息,如果词典中有N个词,那么理论上需要存储的组合数目为N*N,空间上是之前的平方级别。
而且由于训练语料相对比较小而且不容易获取,因此实际统计出来的组合数目相比全局空间来讲要少很多。
严格说来,二元模型并不是互联网时代的新鲜事物,微软拼音、黑马神拼等输入法早在单机时代也使用过类似的模型。
但受限于训练语料的规模以及机器的计算存储能力,从计算效率和效果上,都不是非常令人满意,此外过大的安装包大小也影响了他们的传播。
在互联网时代,用户桌面电脑的性能有了大幅提高,使较复杂的模型有了可能。
我们能不能使用更大的数据规模、更强的模型来做到更好的效果呢?
尽管用户桌面电脑的性能提升显著,但单机计算能力和存储空间还是有限的,我们不得不考虑一些使用老式电脑、或者网络状况不佳下载缓慢的用户。
在诸多因素的平衡下,主流的输入法大多数仍是基于“二元组”的概率计算模型,所以,输入法聪明了很多,但仍然聪明得有限。
云输入法时代将至输入法新革命
云时代的输入法
互联网时代的输入法仍然是传统意义上的桌面输入法,需要以安装包或者定期更新的形式把信息库存储到用户本地电脑上,而用户在输入的时候也必须使用本地的存储和计算资源。
很显然,这种传播、更新、存储和计算方式,将是当前输入法发展的主要瓶颈。
但是随着云时代的到来,网络延时不断降低,浏览器若逐步取代本地操作系统,这就为输入法逐渐脱离桌面的限制,成为纯粹的网络输入法带来了契机。
直到“搜狗云输入法”的诞生,云时代输入法的雏形,才真正开始向世人崭露头角。
何谓云输入法
搜狗云输入法本质上是网络输入法,但为何称为“云输入法”?
一方面,输入法本身的核心处理过程主要是信息存储、信息挖掘和概率计算,而非信息传输。
搜狗云输入法的存储和计算都是在大规模服务器集群上完成的,这些服务器不仅存储能力巨大,而且多核处理器性能超强,能够同时支持成千上万的用户进行在线计算。
用户端只需要通过网络把复杂的计算任务请求发送到服务器群上然后等待服务器群返回计算结果,这个大规模服务器的集群,正是云计算中的“云端”。
另一方面,搜狗云输入法已经对外公开了计算接口,成为一个真正的输入法计算服务提供者,任何用户和第三方开发商都可以通过和服务器群直接交互来获得计算服务。
可以看出,搜狗云输入法其本身已经具有了“云计算”的种种特质,因此冠名“云输入法”并不过分。
显而易见,相比于个人桌面电脑,云输入法使用的大规模服务器集群的存储计算能力已是不可同日而语;
同时,由于服务器成了所有用户的“容器”,在这个容器中进行信息挖掘和信息更新就可以变得实时。
这种利好是如何具体体现的呢?
超大信息量
相比于桌面输入法的小而精,搜狗云输入法可以做到输入领域的大而全。
通过搜索引擎抓取前所未有的超大训练语料(TB级别),可以做到无论是口语,古文,散文,现代文,诗词歌赋等不同文体,还是政治,经济,体育,娱乐等不同领域,都能面面俱到,应有尽有。
权威词条,高频口语,方言俚语,专业词汇,网络热词等古今中外,都可以统统纳入词典而不受任何限制。
实时更新
通过对用户输入的实时统计和挖掘,可以根据用户对词条的输入情况,随时对词库进行补充和更新,进行基于用户词的新词发现;
并且根据用户输入的分词统计,随时对词库的词频做出合理的调整,给用户最合理的词条排序;
另外,还可以通过搜索引擎不断的抓取最新的网络资源,及时的分析网络新词并加入词库,以最快的速度使用户获利。
整句输入质的提升
由于“大脑”可以记住的文字信息量更大了,思考的速度也可以变得更快了,自然而然,此时的输入法就可以变更聪明了。
通过扩大信息量并且采用更复杂的概率计算模型,整句输入的体验有了质的提升。
首先,以“缓解工作压力(huan’jie’gong’zuo’ya’li)”为例,如果采用基于“二元组”的概率计算模型,会得到什么样的结果呢?
打开搜狗桌面输入法,经过拼音输入得到“换届工作压力”,令人失望。
切出搜狗云输入法,输入结果则是“缓解工作压力”。
为什么桌面输入法得不到最终的结果呢?
输入法发展趋势展望
这种二元概率计算模型,会看到前后两个词之间的关系,但是却看不到“缓解”到“压力”之间联系。
(换届,工作)是同音下最高频的二元组,因此对于二元概率计算模型,“换届工作压力”的整体概率强于“缓解工作压力”。
但在搜狗云输入法中,我们对三元组(缓解,工作,压力)的概率也会进行存储并且在计算整体概率时使用。
显然,这是一种更合理的整句概率计算方法,因为进一步加强了前后词之间的联系。
有一个显而易见的结论:
如果我们计算整体概率时采用N元组概率信息,那么N越大,我们对整体组合概率的评估也会越准确。
当然,更大的“N”会导致存储空间成指数级的上升,这也是桌面输入法目前大都限制在二元模型上的最主要原因。
但是云输入法却不受这样的限制,因此我们在构建模型库的时候,不仅存储了二元组信息,还存储了三元组信息已经更长多元组的信息。
当然,这个“N”不可能无限的扩大下去,计算复杂度问题和语料稀疏性问题终究不可避免。
那搜狗云输入法又是如何解决这个问题的呢?
在进行分词过程中,我们不仅统计词条和元组的频率,同时我们会统计远距离搭配的频率,这些远距离搭配,有的是实体意义上的搭配,有的是句式语法意义上的搭配,最终都能为整句输入的改善提供巨大的帮助。
现在终于到了回答我们在前言中抛出的问题的时候了。
“正当决策部门为弥合收入差距的鸿沟集思广益时”这句话,云输入法为何可以完美的输出?
通过观察可以发现,“当……时”,“弥合……的鸿沟”,都是比较固定的搭配,前者是句式方面的,而后者是实体意义上的搭配。
而这些搭配都是我们可以通过分词过程中的搭配抽取得到的。
有了这两个搭配参与到句子整体概率计算中,那么整个句子就可以正确无误的计算出来。
统计更长的元组频率和更远距离的词语搭配,并且海量存储任何可能出现的语言现象,做到见多识广,这就是“云输入”在理解用户输入意图方面如此之好的原因所在。
总结与展望
随着互联网发展的日新月异,输入法的更新换代也越发迅速。
搜狗在输入法上的成功,依赖于整个搜狗技术团队坚实而强大的技术力量。
它站在巨人的肩旁上,集搜索引擎、大规模数据处理、自然语言处理和大规模网络并发处理等多项技术于一身,真正代表了未来输入法发展的趋势。
而搜狗输入法对输入法市场的最大贡献,就是它对用户创造的价值,乃至对整个中文社会所提供的社会价值和经济价值,而且激活了这个市场的良性竞争,最终使千千万万的用户得到最佳的并且不断改进的输入体验。
但技术的发展不会有片刻的停歇,未来的输入法也必须更加的智能才能跟得上时代的步伐。
输入法技术发展的方向,必将是不断增加人类的知识,不断地增加对人类思考的模拟,让输入法真正能够理解用户的思维和意图。
希望搜狗云输入法不仅能够不断的自我完善和改进,同时也能起到一个抛砖引玉的作用,继续促进整体输入法市场蓬勃向前的发展,让用户得到终极完美的输入体验。
从五笔到火星中文输入法发展历程
【简介】
最近,随着火星文的流行和各种新输入法的层出不穷,平时不怎么受大家关注的小小输入法曝光率骤然提高。
说起输入法,就不能不提汉字和电脑的融合关系。
我国计算机的开发应用从上世纪五十年代开始就一直没有停止过,不过个人电脑得以快速普及应该是从90年代开始的,这其中除有易用的Window系统推进作用外,解决掉汉字在电脑中的输入也是关键所在,人们可以在电脑中输入汉字、应用汉字,电脑对中国人来说变的不再陌生,开始走入全家万户。
最近,随着火星文的流行和各种新输入法的层出不穷,平时不怎么受大家关注的小小输入法曝光率骤然提高。
从1981年国家标准局发布《信息交换用汉字编码字符集基本集》GB2312-80以来,27年中汉字输入法经历了从无到有,从难到易,从简单到智能的巨大演变过程,回顾它的发展历程,我们可以一窥整个个人电脑在国内的发展史。
第一阶段:
电脑中可以输入汉字了代表输入法:
五笔字型输入法
电脑在我国普及,第一个急需要解决的问题就是,如何将汉字输入到电脑中,为此国家1981年发布了GB2312-80,1983年,王永民先生推出了划时代的五笔字型输入法,五笔输入法不但可以让我们输入汉字,而且也极大的解决了输入速度这一顽症。
90年代初五笔输入法的热度,大家可以从日常生活中体会到一些,比如遍地开花的电脑培训学校把五笔输入法当成重点课程,你可以依靠对五笔输入法的熟练程度,轻松找到一份不错的文职工作,甚至可以开间打字社……,由此可见五笔输入法在当时是多么的重要.
1983年王永民先生推出五笔字型输入法
第二阶段:
人人皆可输入代表输入法:
智能ABC
五笔输入法解决了汉字输入的问题,且输入速度也很快,从而盛行一时。
但很快随着电脑用户的越来越多,强背字根、入门难的先天问题越来越突显出来了,更多的人需要一款使用简单,入门轻松的输入法来代替五笔输入法。
这个时候,1991年由长城集团与北京大学合作推出的智能ABC汉字输入法的出现解决了这一问题。
它入门简单只要会拼音就能上手,而且带有简单的联想和记忆功能,这些特点,让它很快得到了初级用户的喜爱,尤其是在Windows系统将它内置,成为系统默认安装输入法之一后,使用它的用户越来越多
Windows系统预装的智能ABC,让更多的人可以输入文字
第三阶段:
效率不再只是五笔的代言词代表输入法:
搜狗拼音输入法
五笔入门较难,但输入效率快,智能ABC入门简单,但输入效率不高。
如何做到两全其美呢?
即入门简单又可以保证输入效率的输入法在众多呼声中出现了,这种输入法入门简单(会拼音即可),且能保持较高的输入速度(全拼联想、庞大词库、简拼等诸多功能极大的提高了输入效率),搜狗拼音输入法应该算是它们中的佼佼者,另外紫光拼音、谷歌拼音、QQ拼音也都属于这一类的输入法。
搜狗拼音输入法让拼音输入也高速
第四阶段:
输入不只有文字代表输入法:
火星文输入法
输入法的前三个发展阶段,都是针对汉字的输入方式和速度方面进行改进优化,不过随着网络的高速发展,汉字的作用正在慢慢转变,越来越多的人输入文字不再只是为了工作,更多的是为了交流、展现自我。
网络这个大舞台,让原本少人问津的生僻字、古文字,甚至各种符号有了表现平台。
新时代需求下,以上只能输入文字的常规输入法,对这些需求已经无能为力。
为此,不只可输入文字,对生僻字、古文字、火星字以及各类符号同样支持的新一代输入法孕育而生了,常见的火星文输入法算是其中做的最为出色的一款,它解析了输入法其实不只能输入文字。
火星文输入法