ChatGPT研究框架.pptx

ChatGPT研究框架.pptx

《ChatGPT研究框架.pptx》由会员分享，可在线阅读，更多相关《ChatGPT研究框架.pptx（72页珍藏版）》请在冰豆网上搜索。

行业专题研究2023年02月07日,ChatGPT研究框架（2023）,摘要ChatGPT市场反应热烈，国内外巨头纷纷入场据统计，ChatGPT日活跃用户数的增速远超Instagram，1月份平均每天有超过1300万名独立访问者使用ChatGPT，是去年12月份的两倍多；国内外科技巨头都非常重视ChatGPT引发的科技浪潮，积极布局生成式AI，国内厂商（百度、腾讯等）也高度关注ChatGPT，积极探索前沿技术，相关深度应用也即将推出。

ChatGPT经历多类技术路线演化，逐步成熟与完善ChatGPT所能实现的人类意图，来自于机器学习、神经网络以及Transformer模型的多种技术模型积累。

Transformer建模方法成熟以后，使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟，随后GPT-1、GPT-2、GPT-3模型持续演化升级，最终孵化出ChatGPT文本对话应用。

AIGC跨模态产业生态逐步成熟，商用落地未来可期AIGC产业生态当前在文本、音频、视频等多模态交互功能上持续演化升级，奠定了多场景的商用基础。

跨模态生成技术也有望成为真正实现认知和决策智能的转折点。

ChatGPT乘东风，商业架构日益清晰随着ChatGPTPlus发布，商业化序幕已经拉开。

ChatGPT在传媒、影视、营销、娱乐以及数实共生助力产业升级等领域均可产生极大助益，提升生产力曲线，多维度赋能虚拟经济和实体经济。

01,02,03,04,ChatGPT生成式AI迎来拐点，商用落地前景可期,诚信责任亲和专业创新,请参阅附注免责声明,2,市场概况：

ChatGPTAI平民化里程碑技术路径：

基于人类反馈系统，ChatGPT助力跨模态AI生成应用行业进程：

AIGC多模态交互功能持续演化，奠定多场景商用基础03商业方向：

多领域多功能应用密集落地，ChatGPT商用前景可期,目录/CONTENTS,ChatGPT生成式AI迎来拐点，商用落地前景可期,诚信责任亲和专业创新,请参阅附注免责声明,3,01,市场概况：

ChatGPTAI平民化的里程碑,ChatGPT生成式AI迎来拐点，商用落地前景可期,诚信责任亲和专业创新,请参阅附注免责声明,4,ChatGPT生成式AI迎来拐点，商用落地前景可期,01,OpenAI在成立之初便备受资本瞩目，与微软合作加速商业化进程,ChatGPT是由OpenAI团队研发创造，OpenAI是由创业家埃隆马斯克、美国创业孵化器YCombinator总裁阿尔特曼、全球在线支付平台PayPal联合创始人彼得蒂尔等人于2015年在旧金山创立的一家非盈利的AI研究公司，拥有多位硅谷重量级人物的资金支持，启动资金高达10亿美金；OpenAI的创立目标是与其它机构合作进行AI的相关研究，并开放研究成果以促进AI技术的,2019年3月,2019年7月,2020年6月,2020年9月,微软向OpenAI投资了10亿美金，并获得了OpenAI技术的商业化授权。

从此，OpenAI的一些技术开始出现在微软的产品和业务上,OpenAI发布了OpenAIAPI，这是OpenAI第一个商业化产品，OpenAI正式开始了商业化运作,OpenAI授权微软使用GPT-3模型，微软成为全球首个享用GPT-3能力的公司,OpenAI发展的里程碑,图1：

OpenAI发展势头强劲，商业化趋势明显,OpenAI宣布从”非盈利“性质过度到”封顶盈利“性质，利润上限为任何投资的100倍（创立了OpenAILP公司）诚信责任亲和专业创新资料来源：

OpenAI官网，国泰君安证券研究,发展,请参阅附注免责声明5,ChatGPT生成式AI迎来拐点，商用落地前景可期,OpenAI的ChatGPT是生成式人工智能技术（AIGC）浪潮的一部分,诚信责任亲和专业创新,请参阅附注免责声明,6,2014年，LanJ.Goodfellow提出生成式对抗网络GAN,2018年，英伟达发布StyleGAN模型用于自动生成高质量图片2019年，DeepMind发布DVD-GAN模型用于生成连续性视频,1966年，世界第一款可人机对话机器人“Eliza”问世,80年代中期，IBM创造语音控制打字机“Tangora”,AIGC从实验性向实用性转变，受限于算法瓶颈，无法直接进行内容生成,沉淀积累阶段（20世纪90年代-21世纪10年代中期）,深度学习算法不断迭代，人工智能生成内容百花齐放,1950年，艾伦图灵提出著名的“图灵测试”，给出判断机器是否具有“智能”的方法,2007年，世界上第一部完全由人工智能创作的小说1TheRoad问世,2012年，微软展示语全自动同声传译系统，可将英文语音自动翻译成中文语音,2022年，OpenAI发布ChatGPT模型用于生成自然能语言文本,受限于技术水平，AIGC仅限于小范围实验,早期萌芽阶段（20世纪50年代-90年代中期）,快速发展阶段（21世纪10年代中期-至今）,图2：

随着算法的不断迭代，生成式人工智能技术（AIGC）不断发展,01,人工智能总体阶段,AIGC典型事件,AIGC发展特点,诚信责任亲和专业创新资料来源：

CSDN，国泰君安证券研究,GPT-1（1.17亿参数）有一定的泛化能力，能够用,于和监督任务无关的NLP任务中,InstructGPTInstructGPT是一个经过微调的新版GPT-3，可以将有害的、不真实的和有偏差的输出最小化,2022.01,2022.12,ChatGPT生成式AI迎来拐点，商用落地前景可期,01,ChatGPT是在GPT基础上进一步开发的自然语言处理模型,GPT模型是一种自然语言处理（NLP）模型，使用多层变换器（Transformer）来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本从GPT-1到GPT-3智能化程度不断提升，ChatGPT的到来也是GPT-4正式推出之前的序章图3：

ChatGPT由GPT-1到InstructGPT模型的不断成熟而逐步形成,GPT-3（1750亿参数）GPT-3作为一个自监督模型，可以完成自然语言处理的绝大部分任务：

将网页描述转换为相应代码、模仿人类叙事、创作定制诗歌、生成游戏剧本，甚至模仿已故的哲学家预测生命的真谛,ChatGPTChatGPT是InstructGPT的衍生产品，它将人类的反馈纳入训练过程，更好地使模型输出与用户意图保持一致,2019,GPT-2（15亿参数）除了理解能力外，GPT-2在生成方面表现出了强大的天赋：

阅读摘要、聊天、续写、编故事，甚至可以生成假新闻、钓鱼邮件或在线进行角色扮演,2018,GPT-1,2020,请参阅附注免责声明7,ChatGPT生成式AI迎来拐点，商用落地前景可期,01,ChatGPT发布后用户数持续暴涨，市场影响力迅速提升,根据UBS发布的研究报告显示，ChatGPT在1月份的月活跃用户数已达1亿，成为史上用户数增长最快的消费者应用相比之下，TikTok花了九个月的时间月活跃用户数才破亿，而Instagram则花费了两年半的时间，同时，根据SimilarWeb的披露信息，Spotify在四年半后仅积累了1亿月活跃用户根据SimilarWeb的数据，1月份平均每天有超过1300万名独立访问者使用ChatGPT，是去年12月份的两倍多,诚信责任亲和专业创新资料来源：

UBS，SimilarWeb，ARKInvest，第一财经，国泰君安证券研究,资料来源：

第一财经，国泰君安证券研究,请参阅附注免责声明8,图5：

对比各大热门平台月活跃用户数破亿所需时长，ChatGPT的成长速度惊人,图4：

ChatGPT日活跃用户数的增速远超Instagram,54个月,42个月,2个月,54个月,90个月,9个月,30个月,用藏文、俄罗斯语、韩语和日文说一句话,用C+写一段爬虫代码,代码阅读理解和Debug,ChatGPT生成式AI迎来拐点，商用落地前景可期,01,ChatGPT已能覆盖较多能力域,由于ChatGPT包含了更多主题的数据，能够处理更多小众主题。

ChatGPT能力范围可以覆盖回答问题、撰写文章、文本摘要、语言翻译和生,成计算机代码等任务。

请参阅附注免责声明9,用鲁迅口吻写一篇评价新冠疫情的散文,图6：

ChatGPT的使用案例如下所示用Python写一段CCI量化投资策略,诚信责任亲和专业创新资料来源：

ChatGPT，国泰君安证券研究,写一篇信创产业的研究报告,ChatGPT生成式AI迎来拐点，商用落地前景可期,01,ChatGPT具备诸多先进性特征,ChatGPT人类意图,连续对话,算法屏蔽,用户意图有效捕捉,诚信责任亲和专业创新10,请参阅附注免责声明,连续对话能力,上下文理解,承认不知道,提升准确度,敢于质疑,ChatGPT嵌入了人类反馈强化学习以及人工监督微调，因而具备了理解上下文、连贯性等诸多先进特征，解锁了海量应用场景当前，ChatGPT所利用的数据集只截止到2021年。

在对话中，ChatGPT会主动记忆先前的对话内容信息（上下文理解），用来辅助假设性的问题的建回议复。

，因而ChatGPT也可实现连续对话，提升了交互模式下的用户体验。

同时，ChatGPT也会屏蔽敏感信息，对于不能回答的内容也能给予相关图7：

ChatGPT提升的核心点如下所示,ChatGPT生成式AI迎来拐点，商用落地前景可期,01,科技巨头不断下注AI行业，ChatGPT带动新一轮AI发展浪潮2023年初，微软和谷歌均宣布裁员计划，但都加大了在AI行业的投入,资料来源：

UBS，财富，华尔街见闻，国泰君安证券研究,诚信责任亲和专业创新11,请参阅附注免责声明,ChatGPT生成式AI迎来拐点，商用落地前景可期,01,国内外科技巨头积极布局生成式AI，部分公司已有成型产品,国内外科技巨头都非常重视ChatGPT引发的科技浪潮，积极布局生成式AI,资料来源：

各公司公告，国泰君安证券研究诚信责任亲和专业创新12,请参阅附注免责声明,ChatGPT生成式AI迎来拐点，商用落地前景可期,01,谷歌：

面对ChatGPT构成的威胁，注资3亿美元投资竞品Anthropic,9：

Anthropic的联合创始人曾担任OpenAI研究副总裁,在ChatGPT发布后，谷歌CEO在公司内部发布了“红色警报”（CodeRed），敦促团队解决ChatGPT对公司搜索引擎业务构成的威胁，同时批准了在谷歌搜索引擎中加入AI聊天机器人的计划2月4日，谷歌注资3亿美元投资ChatGPT竞品Anthropic，谷歌将获得约10%的股份，Anthropic计划将次轮资金用于购买谷歌云计算部门的计算资源；Anthropic开发了一款名为Claude的智能聊天机器人，据称可与ChatGPT相媲美（仍未发布）Anthropic和OpenAI渊源颇深，其联合创始人曾担任OpenAI研究副总裁图图10,：

聊天机器人Claude据称可与ChatGPT相媲美,资料来源：

新浪财经，国泰君安证券研究,请参阅附注免责声明,诚信责任亲和专业创新13,微软将ChatGPT视为新一代技术革命，将ChatGPT整合进Bing搜索引擎、Office全家桶、Azure云服务、Teams程序等产品中微软近期宣布推出视频会议及远程协作平台的高级付费版MicrosoftTeamsPremium，订阅者可享用OpenAIGPT提供支持的大型语言模型技术，用AI自动生成会议笔记，此举或对Zoom、谷歌会议等平台形成巨大冲击。

ChatGPT生成式AI迎来拐点，商用落地前景可期,请参阅附注免责声明14,诚信责任亲和专业创新,微软：

OpenAI的最大投资方，开始利用ChatGPT提高产品竞争力,资料来源：

微软官网，国泰君安证券研究,资料来源：

WindowsCentral，国泰君安证券研究,图11：

MicrosoftTeamsPremium使用ChatGPT做笔记，使远程协作更高效,图12：

集成了ChatGPT的新版Bing曾短暂上线，搜索框类似一个聊天框,01,ChatGPT生成式AI迎来拐点，商用落地前景可期,01,亚马逊：

ChatGPT受到重点关注，已广泛运用在各种工作职能中,ChatGPT已经被亚马逊用于各种不同的工作职能中，包括回答面试问题、编写软件代码和创建培训文档等公司内部员工在Slack表示，亚马逊AmazonWebServices（AWS）云部门已经成立了一个小型工作组，以更好地了解人工智能对其业务的影响。

资料来源：

BusinessInsider，新浪科技，国泰君安证券研究,图13：

ChatGPT已经被亚马逊用于各种不同的工作职能中,请参阅附注免责声明15,诚信责任亲和专业创新,图14：

亚马逊AWS云部门的职能与人工智能联系紧密,资料来源：

Encaptechno，国泰君安证券研究,ChatGPT生成式AI迎来拐点，商用落地前景可期,01,美国新媒体巨头Buzzfeed踩准ChatGPT风口，两天内股价飙升3倍,资料来源：

腾讯新闻，国泰君安证券研究,资料来源：

澎湃新闻，国泰君安证券研究,1月29日，美国新媒体巨头Buzzfeed宣布计划采用ChatGPT协助内容创作，其股价一夜间暴涨近120%，两天内飙升逾300%，成交量突破4.38亿股（其月平均成交量不足2500万股）消息公布后同类型公司股票成交量也迎来历史高峰：

C3.ai本月成交量超过7200万股，为自去年6月以来最多；语音AI软件公司SoundHoundAI的成交量约为6450万股，几乎是其月平均值的三倍图15：

Buzzfeed宣布计划采用ChatGPT协助内容创作后，股价一夜间暴涨近图16：

Buzzfeed宣布计划采用ChatGPT协助内容创作后，股票成交量暴涨120%,请参阅附注免责声明16,诚信责任亲和专业创新,ChatGPT生成式AI迎来拐点，商用落地前景可期,01,StabilityAI：

StableDiffusion大热，OpenAI在图片生成AI大有可为,StabilityAI有着与OpenAI相同的创业理念：

构建开源AI项目，促进AI发展，其成功证明OpenAI在图片生成领域同样大有可为公司的开源模型StableDiffusion可以根据文字生成图片，只需要几秒钟，就可以生成分辨率、清晰度高，同时不失真实性和艺术性的图片。

资料来源：

网易新闻，国泰君安证券研究,图18：

StabilityAI有着与OpenAI相同的创业理念，其成功证明OpenAI在图片生成领域同样大有可为,请参阅附注免责声明17,诚信责任亲和专业创新,图17：

用户使用基于StableDiffusion算法构建的工具创建了数百万张图像,资料来源：

StabilityAI官网，国泰君安证券研究,ChatGPT生成式AI迎来拐点，商用落地前景可期,01,Jasper：

采用同类底层技术，进一步证明ChatGPT的巨大商业潜力,文案自动生成平台Jasper，其技术底层是OpenAI的GPT-3，在成立仅18个月后就达到了15亿美元的高估值IBM、Autodesk等巨头公司均是Jasper的付费用户，足以证明ChatGPT底层技术具备巨大的商业潜力。

ChatGPT出现后，其技术领先性和受欢迎程度对Jasper形成了强烈冲击。

图19：

ChatGPT的出现，对采用同类底层技术的热门公司Jasper形成强烈冲击,图20：

相比ChatGPT的免费开源，Jasper需要付费使用,资料来源：

搜狐新闻，Jasper官网，国泰君安证券研究,资料来源：

Jasper官网，国泰君安证券研究,请参阅附注免责声明18,诚信责任亲和专业创新,ChatGPT生成式AI迎来拐点，商用落地前景可期,01,国内厂商（百度&腾讯）：

高度关注ChatGPT，积极探索前沿技术,百度：

1月10日，百度宣布将升级百度搜索的“生成式搜索”能力，智能解答用户的搜索提问；2月7日，百度宣布将在3月份完成其ChatGPT产品的内测，面向公众开放，该项目名字为文心一言（ERNIEBot）百度指出，生成式AI和搜索引擎是互补关系而不是替代；据路透社报道，百度计划于3月将类似ChatGPT的AI对话服务作为独立应用推出，之后再逐步将其合并到搜索引擎中。

腾讯：

2月3日，腾讯公布一项人机对话专利，能够实现机器与用户之间自然且顺畅的沟通图21：

百度研发的ChatGPT产品“文心一言”将于3月份问世图22：

声明,腾讯发布相关专利，积极涉足ChatGPT领域请参阅附注免责,资料来源：

腾讯新闻，国泰君安证券研究,诚信责任亲和专业创新,资料来源：

中国经济网，国泰君安证券研究,19,ChatGPT生成式AI迎来拐点，商用落地前景可期,AIGC创业公司大比拼，国外ChatGPT的优势遥遥领先并有望延续,请参阅附注免责声明,资料来源：

各公司官网，国泰君安证券研究诚信责任亲和专业创新20,国内对比国外AIGC创业公司的相关产品，国外ChatGPT的优势遥遥领先并有望延续表2：

国外创业公司涉及的AIGC产品领域十分丰富，相关应用日渐成熟,01,ChatGPT生成式AI迎来拐点，商用落地前景可期,01,AI需要大量资金、人力投入和数据积累，国内市场中巨头更具优势,资料来源：

腾讯AILAB官网，国泰君安证券研究,资料来源：

百度官网，国泰君安证券研究,人工智能不仅需要巨大的投入，还需要庞大的用户数据基础，只有互联网巨头才有这个能力产出伟大的产品国外是微软、谷歌、亚马逊，而国内则是百度、腾讯等互联网巨头最具潜力；相比国外巨头，国内巨头正投入大量资金和人力成本快速发展人工智能技术，在没有硝烟的人工智能竞赛中，中国企业也将异军突起图23：

百度构建了云智共生的生态，助力AI发展图24：

腾讯的AI产品在游戏场景中不断提升人机协作与内容生成能力,请参阅附注免责声明21,诚信责任亲和专业创新,02,技术路径：

基于人类反馈系统，ChatGPT助力跨模态AI生成应用,ChatGPT生成式AI迎来拐点，商用落地前景可期,请参阅附注免责声明22,诚信责任亲和专业创新,ChatGPT生成式AI迎来拐点，商用落地前景可期,02,ChatGPT经历多类技术路线演化，逐步成熟与完善,ChatGPT所能实现的人类意图，来自于机器学习、神经网络以及Transformer模型的多种技术模型积累图25：

ChatGPT经过多类技术积累，最终形成针对人类反馈信息学习的大规模预训练语言模型,Transfo-rmer,进行海量数据学习训练，人类的反馈信息成为模型学习的内容,RNN,GAN,基于规则的少量数据处理,MachineLearning,开始模仿人脑进行大量数据的标记和训练,RoBERTa,ChatGPT,ALBERT,BigBird,基于模板和规则的前深度学习阶段,根据一定范围的数据进行参数分类,对人脑学习过程进行重点关注,1990年开始；2006年获得突破,神经网络CNN,T5,BART,BERT,XLM,M2m-100,GPT-3,ELECTRA请参阅附注免责声明23,诚信责任亲和专业创新资料来源：

真格基金，国泰君安证券研究,1950年开始1980年开始,2020年,2018年2019年GPT-1GPT-2,2017年,2022年Instruc-tGPT,ChatGPT生成式AI迎来拐点，商用落地前景可期,ChatGPT模型在以往模型的基础上有了多方面的显著提升,更大的语料库ChatGPT使用了更大的语料库，以更好地捕捉人类语言的复杂性。

请参阅附注免责声明24,更强的自我学习能力ChatGPT具有自我学习能力，可以在不断接触新语料的过程中持续提高自己的性能。

更高的适应性ChatGPT具有较高的适应性，可以根据不同的场景和任务进行微调，以提高其在特定领域的效果。

更加通用的预训练ChatGPT的预训练是通用的，因此它可以更好地适应各种不同的任务。

更高的计算能力ChatGPT使用了更高的计算资源，以获得更好的训练效果。

更高的准确性ChatGPT的训练效果比以往的大语言模型更好，因此它的准确性更高。

图26：

ChatGPT是基于Transformer架构的语言模型，它在以往大语言模型（如ELMo和GPT-2）的基础上有诸多性能提升,02,诚信责任亲和专业创新资料来源：

ChatGPT，国泰君安证券研究,转移学习（TransferLearning）使基础模型成为可能技术层面上，基础模型通过转移学习（TransferLearning）（Thrun1998）和规模（scale）得以实现。

转移学习的思想是将从一项任务中学习到的“知识”（例如，图像中的对象识别）应用于另一项任务（例如，视频中的活动识别）。

在深度学习中，预训练又是转移学习的主要方法：

在替代任务上训练模型（通常只是达到目的的一种手段），然后通过微调来适应感兴趣的下游任务。

转移学习（TransferLearning）使基础模型成为可能。

大规模化（scale）使基础模型更强大，因而GPT模型得以形成大规模需要三个要素：

（i）计算机硬件的改进例如，GPU吞吐量和内存在过去四年中增加了10倍；（ii）Transformer模型架构的开发（Vaswanietal.2017），该架构利用硬件的并行性来训练比以前更具表现力的模型；以及（iii）更多训练数据的可用性。

基于Transformer的序列建模方法现在应用于文本、图像、语音、表格数据、蛋白质序列、有机分子和强化学习等，这些例子的逐步形成使得使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟。

例如，GPT-3（Brownetal.2020）与GPT-2的15亿参数相比，GPT-3具有1750亿个参数，允许上下文学习，在上下文学习中，只需向下游任务提供提示（任务的自然语言描述），语言模型就可以适应下游任务，这是产生的一种新兴属性。

ChatGPT生成式AI迎来拐点，商用落地前景可期,Transformer的应用标志着基础模型时代的开始,请参阅附注免责声明,诚信责任亲和专业创新25,02,ChatGPT生成式AI迎来拐点，商用落地前景可期,02,Transformer奠定了生成式AI领域的游戏规则,图27：

Transformer模型架构如下所示Transformer摆脱了人工标注数据集的缺陷，模型在质量上更优、更易于并行化，所需训练时间明显更少Transformer通过成功地将其应用于具有大量和有限训练数据的分析，可以很好地推广到其他任务2017年，在AshishVaswaniet.al的论文AttentionIsAllYouNeed中，考虑到主导序列转导模型基于编码器-解码器配置中的复杂递归或卷积神经网络，性能最好的模型被证明还是通过注意力机制（attentionmechanism）连接编码器和解码器，因而AttentionIsAllYouNeed中提出了一种新的简单架构Transformer，它完全基于注意力机制，完全不用重复和卷积，因而这些模型在质量上更优，同时更易于并行化，并且需要的训练时间明显更少。

Transformer出现以后，迅速取代了RNN系列变种，跻身主流模型架构基础。

（RNN缺陷正在于流水线式的顺序计算）资料来源：

AttentionIsAllYouNeed,AshishVaswaniet.al2017,诚信责任亲和专业创新,请参阅附注免责声明26,ChatGPT生成式AI迎来拐点，商用落地前景可期,02,Transformer实现的不同技术场景对应的不同技术原理,通过随机Mask（即遮挡）数据库文本中的词语或语段，让神经网络自主学习复原被遮挡部分，从而拥有“猜测”缺失内容