2023-AI行业深度报告：ChatGPT-AI模型框架研究.pptx

2023-AI行业深度报告：ChatGPT-AI模型框架研究.pptx

《2023-AI行业深度报告：ChatGPT-AI模型框架研究.pptx》由会员分享，可在线阅读，更多相关《2023-AI行业深度报告：ChatGPT-AI模型框架研究.pptx（31页珍藏版）》请在冰豆网上搜索。

ChatGPT：

AI模型框架研究AI行业深度报告,一、AI框架重要性日益突显，框架技术发展进入繁荣期，国内AI框架技术加速发展：

1、AI框架作为衔接数据和模型的重要桥梁，发展进入繁荣期，国内外框架功能及性能加速迭代；2、Pytorch、Tensorflow占据AI框架市场主导地位，国内大厂加速布局AI框架技术；3、AI框架技术从工具逐步走向社区，生态加速形成，未来围绕安全可信、场景落等维度呈现显著发展趋势；二、GPT开启AI大模型时代，国内外大厂发力布局，商业化空间加速打开：

1、数据、算法、模型三轮驱动AI发展，大模型优势显著，成为AI主流方向；2、GPT开启千亿参数级AI大模型时代，语言、视觉、科学计算等大模型快速发展；3、微软加速AI商用化进程，国内大厂发力布局，看好在细分场景下的应用落地；三、建议关注标的：

1、基础层：

AI算力：

中科曙光；大模型：

360，科大讯飞2、应用层：

AI+工具：

金山办公；AI+建筑：

广联达；AI+法律：

通达海；AI+医疗：

创业慧康，久远银海；AI+教育：

科大讯飞；AI+网安：

安恒信息、奇安信；AI+金融：

同花顺；AI+交通：

佳都科技,风险提示：

1、AI技术发展不及预期；2、版权、伦理和监管风险；,摘要,2,AI框架,3,深度学习框架,深度学习框架：

人工智能时代的操作系统,分布式硬件资源,推理,训练,使用深度学习框架工具进行开发,使用深度学习框架工具进行开发,资料来源：

北京日报，认知计算与云安全公众号，华为云，,4,5资料来源：

中国信息通信研究院2022年AI框架技术白皮书，,算子优化统一标准端云一体大模型大任务全场景隐私与公平,人工智能框架技术发展进入繁荣期,2000年萌芽阶段,2019-2020年深化阶段,2015-2018年稳定阶段,2012年成长阶段,未来,01,指令式声明式,2013201420152016201720202020202x,国内外深度学习框架,国际主流深度学习框架：

互联网巨头主导开发,01,资料来源：

机器之心，CSDN，,是否是分布式框架,深度学习框架,特点/优点,发布时间,是否开源,开发公司,计算图,语言,6,7资料来源：

PaperswithCode，Omedia，,TensorFlow+Pytorch占据市场主导地位,2018-2022年全球论文发表数量（按使用框架分）,2022年中国开发者人工智能框架使用率,01,TensorFlow,Pytorch,01Pytorch：

Meta开源的主流学习框架Pytorch版本平均每34个月更新一次，功能服务持续扩充,多维优势支持Pytorch实现对TensorFlow的反超,资料来源：

CSDN，,8,简单易懂：

PyTorch具有用户友好的API；便于调试：

对Python生态的良好支持；强大高效：

Pytorch提供了非常丰富的模型组件。

9资料来源：

OpenAI官网，,Pytroch成为统一的深度学习框架,2015年2020年,OpenAI：

从多种框架的使用到专注于Pytroch,特殊情况使用Theano,大多数情况使用TensorFlow,01,方便优化模型的自动微分机制,支持GPU加速的张量计算,核心功能,Tensorflow从0.1到2.0的发展历程,运用更简单的模型进行构建、简化PITensorflow2.0发布,Tensorflow：

谷歌开源的向更加易用发展的主流学习框架,优点：

简化的模型开发流程、强大的跨平台能力、强大的研究发现,缺乏调度能力，需手动配置,Tensorflow2.3发布,添加两种新机制，解决输入管道瓶颈并节约资源,缺点：

调试困难、API混乱、入门困难,优点：

更快、更灵活、随时就绪,引入更高级的API，可在移动设备上运行,Tensorflow1.0.0发布，稳定版诞生,使得神经网络能够有效计算,采用CPU+GPU计算模型,开源Tensorflow0.1版本,资料来源：

腾讯云，CSDN，helloword，城市经济网，,2019年,202x年,2015年,2017年,01,10,AI框架技术呈现三层次结构，从工具走向社区生态,计算图中间表示,编程接口API,计算算子,社区,编码语言,通信算子,资料来源：

中国信息通信研究院2022年AI框架技术白皮书，,算子生成,图算融合,内存优化,AI框,模型轻量化,推理部署,训练开发,动静转换,自动微分,架,11,百度PaddlePaddle飞桨平台,01,资料来源：

CSDN、中国日报中文网、,图像分割,12,未来AI框架技术将呈现六大发展趋势发展趋势,泛开发,资料来源：

中国信息通信研究院2022年AI框架技术白皮书、,01,前景展望,泛开发,13,AI大模型,14,15资料来源：

CSDN、腾讯网、新浪网、,算法迭代1958年1965年1989年，CNN算法1997年2006年神经网络提出专家系统诞生应用于图像识别网页评级算法深度学习兴起,算力+数据支撑AI大模型加速发展,1965年摩尔定律计算和存储能力增长,1997年，IBM2002年战胜卡斯帕罗夫云存储、云计算诞生,2016年谷歌推出TPU加速机器学习过程,2012年深度学习算法在图像分类任务,2021年Alphafold实现蛋白质结构预测,2005年全球互联网用户超10亿,2009年引入Spark算法处理大数据,2005年1G磁盘存储成本降至2美元,2010年开始使用GPU训练AI模型,2010年全球智能手机销量超3亿部,02,2013年谷歌AI学会策略类游戏,2022年ChatGPT,2006年Hadoop技术,2007年iPhone发布,2018年GPT大模型,2004年分布式技术,1991年万维网开放,2017年AlphaZero,数据爆炸,取得突破,资料来源：

IDC2022中国大模型发展白皮书、,大模型为基底，AI大模型发展为场景应用奠定重要基础,泛化性+通用性,AI应用通用化,AI开发工程化,项目建设集约化,开发门槛低,AI大模型优势,大模型意义,02,16,17资料来源：

IDC2022中国大模型发展白皮书、,定义现状挑战未来发展,按照目标不同，AI大模型可分为四类，多模态为未来方向,理解能力应用场景,多模态大模型,科学计算大模型,02,NLP大模型,融合,CV大模型,计算性能,GPT-4,GPT-3,GPT-2,GPT-1,02,AI迈入大模型时代，参数量过千亿,资料来源：

电子工程世界、微软官网、OpenAI官网、Github、MetaAI官网，单位：

亿,EleutherAIGPT-NeoX（200）,微软和英伟达Megatron-TuringNLG（5300）,NaverCorpHyperCLOVA（2040）,2020,2018,2022,2021,2019,MicrasoftTruning-NLG（172）,GoogleELECTRA（1.02）,FacebookM2m-100（150）,OpenAiGPT-3（1758）,GoogleBigBird（1750）,百度ERINE3.0（100）,百度ERNIE3.0Titan（2600）,GoogleGopher（2800）,GoogleLaMDA（2800）,GoogleALBERT（0.31）,NIVIDIAMegatron-LM（83）,GoogleT5（110）,OpenAiGPT-2（15.8）,GoogleFLAN（1370）,GLM（1300）,EleutherAIGPT-j（60）,FacebookXLM,FacebookBART,FacebookRobertTa（3.35）,百度ERINE1.0,百度ERINE2.0,GoogleBERT-Large（3.4）,GooglePaLM（5400）,BigScienceBLOOM（1760）,MetaAIOPT（1750）,OpenAiInstructGBT（13）,GoogleBERT-base（1.1）,OpenAiGPT-1（1.2）,18,InstructGPT/GPT,3.5,Transformer,国内外大厂相继布局各模态AI模型,文字描述、图像分割、草图都可以转化为图片，还可同时接受以上几种输入模态的任意两种组合,根据输入的文本/简笔画生成对应逼真的风景图、输入图像并编辑部分内容,资料来源：

澎湃网、CSDN、百度、OpenAI官网、Meta，,通过输入语音音频和唇语视频内容，输出对应文本,02,图文双向生成,19,02OpenAI以GPT为基石，深度布局各模态AI及各类应用Whisper语音-文本模型DALL-E2文本-图像模型ChatGPT,GPT-3Transformer,多样的模型调用接口,来源：

CSDN，电子工程世界，腾讯网，,GPT模型迭代,20,21资料来源：

CSDN、机器学习算法与自然语言处理、电子工程世界等、,InstructGPT/GPT-3.5,02ChatGPT实现路径：

算力与框架支持，应用百花齐放,Transfomer的Decoder分支1750亿个参数小样本学习能力,对话类搜索引擎,对话AI模型,语音工作助手,人工监督微调,无代码编程,大模型,小说生成,语音陪伴,机器翻译,人工智能客服,对话虚拟人,模型,模型,人类反馈强化学习RLHF,Attention机制,人类反馈强化学习RLHF,承认自身错误,承认自身的无知,连续多轮对话,质疑不正确的问题,参数少,速度快,效果好,GPT-3,GPT-3资料来源：

CSDN、电子工程世界、新智元、,02基于InstructGPT形成ChatGPT对话系统,代码训练指令微调（instructiontuning）基于人类反馈的强化学习（RLHF）,InstructGPT,参数数量降低了100倍（1750亿-13亿）,增加Chat属性网页公众测试入口,ChatGPT,略微降低参数量,22,通过将人工智能模型应用于核心搜索算法，改进了核心搜索指数，使得搜索结果相关性实现飞跃,Bing在OpenAI的下一代LLM模型上运行，该模型专门为搜索定制，比ChatGPT更强大,普罗米修斯（Prometheus）模型：

可以提高搜索结果相关性，并对答案进行注释,能动的提供解决方案：

创建菜谱、制定旅行计划、诗歌创作等,搜索引擎Bing集成ChatGPT，即时生成个性化规划与建议,搜索与聊天相结合，除了传统的搜索结果外，还提供了聊天界面,传统信息搜索框,02,资料来源：

微软、TheVerge，,23,Copilot嵌入到人们每天使用的Microsoft365应用中商务聊天BusinessChat。

BusinessChat将汇总电子邮件、文件、文档、会议、聊天记录、日历等资料，并归纳总结,微软发布Microsoft365Copilot，引领下一代AI大模型,02,数据来源：

微软官网，,Microsoft365Copilot,Copilot工作方式,24,Copilot可以跨应用程序生成内容。

例如，根据Word文档，可以生成一个10张幻灯片的PPT提升演讲效果，增加字体大小和间距，在演讲稿中添加演讲提醒一键压缩冗长的演示文稿，调整布局、重新格式化文本和完美的时间动画。

在短时间内识别趋势或创建数据可视化数据归纳处理，分析或格式化Excel数据，生成直观图像Excel用户可以通过Copilot即时创建SWOT分析或基于数据的PivotTable,在对话上下文中提供实时摘要和操作项，进行会议内容总结，提醒可能错过的东西如果参加会议时间较晚，copilot会提供一份错过的内容摘要，从而提高会议效率,Copilot可以根据需求创建初稿对文本内容进行提炼、改写、简化，查漏补缺用户还可以根据需求调整AI的语气，包括严肃、热情、感谢等,CopilotAI功能的应用场景，大幅提高办公效率,CopilotinPowerPoint,CopilotinExcel,CopilotinWord,CopilotinTeams,02,数据来源：

微软官网，,应用场景,应用场景,25,Phenaki文本-视频GPT-3,ChatGPT,26来源：

CSDN，新浪，GoogleParti，,Parti文本-图像官方开源多个多模态模型,Google在各模态领域布局AI模型，并提供多项功能服务模块,LOLNerf2D图像-3D图像,Flamingo图像-文本,02,

（1）大厂独立完成

（2）机构+高校（3）大厂+高校（4）大厂+机构+高校。

大厂通过资金优势、数据优势往往可以独立完成或主导合作。

机构凭借行业领袖的团队和政府的资金支持，可以主导合作。

而高校凭借行业领袖的团队提供科研能力支持。

过去来看，由于大厂受到商业任务限制，资金和数据优势未能充分发挥。

而未来，在ChatGPT之后，经过验证的模式铺平商业决策之路，将逐步成为未来大模型的主导力量。

02国内AI大模型，大厂+高校将主导未来1大模型的主要玩家有科技大厂、高校和新型研发机构，形成了四种合作模式,资金优势：

算力、数据数据优势：

数据科研能力：

模型,资金优势数据优势,科研能力优势无商业任务,资金优势科研能力优势无商业任务,数据来源：

CSDN、电子工程世界、新智元，,新型研发机构,大厂,高校,27,坐拥大模型+训练框架+数据+社区多重优势，百度有望成为AIGC领域率先实现商业化的领头羊。

自2019年发布ERNIE1.0，百度持续投入大模型的技术创新与产业应用，布局了NLP、CV、跨模态等大模型，率先提出行业大模型，成了支撑大模型产业落地的关键路径，构建文心大模型层、工具平台层、产品与社区三层体系。

根据IDC的大模型评分，在产品能力、生态能力和应用能力三个维度上百度均位于第一梯队，且在生态维度远高于平均水平，这得益于百度的大模型框架“飞桨”、旸谷社区。

百度于2023年3月发布“文心一言”，成为首款中文生成式对话大模型产品。

添加标题,文心大模型与产品框架,文心大模型评分,百度：

文心大模型,02,数据来源：

文心官网，IDC，。

语音-语言ERNIE-ViL,视觉-语言ERNIE-ViL,地理-语言ERNIE-GeoL,化合物表征学习HelixGEM,自监督视觉表征学习VIMER-CAE,视觉处理多任务学习VIMER-TCIR,文心百中大模型驱动的产业级搜索系统,OCR图像表征学习VIMER-StrucText,多任务视觉表征学习VIMER-UFO,商品图文搜索表征学习VIMER-UMS,旸谷社区大模型创意与探索社区,金融ERNIE-Finance,BML-大模型全功能AI开发平台,单序列蛋白质结构预测HelixFold-Single,医疗ERNIE-Health,电影频道-百度文心,对话PLATO,信息抽取ERNIE-UIE,搜索ERNIE-Search,蛋白质结构预测HelixFold,代码ERNIE-Code,跨语言ERNIE-M,图网络ERNIE-Sage,ERNIE3.0Tiny,文档智能ERNIE-Layout,文图生成ERNIE-ViLG,ERNIE3.0,工具与平台,语言理解与生成,生物计算大模型,行业大模型,行业大模型,行业大模型,行业大模型,大模型精调,大模型压缩,场景化工具,高性能部署,文心大模型,产品与社区,28,ERNIE1.0架构：

改进了MLM任务ERNIE2.0：

+持续学习框架ERNIE3.0、3.0TITAN：

+参数量,基于BERT衍生百度文心大模型，料将推出对话系统文心一言,注：

ERNIE（EnhancedlanguageRepresentationwithInformativeEntities）,02,数据来源：

CSDN，电子工程世界，。

29,1阿里巴巴率先构建大模型统一底座、通过训练策略大幅提升稀疏参数大模型框架训练效率，在大模型框架上具备领先地位。

阿里巴巴2021年3月发布M6，成为国内最早提出千亿模型的厂商，同年发布十万亿模型M6-10T，通过expertprototyping训练策略成功实施MoE稀疏参数模型，使模型达到10万亿参数级别。

2022年9月发布通义大模型，通过统一学习范式M6-OFA和模块化的设计，提升大模型跨模态能力和效率。

2023年报电话会上，集团CEO张勇表示针对生成式AI趋势，将全力构建预训练大模型。

30数据来源：

机器之心，,阿里巴巴：

通义大模型训练策略和框架上领先行业,阿里通义大模型架构,Dense模型与MoE模型,Dense模型MoE模型,SA,SA,添加标题,FFN,02,FFN1,FFN2,FFN3,路由,02华为：

盘古大模型聚焦实业1华为盘古大模型深耕实业，拥有更广泛的行业大模型，具备更强的落地能力。

1基于ModelArtsAI工作平台的盘古大模型2021年4月发布，目前已应用于10+行业的100+应用场景。

盘古预训练大模型架构及Offering,数据集管理器,预置工作流,AI应用,1根据信通院模型开发和模型能力两方面测评，均为优异水平。

L2细分场景模型L2行业大模型L0基础大模型,推理,盘古工作流（快速交付：

工作流，增量学习，小样本标注）,短缺天气预报近海养殖，台风预测智慧育种,数据来源：

36氪，。

ModelArts平台工作流,大企业或政府方案（混合云或公有云）,案件关键词抽取电商情感分析多轮对话,皮带质检PCBA缺陷识别电力缺陷识别,工作流订阅及基于下游任务微调,时尚版权保护时尚辅助设计图文搜索,L0L1行业大模型定制费,中国企业方案（云边协同）,自定义算法,本地训练,图像标注工具,评估,L0基础大模型使用授权费,数据采集,其他数据来源渠道,特征存储,标注任务,Offering2（百万级）,Offering1（千万级）,图网络大模型,小语种/英语,PRO工作流,科学计算大模型,数字人大脑,视觉大模型,生产线质检,预处理算法,NLP大模型,Workflow2.0,工业耗能/参数预测,金融风控,智慧育种,销量预测,电力巡检,合作伙伴交付,煤矿,气象,海浪,司法,31,