2023年ChatGPT半导体行业研究报告
导语
2017年谷歌推出一种用于自然语言理解的新型神经网络架构——Transformers模型，不但能生成质量上乘的语言模型，同时具有更高的可并行性，大大降低了所需的训练时间。这些小样本学习模型，可以更容易地针对特定领域做定制修改。
2018年以来，国内外超大规模预训练模型参数指标不断创出新高，“大模型”已成为行业巨头发力的一个方向。谷歌、百度、微软等国内外科技巨头纷纷投入大量人力、财力，相继推出各自的巨量模型。国外厂商自2021年开始进入“军备竞赛”阶段。
2018年，谷歌提出3亿参数BERT模型，大规模预训练模型开始逐渐走进人们的视野，成为人工智能领域的一大焦点。
2019年，OpenAI推出15亿参数的GPT-2，能够生成连贯的文本段落，做到初步的阅读理解、机器翻译等。紧接着，英伟达推出83亿参数的Megatron-LM，谷歌推出110亿参数的T5，微软推出170亿参数的图灵Turing-NLG。
2020年，OpenAI以1750亿参数的GPT-3，直接将参数规模提高到千亿级别。
2021年1月，谷歌推出的Switch Transformer模型以高达1.6万亿的参数量打破了GPT-3作为最大AI模型的统治地位，成为史上首个万亿级语言模型。2020年10月，微软和英伟达联手发布了5300亿参数的Megatron-Turing自然语言生成模型（MT-NLG）。2021年12月，谷歌还提出了1.2万亿参数的通用稀疏语言模型GLaM，在7项小样本学习领域的性能超过GPT-3。
ChatGPT背后的公司为OpenAI，成立于2015年，由特斯拉CEO埃隆·马斯克、PayPal联合创始人彼得·蒂尔、Linkedin创始人里德·霍夫曼、创业孵化器YCombinator总裁阿尔特曼（SamAltman）等人出资10亿美元创立。
OpenAI的诞生旨在开发通用人工智能（AGI）并造福人类。
ChatGPT中的GPT（Generative Pre-trained Transformer），是OpenAI推出的深度学习模型。ChatGPT就是基于GPT-3.5版本的聊天机器人。
截至2022年12月4日，OpenAI估计ChatGPT用户已经超过100万；2023年1月，ChatGPT用户超过1亿，成为迄今增长最快的消费应用程序。
2023年2月，OpenAI开始接受美国客户注册一项名为ChatGPTPlus的高级服务，每月收费20美元；此外，OpenAI正计划推出一个每月42美元的ChatGPT专业计划，当需求较低时可以免费使用。
OpenAI预计人工智能科学研究要想取得突破，所需要消耗的计算资源每3~4个月就要翻一倍，资金也需要通过指数级增长获得匹配。
在算力方面，GPT-3.5在微软AzureAI超算基础设施（由V100GPU组成的高带宽集）上进行训练，总算力消耗约3640PF-days（即每秒一千万亿次计算，运行3640天）。
reddit
在大数据方面，GPT-2用于训练的数据取自于Reddit上高赞的文章，数据集共有约800万篇文章，累计体积约40G；GPT-3模型的神经网络是在超过45TB的文本上进行训练的，数据相当于整个英文版的160倍。
按照量子位给出的数据，将一个大型语言模型（LLM）训练到GPT-3级的成本高达460万美元。
最新的GPT3.5在训练中使用了微软专门建设的AI计算系统，由1万个英伟达V100GPU组成
的高性能网络集，总算力消耗约3640PFdays（PD），即假如每秒计算一千万亿（1020）次，需要计算3640天。
采购一片英伟达顶级GPU成本为8万元，GPU服务器成本通常超过40万元。对于ChatGPT而言，支撑其算力基础设施至少需要上万颗英伟达GPUA100，一次模型训练成本超过1200万美元。
2020年全球AI芯片市场规模约为175亿美元，英伟达份额超80%
伴随着人工智能应用场景的多元化，新算法、新模型不断涌现，模型中的参数数量呈指数级增长，对算力的需求越来越大。OpenAI预估算力需求每3.5个月翻一倍，每年近10倍。
根据WSTS数据，2020年全球人工智能芯片市场规模约为175亿美元。随着人工智能技术日趋成熟，数字化基础设施不断完善，人工智能商业化应用将加落地，推动AI芯片市场高速增长，预计2025年全球人工智能芯片市场规模将达到726亿美元。
未来，随着自动驾驶级别的不断提高，对于AI芯片的需求正不断增长。L2和L3+级汽车都会用AI芯片来取代分立的MCU芯片进行自动驾驶相关的计算工作。WSTS预计AI芯片的数量将
从2020年的899万套增长至2025年的2380万套。
据IDC数据，2021年，中国加速卡出货量超过80万片，其中英伟达占据超过80%市场份额，此外其他市场参与者还包括AMD、百度、寒武纪、燧原科技、新华三、华为、Intel和赛灵思等。2020年的采购主要集中在搭载V100、V100S、A100和T4的加速服务器上，此外英伟达的A10、A30、A40和Atlas系列加速卡在部分领域已经开始使用。
据IDC数据，2021年，全球AI服务器市场规模达156亿美元，同比增长39.1%；IDC预测，2025年全球AI服务器市场规模将达317.9亿美元，年复合增长率为19%。
IDC报告显示，2021年中国加速服务器市场规模达到53.9亿美元（约350.3亿人民币），同比+68.6%；预计到2026年将达到103.4亿美元。年复合增长率为19%，占全球整体服务器市场近三成。
根据IDC数据，2021年，GPU服务器以91.9%的份额占国内加速服务器市场的主导地位；NPU、ASIC和FPGA等非GPU加速服务器占比8.1%。IDC预计2024年中国GPU服务器市场规模将达到64亿美元。
从行业的角度看，互联网依然是最大的采购行业，占整体加速服务器市场近60%的份额；2021年，用于推理工作负载的加速服务器占比已经达到57.6%，预计到2026年将超过60%。
国内GPU产品梳理以及和国外产品的对比
加速计算GPU领域，国内壁仞科技发布的BR100产品，在FP32单精度计算性能实现超越NVIDIAA100芯片，但是不支持FP64双精度计算；天数智芯推出的天垓100的FP32单精度计算性能实现超越A100芯片，但是在INT8整数计算性能方面却低于A100；海光推出的DCUZ100实现了FP64双精度浮点计算，但是其性能为A100的60%左右。因此，从高精度浮点计算能力来看，国内GPU产品与国外产品的计算性能仍或有一代以上差距。
但是，GPU的表现不仅体现在硬件上，软件层面对于生态的布局尤其重要，目前国内企业多采用OpenCL进行自主生态建设，但这是需要大量的时间进行。对比AMD从2013年开始建设GPU生态近10年时间后才推出用于通用计算的ROCm开放式软件平台，我们认为国内厂商在软件和生态层面与英伟达CUDA生态的差距相较于硬件更为明显。
虽然目前国内产品的计算性能和软件生态与国际厂商还有较大差距，但是，国内厂商依然在
奋起直追，努力实现GPU国产化突破。其中包括龙芯中科、海光信息、壁仞科技、寒武纪、天数智芯等厂商均在研发或推出用于AI计算的GPGPU、ASIC等AI芯片，有望实现高端AI芯片的国产替代。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。