（报告出品方/作者：国泰君安证券，李沐华，李雪薇）
1.大模型构筑AI基石，MaaS未来可期
1.1.NLP五级进阶，大模型应运而生
从基于规则到基于人的意识，大型语言模型是技术进步的必然产物。自然语言处理发展到大型语言模型的历程可分为五个阶段：规则、统计机器学习、深度学习、预训练、大型语言模型。考虑到机器翻译是NLP中难度最高、综合性最强的任务，可借助该功能来论述不同技术阶段的典型特点。
从年到年，基于规则的机器翻译系统在内部把各种功能的模块串到一起，由人先从数据中获取知识，归纳出规则后教给机器，然后由机器执行这套规则，该阶段为规则阶段；从年到年是统计机器学习阶段，在此期间，机器翻译系统可拆成语言模型和翻译模型，该阶段相比上一阶段突变性较高，由人转述知识变成机器自动从数据中学习知识，当时人工标注数据量在百万级左右；从到年，进入深度学习阶段，其相比于上一阶段突变性较低，从离散匹配发展到embedding连续匹配，模型变得更大，标注数据量提升到千万级；预训练阶段存在于年到年，跟之前比较，最大变化是加入了NLP领域杰出的自监督学习，将可利用数据从标注数据拓展到了非标注数据。
该阶段系统可分为预训练和微调两个阶段，将预训练数据量扩大3到5倍，典型技术栈包括Encoder-Decoder、Transformer、Attention等。
大模型阶段在数据标注、算法、人机关系三方面的性能均有跨越式提升。从年起开始进入大模型阶段，该阶段的突变性很高，已经从专用任务转向通用任务或是以自然语言人机接口的方式呈现，旨在让机器遵循人的主观意志。在数据标注方面，大模型已经从原来需要大量标注数据进化到运用海量非标注数据，越来越多数据被利用起来，人的介入越来越少，未来会有更多文本数据、更多其它形态的数据被模型运用。在算法方面，大模型的表达能力越来越强、规模越来越大，自主学习能力越来越强，从专用向通用趋势显著。
1.2.从CNN到Transformer，大模型底层架构显著优化
从CNN到RNN再到LTSM，语言处理性能得到有效提升。早期NLP注重语法分析，通过设计语法方向实现句子分析。伴随着语料数据复杂化、多样化，句子分析难度也提升。随后卷积神经网络（CNN）引发计算机视觉领域的变革，因此CNN也逐步用在NLP上。但传统神经网络擅长图像识别，考虑到语言的顺序属性，直接进行文字处理则效果有限。所以，随后循环神经网络（RNN）模型应用铺开，RNN将顺序作为权重因子，实现了较好的效果。但RNN单元的记忆力短和梯度不稳定，因而用于长序列时也有一定局限性。后来长短期记忆网络（LTSM）成为