中国人工智能系列白皮书 ——大模型技术 （2023版） 中国人工智能学会 二○二三年九月 2 目录 第1章 大模型技术概述 ................................ ................................ .......... 5 1.1 大模型技术的发展历程 ................................ ............................. 5 1.2 大模型技术的生态发展 ................................ ............................. 9 1.3 大模型技术的风险与挑战 ................................ ....................... 11 第2章 语言大模型技术 ................................ ................................ ........ 13 2.1 Transformer 架构 ................................ ................................ ........ 13 2.2 语言大模型架构 ................................ ................................ ....... 17 2.2.1 掩码语言建模 ................................ ................................ .... 17 2.2.2 自回归语言建模 ................................ ................................ 18 2.2.3 序列到序列建模 ................................ ................................ 18 2.3 语言大模型关键技术 ................................ ............................... 19 2.3.1 语言大模型的预训练 ................................ ........................ 19 2.3.2 语言大模型的适配微调 ................................ .................... 21 2.3.3 语言大模型的提示学习 ................................ .................... 24 2.3.4 语言大模型的知识增强 ................................ .................... 26 2.4.5 语言大模型的工具学习 ................................ .................... 27 第3章 多模态大模型技术 ................................ ................................ .... 29 3.1 多模态大模型的技术体系 ................................ ....................... 29 3.1.1 面向理解任务的多模态大模型 ................................ ........ 29 3.1.2 面向生成任务的多模态大模型 ................................ ........ 31 3.1.3 兼顾理解和生成任务的多模态大模型 ............................ 33 3.1.4 知识增强的多模态大模型 ................................ ................ 35 3.2 多模态大模型的关键技术 ................................ ....................... 36 3.2.1 多模态大模型的网络结构设计 ................................ ........ 36 3 3.2.2 多模态大模型的自监督学习优化 ................................ .... 37 3.2.3 多模态大模型的下游任务微调适配 ................................ 39 第4章 大模型技术生态 ................................ ................................ ........ 41 4.1 典型大模型平台 ................................ ................................ ....... 41 4.2 典型开源大模型 ................................ ................................ ....... 44 4.2.1 典型开源语言大模型 ................................ ........................ 44 4.2.2 典型开源多模态大模型 ................................ .................... 53 4.3 典型开源框架与工具 ................................ ............................... 57 4.4大模型的训练数据 ................................ ................................ .... 60 4.4.1 大模型的训练数据处理流程和特点 ................................ 60 4.4.2 大模型常用的公开数据集 ................................ ................ 63 第5章 大模型的开发训练与推理部署 ................................ ................ 66 5.1 大模型开发与训练 ................................ ................................ ... 66 5.2 大模型推理部署 ................................ ................................ ....... 68 5.2.1 大模型压缩 ................................ ................................ ........ 69 5.2.2 大模型推理与服务部署 ................................ .................... 70 5.3 软硬件适配与协同优化 ................................ ........................... 71 5.3.1 大模型的软硬件适配 ................................ ........................ 72 5.3.2 大模型的软硬件协同优化 ................................ ................ 72 第6章 大模型应用 ................................ ................................ ................ 74 6.1 信息检索 ................................ ................................ ................... 74 6.2 新闻媒体 ................................ ................................ ................... 75 6.3 智慧城市 ................................ ................................ ................... 76 6.4 生