大语言模型对抗性攻击与防御综述

台建玮; 杨双宁; 王佳佳; 李亚凯; 刘奇旭; 贾晓启

doi:10.7544/issn1000-1239.202440630

大语言模型对抗性攻击与防御综述

1.
安徽大学互联网学院　合肥　230039
2.
中国科学院信息工程研究所　北京　100093

基金项目: 国家自然科学基金面上项目(71971002)；安徽省自然科学基金项目(2108085QA35)

详细信息

作者简介:
台建玮: 1993年生. 博士，讲师. CCF高级会员. 主要研究方向为人工智能应用、智能决策与网络空间安全

杨双宁: 2003年生. 硕士研究生. 主要研究方向为大语言模型安全

王佳佳: 2004年生. 本科生. 主要研究方向为网络空间安全

李亚凯: 1997年生. 博士研究生. 主要研究方向为人工智能安全、深度学习可解释性

刘奇旭: 1984年生. 博士. 教授. 主要研究方向为Web安全、漏洞挖掘

贾晓启: 1982年生. 博士. 教授. 主要研究方向为网络攻防技术、操作系统安全、云计算安全

通讯作者:
贾晓启(jiaxiaoqi@iie.ac.cn)

中图分类号: TP18
计量
- 文章访问数: 585
- HTML全文浏览量: 189
- PDF下载量: 247
出版历程
- 收稿日期: 2024-07-20
- 修回日期: 2025-01-19
- 网络出版日期: 2025-01-19
- 刊出日期: 2025-02-28

Survey of Adversarial Attacks and Defenses for Large Language Models

1.
School of Internet, Anhui University, Hefei 230039
2.
Institute of Information Engineering, Chinese Academy of Sciences , Beijing 100093

Funds: This work was supported by the General Program of the National Natural Science Foundation of China (71971002) and the Anhui Provincial Natural Science Foundation(2108085QA35).

More Information

Author Bio:
Tai Jianwei: born in 1993. PhD, lecturer. Senior member of CCF. His main research interests include artificial intelligence applications, intelligent decision making and security in cyberspace. （24012@ahu.edu.cn）

Yang Shuangning: born in 2003. Master candidate. His main research interest includes large language model security

Wang Jiajia: born in 2004. Undergraduate. Her main research interest includes cyberspace security

Li Yakai: born in 1997. PhD candidate. His main research interests include artificial intelligence security and deep learning interpretability

Liu Qixu: born in 1984. PhD, professor. His main research interests include Web security and vulnerability mining

Jia Xiaoqi: born in 1982. PhD, professor. His main research interests include network attack and defence, operating system security, and cloud computing security

摘要

摘要:
随着自然语言处理与深度学习技术的快速发展，大语言模型在文本处理、语言理解、图像生成和代码审计等领域中的应用不断深入，成为了当前学术界与工业界共同关注的研究热点. 然而，攻击者可以通过对抗性攻击手段引导大语言模型输出错误的、不合伦理的或虚假的内容，使得大语言模型面临的安全威胁日益严峻. 对近年来针对大语言模型的对抗性攻击方法和防御策略进行总结，详细梳理了相关研究的基本原理、实施方法与研究结论. 在此基础上，对提示注入攻击、间接提示注入攻击、越狱攻击和后门攻击这4类主流的攻击模式进行了深入的技术探讨. 更进一步地，对大语言模型安全的研究现状与未来方向进行了探讨，并展望了大语言模型结合多模态数据分析与集成等技术的应用前景.
- 大语言模型 /
- 对抗性攻击 /
- 防御策略 /
- 网络空间安全 /
- 生成式人工智能
Abstract:
With the rapid development of natural language processing and deep learning technologies, large language models (LLMs) have been increasingly applied in various fields such as text processing, language understanding, image generation, and code auditing. These models have become a research hotspot of common interest in both academia and industry. However, adversarial attack methods allow attackers to manipulate large language models into generating erroneous, unethical, or false content, posing increasingly severe security threats to these models and their wide-ranging applications. This paper systematically reviews recent advancements in adversarial attack methods and defense strategies for large language models. It provides a detailed summary of fundamental principles, implementation techniques, and major findings from relevant studies. Building on this foundation, the paper delves into technical discussions of four mainstream attack modes: prompt injection attacks, indirect prompt injection attacks, jailbreak attacks, and backdoor attacks. Each is analyzed in terms of its mechanisms, impacts, and potential risks. Furthermore, the paper discusses the current research status and future directions of large language models security, and outlooks the application prospects of large language models combined with multimodal data analysis and integration technologies. This review aims to enhance understanding of the field and foster more secure, reliable applications of large language models.
- large language models (LLMs) /
- adversarial attack /
- defense strategy /
- cyberspace security /
- generative artificial intelligence

HTML全文

近年来，大语言模型（如GPT-4^[1]，OPT^[2]，Falcon^[3]，LLaMA^[4]等）在编程助手、聊天机器人、文本摘要等多个领域都展现出了巨大的潜力和应用前景. 据统计，使用GitHub Copilot^[5]工具辅助编程，可以将开发时间缩短35%~40%^[6]. GPT-4在文本生成和语言理解等多种自然语言处理任务中的表现出色.

然而，当前大语言模型推理系统在存储方面仍面临许多亟待解决的问题，引起了学术界和工业界的广泛关注. 首先，模型规模^[7-8]的指数级增长对存储资源提出了巨大的挑战. 例如，GPT-3拥有1750亿参数^[9]，如此庞大的参数量需要极高的存储容量，现有的单卡GPU显存资源往往无法满足这一需求. 其次，用户对长上下文推理的需求显著增加，使得生成式大语言模型在推理过程中需要存储大量的键值缓存，进一步加剧GPU显存容量不足的问题. 最后，分布式大语言模型推理系统在GPU集群资源利用率和故障恢复方面也面临重大挑战. 一方面，现有的分布式大语言模型推理系统在预填充和解码阶段之间存在显著的延迟差异，导致GPU^[10]资源利用率低下；另一方面，由于解码阶段依赖于前面的上下文信息，系统在遇到故障时难以快速恢复.

针对上述问题，现有的研究工作从不同的角度出发，为大语言模型推理系统提供了诸多存储优化方案. 根据不同优化方案的侧重点，本文将这些研究分为3类：基于显存优化的大语言模型推理系统、基于异构存储的大语言模型推理系统和基于分布式存储的大语言模型推理系统.

基于显存优化的大语言模型推理系统专注于提高GPU显存利用率和降低显存占用，以应对复杂的推理需求. 这些技术包括高效的键值缓存管理、压缩，以及注意力算子优化. 键值缓存管理通过改进GPU显存资源的管理和分配机制有效减少显存浪费；键值缓存压缩^[11]通过丢弃不重要的标记降低显存占用；注意力算子优化通过改进算子的计算过程进一步减少对显存的需求.

基于异构存储的大语言模型推理系统利用GPU显存、CPU内存和SSD等多种存储资源来扩展存储容量. 关键技术包括：张量放置策略，通过优化模型权重、激活量和键值缓存的存储位置来提高系统性能；异步数据传输，通过计算和数据传输重叠^[12]来隐藏I/O延迟；智能显存分配与预取技术，通过识别大语言模型推理中的关键数据，并将其预先加载到GPU显存，以减少额外的数据传输.

基于分布式存储的大语言模型推理系统着眼于单节点存储与计算资源不足的问题，采用批处理、多级调度等策略提高多机资源利用率，以提高大语言模型推理的整体性能. 此外，一些研究在分布式流水线并行中采用数据冗余技术，显著提高了分布式大语言模型推理系统的容错能力和扩展性.

存储优化技术在大语言模型推理中的重要性不容忽视. 通过显存优化、异构存储和分布式存储等技术，可以有效应对当前大语言模型推理系统面临的存储挑战. 接下来，本文将首先介绍大语言模型生成式推理的整体过程，再依次总结和分析这些存储优化技术.

1. 大语言模型的生成式推理

1.1 基于Transformer的大语言模型

自回归的Transformer模型^[13]是主流大语言模型（如GPT-3^[9]，GPT-4^[1]，LLaMA^[4]）广泛采用的架构. 如图1所示，该架构包括1个嵌入层（embedding）、一系列顺序的Transformer层、1个线性层和1个Softmax操作. 具体结构如下：

图 1 Transformer模型整体架构图

Figure 1. Overview architecture of Transformer model

下载: 全尺寸图片幻灯片

1) 嵌入层. 输入提示标记经过嵌入层转换为隐藏状态，即Transformer层可识别的连续的高维向量表示.

2) Transformer 层. 每个Transformer 层由多个子组件组成，包括1个掩码多头注意力（multi-head attention，MHA）机制、1个前馈网络（feedforward network， FFN）和2个层归一化操作. 多头注意力机制通过并行计算多个独立的注意力头，允许模型同时关注输入序列的不同部分. 这些注意力头的输出被拼接后，经过线性变换得到最终的注意力输出. 前馈网络用于增强模型的非线性表示能力，层归一化则用于防止梯度爆炸，提高模型泛化能力. 经过多个 Transformer 层的处理后，模型生成了一个高维输出张量，该输出张量包含了输入标记在上下文中的语义信息和相关性.

3) 线性层和Softmax操作. 线性变换和 Softmax 函数将最后1个Transformer层输出张量映射为下一个生成标记(token)的输出概率分布，表示词汇表中每个标记作为下一个输出标记的可能性.

得到下一个标记的概率分布后，模型会根据特定的选择策略（如贪婪搜索、束搜索等）选择出下一个输出标记. 然后，将选定的输出标记转换成词嵌入，并将其与已经生成的标记序列结合. 重复上述步骤，继续生成下一个标记，直到达到最大长度或生成结束标记.

给定1个输入提示序列，大语言模型推理过程可以分为2个阶段：预填充阶段和解码阶段.

1.2 预填充阶段

在预填充阶段，Transformer模型接收整个输入提示序列，生成第1个输出标记，并预填充初始键值缓存（key value cache，KV cache）. 其计算步骤有7步.

1）接收输入序列. 模型接收整个输入序列 $[{x_1},{x_2}, … ,{x_n}]$ 作为提示.

2）查询向量、键向量和值向量计算. 注意力机制对每个输入标记 ${x_i}$ 进行线性变换，计算得到的查询向量 ${{\boldsymbol{q}}_i}$ 、键向量 ${{\boldsymbol{k}}_i}$ 和值向量 ${{\boldsymbol{v}}_i}$ ：

${{\boldsymbol{q}}_i} = {{\boldsymbol{W}}_{\boldsymbol{q}}}{x_i}{\text{,}}\; {{\boldsymbol{k}}_i} = {{\boldsymbol{W}}_{\boldsymbol{k}}}{x_i},\; {{\boldsymbol{v}}_i} = {{\boldsymbol{W}}_{\boldsymbol{v}}}{x_i},$

(1)

其中 ${{\boldsymbol{W}}_{\boldsymbol{q}}}$ ， ${{\boldsymbol{W}}_{\boldsymbol{k}}}$ ， ${{\boldsymbol{W}}_{\boldsymbol{v}}}$ 分别表示查询、键和值的权重矩阵.

3）注意力计算. 将查询向量 ${{\boldsymbol{q}}_i}$ 与所有键向量相乘，并对其进行Softmax计算得到每个标记的注意力分数 ${a_{ij}}$ ，在此基础上对所有值向量进行加权求和得到注意力输出向量 ${{\boldsymbol{o}}_i}$ ：

${a_{ij}} = \dfrac{{\exp \left( {\dfrac{{{\boldsymbol{q}}_i^{\text{T}}{{\boldsymbol{k}}_j}}}{{\sqrt d }}} \right)}}{{\displaystyle\sum\limits_{j = 1}^i {\exp } \left( {\dfrac{{{\boldsymbol{q}}_i^{\text{T}}{{\boldsymbol{k}}_j}}}{{\sqrt d }}} \right)}},\; {{\boldsymbol{o}}_i} = \sum\limits_{j = 1}^i {{a_{ij}}} {{\boldsymbol{v}}_j},$

(2)

其中Softmax 运算中的分母 $d$ 表示键向量和查询向量的维度，用于进行归一化，以保证数值稳定.

4）前馈网络处理. 注意力层的输出 ${{\boldsymbol{o}}_i}$ 会经过1个前馈网络得到 $FFN({{\boldsymbol{o}}_i})$ ：

$FFN({{\boldsymbol{o}}_i}) = {{\boldsymbol{W}}_2}{\text{ }}\sigma ({{\boldsymbol{W}}_1}{\text{ }}{{\boldsymbol{o}}_i}),$

(3)

该前馈网络通常由2个全连接层和1个激活函数组成. 其中 ${{\boldsymbol{W}}_1}$ 和 ${{\boldsymbol{W}}_2}$ 分别表示2个全连接层的权重矩阵， $\sigma (\cdot)$ 为激活函数.

5）全部Transformer层输出. 已知模型中包含很多Transformer层，每一层都会经过自注意计算和前馈网络处理，假设 ${h_i}$ 表示输入标记 ${x_i}$ 在经过全部Transformer层后的最终输出，则

${h_i} = transformer({x_i}).$

(4)

6）并行计算. 由于输入序列的所有标记 $[{x_1}, {x_2}, … ,{x_n}]$ 是已知的，因此式（4）的计算可以并行进行：

$\{ {h_1},{h_2}, … ,{h_n}\} = transformer([{x_1},{x_2}, … ,{x_n}]) .$

(5)

7）生成第1个输出标记. 最后1个标记 ${x_n}$ 的最终输出 ${h_n}$ 经过线性层和Softmax操作后会得到第1个生成标记的概率分布 $P\left( {{x_{n + 1}}{\text{| }}{x_1}, … ,{x_n}} \right)$ . 根据1.1节提到的选择策略得到第1个生成的标记.

1.3 解码阶段

在解码阶段，Transformer模型逐步生成每个新标记，并且每一个新标记的生成都是基于之前已经生成的标记. 假设当前已经生成的标记序列为 $[{x_1},{x_2}, … ,{x_t}]$ ，自回归生成下一个新标记 ${x_{t + 1}}$ 的具体步骤有6步.

1）已知生成的标记序列为 $[{x_1},{x_2}, … ,{x_t}]$ .

2）注意力机制只对当前生成的最后1个标记 ${x_t}$ 计算查询向量 ${{\boldsymbol{q}}_t}$ 、键向量 ${{\boldsymbol{k}}_t}$ 和值向量 ${{\boldsymbol{v}}_t}$ ：

${{\boldsymbol{q}}_t} = {{\boldsymbol{W}}_{\boldsymbol{q}}}{x_t},\; {{\boldsymbol{k}}_t} = {{\boldsymbol{W}}_{\boldsymbol{k}}}{x_t},\; {{\boldsymbol{v}}_t} = {{\boldsymbol{W}}_{\boldsymbol{v}}}{x_t}.$

(6)

注意这一步与预填充阶段有所不同，预填充阶段需要计算所有输入标记的查询、键和值向量.

3）将查询向量 ${{\boldsymbol{q}}_t}$ 与每个已生成标记的键向量 ${{\boldsymbol{k}}_j}(j = 1,2, … ,t)$ 相乘，并对其进行Softmax计算得到注意力分数 ${a_{tj}}$ ，在此基础上对所有值向量 ${{\boldsymbol{v}}_j}(j = 1,2, … ,t)$ 进行加权求和得到注意力输出 ${{\boldsymbol{o}}_t}$ ：

${a_{tj}} = \dfrac{{\exp \left( {\dfrac{{{\boldsymbol{q}}_t^{\text{T}}{{\boldsymbol{k}}_j}}}{{\sqrt d }}} \right)}}{{\displaystyle\sum\limits_{j = 1}^t {\exp } \left( {\dfrac{{{\boldsymbol{q}}_t^{\text{T}}{{\boldsymbol{k}}_j}}}{{\sqrt d }}} \right)}},\; {{\boldsymbol{o}}_t} = \sum\limits_{j = 1}^t {{a_{tj}}} {{\boldsymbol{v}}_j} .$

(7)

4）将当前已生成的注意力输出 ${{\boldsymbol{o}}_t}$ 通过前馈网络得到当前标记的最终输出 $FFN({{\boldsymbol{o}}_t})$ ：

$FFN({{\boldsymbol{o}}_t}) = {{\boldsymbol{W}}_2}{\text{ }}\sigma ({{\boldsymbol{W}}_1}{\text{ }}{{\boldsymbol{o}}_t}) .$

(8)

5）最后1个生成标记 ${x_t}$ 在经过全部Transformer层处理后最终输出 ${h_t}$ ：

${h_t} = {transformer} {\text{(}}{x_t}{\text{)}} .$

(9)

6） ${h_t}$ 经过线性层和Softmax操作后会得到第 $t + 1$ 个生成标记的概率分布 $P\left( {{x_{t + 1}}{\text{| }}{x_1}, … ,{x_t}} \right)$ . 最终根据1.1节提到的选择策略生成了第 $t + 1$ 个标记 ${x_{t + 1}}$ .

在解码阶段，每次生成的新标记 ${x_{t + 1}}$ 依赖于最后一个已生成标记 ${x_t}$ 和所有已生成标记的键值缓存. 因此，新标记的生成过程只能自回归地串行计算.

1.4 预填充阶段与解码阶段特征

预填充阶段生成首个输出标记及其键值缓存，可以并行处理输入序列中的所有标记，首个生成标记的延迟受到GPU每秒浮点运算次数（floating-point operations per second，FLOPS）的限制，属于计算密集型任务. 而解码阶段以自回归的方式单次单个地逐步生成输出标记，当前的输出标记依赖于上一个标记和旧的键值缓存. 这种顺序生成过程使得工作负载受显存带宽限制，属于带宽密集型任务^[14]. 由于Transformer的推理过程是自回归的，这意味着在推理过程中必须跟踪和存储先前的状态，进而增加了显存需求.

2. 基于显存优化的大语言模型推理系统

在大语言模型推理过程中，GPU 显存主要用于存储3类资源：模型权重、键值缓存和激活量. 以 70 B 参数的开源大语言模型 LLaMA 2 为例，其显存占用分析可以归纳为：

1）模型权重（即模型大小）主要与模型参数和精度有关. 对于使用 FP16精度的 LLaMA 2模型，每个参数占用2 B显存. 因此，LLaMA2-70 B模型权重将占用 $70 \times {10^9} \times 2{\text{ B}} = 140{\text{ GB}}$ 显存空间.

2）键值缓存是指在大语言模型推理过程中，为了加速后续标记的生成效率而缓存的键和值向量. 其显存占用与请求批处理大小、序列长度、隐藏层大小、模型精度等多种因素相关. 键值缓存显存占用 ${M_{{\boldsymbol{kv}}}}$ 的计算公式为

${M_{{\boldsymbol{kv}}}} = 2 \times B \times S \times H \times L \times P \text{，}$

(10)

其中 $B$ 表示批处理大小， $S$ 表示生成标记序列的长度， $H$ 表示隐藏层大小， $L$ 表示模型的层数， $P$ 表示模型精度. 第1个系数“2”反映了需要为每个生成标记存储的键和值向量.

假设批处理大小为8，生成的序列长度为4 096，已知LLaMA2-70 B的隐藏层大小为 8 192，模型层数为80，使用FP16精度. 根据式（10），LLaMA2-70 B的键值缓存将占用80 GB显存空间.

3）激活量是指每一层神经网络在前向传播过程中生成的中间结果. 与大语言模型训练不同，在推理过程中GPU 显存只需要缓存当前层的中间结果，并在前向传播到下一层时释放之前的激活量，从而显著减少了显存占用.

由此可见，目前的大语言模型推理系统往往需要数十甚至上百GB的GPU显存来进行推理，而单张英伟达 A100 GPU^[10]的最大显存容量仅为 80 GB，远低于这些需求. 显存容量不足已经成为大语言模型部署和运行的主要障碍.

本节归纳了多种大语言模型推理系统的显存优化技术：1）键值缓存管理，通过减少显存碎片来提高GPU显存利用率并避免显存浪费；2）键值缓存压缩技术，通过减少键值缓存的大小，降低GPU的显存占用；3）注意力算子优化技术，通过改进注意力机制的计算方式来减少显存占用. 这些方法缓解了大语言模型推理系统中的GPU显存不足问题，使系统能够支持更长的序列长度和更快的推理速度.

2.1 键值缓存管理

在大语言模型推理系统的显存分布中，模型权重是恒定的，激活量占比相对较小，键值缓存的大小则随着生成序列的长度而变化^[15]，导致其显存需求动态且难以预测. 因此，在大语言模型推理系统中高效管理键值缓存变得尤为重要.

ORCA^[16]在调度初始请求时会根据每个请求的最大标记数预留连续的显存空间，确保在整个处理过程中不会出现显存不足的情况. 然而，在实际推理过程中，大多数请求的长度远小于其最大长度，导致严重的显存碎片. 如图2所示，ORCA为请求A预先分配了可以存储2 048个标记的键值缓存，但实际上请求A只占用了512个标记的显存，包括请求A的输入提示标记序列、已生成的标记序列、当前正在生成的标记和未来的输出标记. 而剩余的1 536个标记所对应的显存空间就成为超额配置的显存内部碎片. 尽管预留的显存在请求完成采样后会被释放，但在请求处理期间，特别是当预留空间较大时，这些显存会占用本可用于处理其他请求的空间.

图 2 ORCA内部碎片示意图^[16]

Figure 2. Illustration of ORCA internal fragmentation^[16]

下载: 全尺寸图片幻灯片

受操作系统分页虚拟内存的启发，vLLM^[15]提出了页注意力机制PagedAttention，使用非连续的显存空间存储连续的键值缓存. 在GPU节点上分配一块连续的显存空间，并将其划分为若干个相同规格的物理键值块. 相应地，vLLM也将每个请求序列的键值缓存表示为一系列逻辑键值块，类似于虚拟内存中的页面，每个块包含固定数量标记所生成的键值张量.

图3展示了vLLM的总体架构，主要包括调度器、键值缓存管理器、GPU块分配器、CPU块分配器以及多个工作节点. 调度器负责协调分布式GPU工作节点的执行；键值缓存管理器负责逻辑键值块到物理键值块的地址转换，并维护块表；GPU块分配器和CPU块分配器分别管理GPU显存和CPU内存中的物理键值块. 每个工作节点根据调度器的指令执行模型推理任务，并在GPU显存中维护自己的模型分片和缓存引擎，在需要时与CPU内存中进行交换.

图 3 vLLM总体架构^[15]

Figure 3. Overview architecture of vLLM^[15]

下载: 全尺寸图片幻灯片

在预填充阶段，vLLM仅预留必要的键值块来存储键值缓存，而无需为可能生成的最大序列长度预留显存. 如图4所示，生成第1个输出标记的键值缓存后，vLLM将其存储在预分配的逻辑键值块中，并更新块表，记录逻辑键值块与物理键值块之间的映射关系及其填充位置的数量. 然后，虚拟内存通过页表映射到物理内存，完成从逻辑地址到物理地址的转换.

图 4 vLLM 逻辑键值块到操作系统物理内存块的地址转换^[15]

Figure 4. Address translation from logical KV blocks in vLLM to physical memory blocks in OS^[15]

下载: 全尺寸图片幻灯片

在解码过程中，随着新的标记及其对应的键值缓存不断生成，vLLM会为每个逻辑键值块灵活分配新的物理键值块. 同时，vLLM会跟踪每个逻辑键值块的填充位置及其所关联的物理键值块. 所有物理键值块从左往右依次填充，且只有所有以前的物理块填满的情况下才会分配下一个新块. 这种方法将每次请求产生的显存浪费限制在单个物理块内，从而有效地减少了内部碎片的产生.

Infinite-LLM^[17]在vLLM的基础上提出了一种可扩展的分布式注意力机制DistAttention，它将键值缓存划分为若干个rBlock子块，使用rManager和gManager协调管理显存块. 如图5所示，Infinite-LLM为每个大语言模型实例配备1个rManager，它将本地设备上的显存空间虚拟化为固定大小的物理rBlock.在接收到来自本地或远程实例的显存分配请求时，rManager会查询rBlock表以确定第1个可用的物理rBlock. 如果没有足够空间，rManager会启动从其他实例借用空间的程序，从而实现显存的动态分配和高效利用.gManager作为集中管理器，维护所有实例的全局显存信息，并构建全局债务台账. 当实例显存不足时，gManager根据全局债务台账推荐潜在的显存借出实例，并协调显存的借用和交换. 通过优化显存分配、管理和通信，Infinite-LLM显著提升了推理系统的吞吐量.

图 5 rManager设计架构^[17]

Figure 5. Architecture of the rManager design^[17]

下载: 全尺寸图片幻灯片

Prabhu等人^[18]提出了一种动态键值缓存管理方法vAttention.与PagedAttention不同，vAttention主要利用系统对动态显存分配的支持，将虚拟显存和物理显存的分配分离. 得益于CUDA的低级API， vAttention预先为键值缓存分配一个大的连续虚拟显存缓冲区，但不会立即分配物理显存. 仅在运行时按需分配固定大小的物理显存页（例如2 MB或64 KB）. 这样既保留了虚拟显存的连续性，又避免了物理显存浪费. 此外，vAttention通过使用较小的显存页和后台线程进行预先分配等优化策略，减少了显存碎片和分配延迟.

LightLLM^[19]实现了标记级的键值缓存管理机制TokenAttention，其主要目标是优化显存利用率并提高推理过程中的吞吐量. 如图6所示，它通过预分配键值缓存并创建标记表来记录输入标记的存储位置，系统在处理请求时优先分配连续显存空间，只有在连续空间不足时才分配非连续显存. 当需要缓存新生成的标记时，只需在预先分配好的键值缓存中找到未使用的空间，然后在标记表中添加相应的条目. 借助OpenAI Triton实现的高效操作符，TokenAttention能够在推理过程中快速检索并计算注意力，并在请求完成后通过删除记录迅速释放显存，从而最大化GPU利用率并提高系统吞吐量.

图 6 LightLLM的标记级键值缓存管理^[19]

Figure 6. Token level KV cache management of LightLLM^[19]

下载: 全尺寸图片幻灯片

表1总结了上述研究工作的键值缓存管理策略，比较了不同方案在显存分配粒度、显存连续性和内部碎片数量等方面的差异.ORCA为每个请求序列预留了足够的连续显存空间，但这会在单个请求内部导致严重的显存碎片，进一步影响其他请求的执行效率.vLLM和Infinite-LLM都使用分页显存机制来管理键值缓存，通过非连续显存分配有效缓解了内部碎片问题. 但这种显存管理机制将原本连续的请求序列离散化，需要重写注意力内核以适应键值缓存的非连续存储. 另外，vLLM主要依赖单个节点内的GPU显存，而Infinite-LLM采用分布式方式存储键值缓存，可以优化数据中心内所有可访问的GPU显存.vAttention虽然以实际的输入请求序列为单位进行虚拟显存分配，但它基于每个请求的实际需求分配若干固定大小的物理显存页，有效减少了内部碎片.LightLLM在细粒度的标记级别管理键值缓存池. 虽然无法完全消除内部碎片，但相较于PagedAttention机制已经显著提高了显存利用率.

表 1 采用不同的键值缓存管理方案的大语言模型推理系统对比

Table 1. Comparison of Large Language Model Inference Systems Using Different Key Value Cache Management Schemes

系统	物理显存分配粒度	显存连续性	内部碎片
vLLM^[15]	逻辑键值块	否	较少
ORCA^[16]	最大请求序列	是	较多
Infinite-LLM^[17]	逻辑键值块	否	较少
vAttention^[18]	物理页	是	较少
LightLLM^[19]	标记	是	极少

下载: 导出CSV

| 显示表格

2.2 键值缓存压缩

键值缓存压缩是指在大语言模型推理过程中，通过丢弃不重要的键值缓存张量，来优化显存占用并提高计算效率的方法. 注意力机制中的键值缓存包含了模型在不同层次上生成的键和值张量，用于在推理时计算注意力分数. 然而，随着序列长度的增加，键值缓存的大小会迅速增大，导致显存占用和计算开销显著增加.

Zhang等人^[20]提出了一种键值缓存驱逐策略H2O. 通过分析注意力矩阵的稀疏性和少数关键标记的重要性，研究人员发现仅使用5%的键值缓存就能解码出相同的输出标记. 累积注意力分数遵循幂律分布，也就是说，大部分重要的注意力分数集中在少数关键标记上，而这些关键标记对生成后续的标记非常重要. 基于此，H2O在每个解码步骤动态维护包含最近和关键标记的键值缓存. 使用贪婪算法计算每个标记的注意力分数并累积，识别出对解码过程最重要的标记. 在每个解码步骤中，算法会保留这些关键标记并驱逐注意力分数最低的标记，以确保键值缓存的大小不超过预算，从而在保证解码准确性的同时大幅减少显存占用.

Quest^[21]是一种查询感知的键值缓存选择算法，专为优化长上下文推理而设计. 在解码阶段，模型需要频繁加载大量键值缓存，其中只有少数标记对应的键值缓存对注意力分数有显著影响，并且这些标记的关键性会根据当前的查询张量 ${\boldsymbol{Q}}$ 动态变化. Quest算法将键值缓存分为若干个块，通过跟踪每个缓存块中键张量的最大值和最小值，并结合查询张量计算每个缓存块的关键性分数. 随后，Quest选择关键性最高的前 $k$ 个缓存块进行注意力操作. 这种方法确保Quest只加载和处理最重要的键值缓存部分，减少了显存移动和计算开销.

PyramidInfer^[22]认为大语言模型推理过程中只有当前正在生成的最后一个标记需要利用上下文信息来推理下一个标记，而之前生成的其他标记已经完成了它们的推理任务，不再需要用于进一步的推理. 这启发PyramidInfer逐层选择关键的键值张量来压缩键值缓存大小.

在预填充阶段，PyramidInfer将输入序列分成最近的部分和较远的部分. PyramidInfer通过计算最近部分的注意力分数，找出哪些键值张量最重要并予以保留. 在浅层，保留更多的上下文信息；在深层，逐渐减少保留的信息量，这样就形成了一个逐层减少的“金字塔”形的键值缓存.

在解码阶段，PyramidInfer维护一个滑动窗口来处理最新生成的标记. PyramidInfer利用这些最新标记的信息更新键值缓存中的关键上下文（pivotal context，PvC）. 通过控制每层中保留的PvC的数量，PyramidInfer能够灵活地调整压缩比. 这种方法不仅支持无限长度的输入，还能保持一定数量的PvC，大大节省了GPU的显存占用.

Keyformer^[23]引入了一种动态混合注意力机制，结合了最近生成的标记和先前识别的关键标记来生成下一个标记，关键标记选择依赖于复杂的得分函数. 这种混合注意力机制具有2个显著优势. 首先，最近的标记通常包含最新的上下文信息，能够提供即时的语境理解. 其次，关键标记在长距离依赖中起到至关重要的作用，有助于模型在处理较长序列时保持对全局语境的理解. 然而，复杂的得分函数不可避免地带来了额外的计算开销. 例如，Keyformer使用Gumbel Softmax来调整标记的概率分布，这需要在每次迭代中进行累积计算. 此外，在生成过程中，需要对每个标记重新评估其得分，增加了推理阶段的计算复杂度.

上述方案都旨在降低键值缓存的显存占用.H2O利用累积注意力得分作为标记重要性的标准，通过删除得分较低的标记来有效减少键值缓存的大小. Quest结合查询张量计算缓存块的关键性，只选择前 $k$ 个缓存块参与注意力计算. H2O和Quest主要在解码阶段进行压缩，忽略了预填充阶段的初始键值缓存. 与之不同，PyramidInfer在预填充和解码阶段都进行压缩，不仅考虑了层间依赖性，还根据层次逐渐减少键值缓存的长度，以避免浅层过度压缩导致的信息损失. Keyformer的关键标记选择依赖于复杂的得分函数，尽管有效，但会引入额外的计算开销和复杂性.

2.3 注意力机制算子优化

注意力算子优化主要是通过改进注意力机制的计算方式来减少显存占用. 注意力计算的显存复杂度与请求序列长度呈二次方关系^[14]. 因此，加速注意力计算对于解决大语言模型在处理长序列时的存储挑战至关重要. 许多研究工作都着重于优化注意力计算机制，以减少其计算和显存需求.

如所示，注意力模块包含3个核心操作：1）计算查询张量和键张量的相似度 ${\boldsymbol{Q}} \times {\boldsymbol{K}}$ ；2）对相似度进行Softmax操作，计算注意力权重；3）使用注意力权重对值张量 ${\boldsymbol{V}}$ 进行加权求和，生成最终的输出张量. 其中执行Softmax操作前需要计算并存储全部张量，导致高显存占用和低并行性.

图 7 注意力计算示意图

Figure 7. Illustration of attention calculation

下载: 全尺寸图片幻灯片

FlashAttention^[24]是一种I/O感知的精确注意力算法，通过改进注意力算法的显存管理和计算流程，实现高效的显存访问.FlashAttention关注GPU显存层次之间的读写操作，特别是减少从相对较慢的GPU显存到快速但小容量的片上SRAM的读写次数. 如所示，FlashAttention通过平铺技术将输入张量 ${\boldsymbol{Q}},{\boldsymbol{K}},{\boldsymbol{V}}$ 分割为块，加载到片上SRAM中，并在块之间逐步计算Softmax，在每个块输出之前对其归一化并累加起来，最后得到正确的结果.FlashAttention 通过分块技术避免了在GPU显存中存储大规模的完整注意力矩阵，实现了从二次方到线性显存利用率的优化.

图 8 FlashAttention注意力计算示意图^[24]

Figure 8. Illustration of FlashAttention calculation^[24]

下载: 全尺寸图片幻灯片

此外，FlashAttention-2^[25]，FlashDecoding^[26]， FlashDecoding++^[27] 等研究工作也继续沿用了 FlashAttention 的分块技术，减少了推理过程中对大规模注意力矩阵的存储需求. 值得一提的是，FlashDecoding++进一步减少了分块Softmax计算过程中额外的显存访问开销. 在传统的Softmax计算中，每个部分的向量都需要找到自己的最大值来确保数值的稳定性，这会导致每个部分之间的同步开销. FlashDecoding++引入了统一最大值取代每个部分向量的局部最大值，从而避免不同部分Softmax计算之间的同步操作，显著减少了显存访问次数.

3. 基于异构存储的大语言模型推理系统

模型规模及键值缓存的增加导致大语言模型推理系统需要使用大规模GPU集群来满足其存储需求. 然而，并非所有研究人员都有条件获得充足的GPU资源. 为了在GPU资源受限的环境下执行高效的推理，一些研究工作采取异构存储技术减少对大量GPU资源的依赖^[28-31].

异构存储技术是指利用多种存储介质（如HBM，DRAM，SSD等）的优势，将大语言模型推理过程中需要的模型权重、激活量、键值缓存等张量从GPU显存卸载到异构存储资源. 每种存储介质具有不同的速度、容量和成本特性，通过将模型张量在这些存储介质之间进行合理的分配和移动，可以优化大语言模型推理系统的性能.

在现有的涉及大语言模型推理的异构存储技术中，研究人员主要需要权衡2个问题.

1）如何选择合理的张量卸载策略. 在卸载过程中，决定何时将何种类型的数据以何种粒度卸载到何处，是影响大语言模型推理性能的关键因素. 合理的卸载策略可以有效平衡GPU和CPU之间的资源利用，在减少GPU显存占用的同时优化计算效率.

2）如何降低卸载过程中带来的数据传输开销. NVLink与PCIe之间的数据传输率差距巨大：NVLink 3.0^[32]的带宽为每条链路100 GBps，总带宽可达600 GBps，而16通道的PCIe 5.0^[33]的总带宽仅为128 GBps，差距接近5倍. 由于PCIe带宽远低于NVLink，当CPU和GPU之间传输大规模数据时，数据传输延迟将成为大语言模型推理的性能瓶颈.

在张量卸载策略方面，不同的研究工作关注不同类型数据的卸载，包括模型权重、激活量和键值缓存等. 此外，为了实现高效的张量卸载，还需考虑不同类型数据的卸载粒度. 卸载粒度反映了张量卸载的精细程度，主要分为模型粒度、层粒度、张量粒度和标记粒度.

在降低数据传输开销方面，现有的研究工作主要从2个角度来考虑：1）减少CPU与GPU之间的I/O传输量. 这可以通过智能数据分配或预取技术实现，即通过预测并识别大语言模型推理计算中必要的数据，将其智能地分配或预取到GPU显存，从而减少不必要的数据传输. 2）隐藏I/O传输延迟. 这可以采用异步数据传输技术，通过计算和传输重叠的方式最大限度地利用硬件资源.

表2总结了现有的基于异构存储架构的大语言模型推理系统在存储介质、卸载数据类型、卸载粒度、优化策略和优化目标等方面的区别. 本节将依次介绍3部分内容：张量卸载策略、异构并行计算与异步数据传输、智能显存分配与预取.

表 2 基于异构存储架构的大语言模型推理系统对比

Table 2. Comparison of Large Language Model Inference Systems Based on Heterogeneous Storage Architecture

大语言模型推理系统	存储介质	卸载数据类型	卸载粒度	优化策略	优化目标
ZeRO-Inference^[34]	显存+DRAM+SSD	模型权重	层粒度	A\|S	M\|L
FlexGen^[35]	显存+DRAM+SSD	模型权重\|激活量\|键值缓存	张量\|元素粒度	H\|A\|O	M\|T\|L
HeteGen^[36]	显存+DRAM	模型权重\|激活量\|键值缓存	张量粒度	H\|A\|O\|S	M\|T\|L
Lamina^[37]	显存+DRAM	键值缓存	标记粒度	H\|A\|O\|S	M\|T\|L
FastServe^[38]	显存+DRAM	键值缓存	标记粒度	A\|O\|S	M\|T\|L
InfiniGen^[39]	显存+DRAM	键值缓存	标记粒度	A\|O\|S	M\|T\|L
PowerInfer^[40]	显存+DRAM	模型权重	张量粒度	H\|A\|O\|S	M\|T\|L
LLM in a flash^[41]	显存+DRAM+SSD	模型权重\|激活量	张量\|标记粒度	H\|A\|O\|S	M\|T\|L
注：1）不同卸载粒度的具体解释. 层粒度：以神经网络的层级为单位卸载数据；张量粒度：以张量为单位卸载数据；元素粒度：以张量中的元素为单位卸载数据（例如，将某张量中50%的元素分配到CPU内存）；标记粒度：以标记为基本单位卸载其对应的键值缓存. 2）不同优化策略的具体解释. H：异构并行计算；A：异步数据传输；O：张量卸载策略；S：智能显存分配与预取. 3）不同优化目标的具体解释. M：减少显存占用；T：减少I/O传输量；L：隐藏I/O传输延迟；符号“\|”表示两者兼有.

下载: 导出CSV

| 显示表格

3.1 张量卸载策略

张量卸载是指在推理过程中，将部分张量从GPU显存移出，存储到CPU内存或SSD中，然后在需要时再加载回来的过程. 由于CPU内存和SSD的容量显著超过GPU显存，这种卸载策略允许将GPU未使用的数据存储在更大容量的存储设备上.

不同的大语言模型推理系统会根据其需求、计算与I/O开销、硬件资源和系统优化目标等因素，选择适合的张量类型进行卸载. 这些考量有助于在特定的硬件和应用环境中实现最佳性能和资源利用. 此外，不同的张量卸载策略通过按需分割和分层存储，能够使系统更精细地控制数据在不同存储设备上的位置和时间. 此方法不仅能够灵活管理和分配显存资源，还可以在有限GPU显存下支持更大规模的模型和更大批量的请求，从而显著提高大语言模型推理的吞吐量.

DeepSpeed^[42]是微软开发的一个深度学习优化框架. 为了在硬件预算内提供高效的大语言模型推理服务，DeepSpeed引入了ZeRO-Inference^[34]，将模型权重全部存储在DRAM或SSD中，并在推理过程中将每一层的权重流式传输到GPU显存进行推理计算. 在完成一层计算后，输出会保留在GPU显存中作为下一层的输入，同时释放被该层权重占用的显存以供下一层使用. 尽管通过PCIe传输模型权重会带来一定的延迟，但ZeRO-Inference仅将1层或几层模型权重放置在GPU显存中，使得大部分GPU显存可以存储推理过程中生成的键值缓存. ZeRO-Inference继承了大语言模型训练系统的卸载策略，但随着大语言模型推理长上下文需求的增加，系统需要频繁访问和更新大量的激活量和键值缓存，粗粒度的模型权重卸载策略无法高效处理和分配这些额外的显存需求.

FlexGen^[35]通过将内存和计算资源从GPU，CPU，SSD中聚合，在单个消费级GPU上实现了高效的生成式推理. 为了决定何时将哪些张量卸载到何处，FlexGen将这一问题形式化为一个图遍历问题，在此基础上提出了 ${\text{Z}}$ 字形块调度方法来遍历图.

展示了采用 ${\text{Z}}$ 字形调度的计算图. 假设模型有4层，每个输入标记生成3个新标记. 每个小方格表示计算层的一个GPU计算批次，相同颜色和底纹的小方格共享相同的层权重. FlexGen通过将计算图分割成块来进行Z字形调度，每个块中包含多个批次. 纵列箭头显示了计算的Z字形遍历路径，按列依次向下计算，到达列底部后跳到下一列的顶部继续计算. 计算当前批次的同时，可以预先加载下一批次的权重、激活量和键值缓存，并存储前一批次的结果. 通过共享模型权重，Z字形调度减少了频繁的权重加载和卸载，降低了I/O开销. 通过分块处理和批次重叠计算，最大限度地利用了GPU，CPU，SSD的存储和计算资源. 在卸载粒度方面，FlexGen对模型权重采用张量粒度进行划分，对激活量和键值缓存则采用更细的元素粒度进行划分，构建了一个包含多个参数的搜索空间. 在此基础上， FlexGen开发了一个分析成本模型，并使用线性规划优化器进行求解，以确定最佳的卸载策略. FlexGen通过统一模型权重、激活量和键值缓存的位置，并仔细权衡不同类型数据的划分粒度，显著提高了批处理大小的上限和系统吞吐量.

图 9 FlexGen的Z字形调度^[35]

Figure 9. Zig-zag block scheduling in FlexGen^[35]

下载: 全尺寸图片幻灯片

3.2 异构并行计算与异步数据传输

尽管基于异构存储的大语言模型推理系统能够提供更大的整体存储容量，但CPU内存或SSD的吞吐量却远低于GPU显存. 为了降低不同存储介质间大规模数据传输的开销，许多现有的异构存储大语言模型推理系统采用异构并行计算技术，充分利用CPU和GPU资源. 同时，这些系统通过异步数据传输机制，将计算与传输过程重叠，从而有效隐藏I/O延迟.

由于解码阶段注意力机制的瓶颈在于I/O，当关联的键值缓存被卸载到CPU上时，FlexGen会直接在CPU上计算注意力分数. 图10展示了FlexGen在注意力计算模块中的异构并行架构. 首先，激活量从GPU传输到CPU，接着CPU开始计算注意力分数. 与此同时，GPU异步将模型权重传输到CPU，提前为下一步计算准备好权重. 一旦CPU完成计算，结果会被发送回GPU. GPU接收到结果后，继续进行下一层的计算或生成最终的模型输出. 由于键值缓存占用的显存远高于激活量，这种方法大大减少了CPU与GPU之间的数据传输量.

图 10 FlexGen注意力模块异构并行计算架构示意图^[35]

Figure 10. Illustration of heterogeneous parallel computing architecture in FlexGen attention module ^[35]

下载: 全尺寸图片幻灯片

HeteGen^[36]认为，尽管FlexGen在一定程度上利用了CPU和I/O资源，但其利用率仍然有限，且无法有效减少稀疏输入的延迟. 通过仔细分析大语言模型推理中的预填充阶段和解码阶段的显存需求，HeteGen发现线性模块（包括注意力机制中的线性变换和前馈网络中的线性变换）占据了大部分GPU显存，是GPU显存优化的关键. 因此，HeteGen重点对线性模块进行异构并行计算和异步数据传输，以降低CPU和GPU之间的I/O传输需求.

HeteGen引入了一种专门用于通信的并行形式，将注意力模块异构并行计算的数据传输操作分为2个部分：固定内存和内存传输，这2个部分通过多线程同时进行. 固定内存是指在操作系统层面上对内存进行锁定，使其不会被交换到磁盘或被其他进程占用. 在需要进行频繁数据传输时，这会大大提高内存访问速度. 如图11所示，这种内存操作级别的并行需要预先固定当前的模型权重，然后准备将固定的权重进行传输. 在当前权重传输的同时，主动固定下一层中的模型权重.

图 11 HeteGen注意力模块异构并行计算架构示意图^[36]

Figure 11. Illustration of heterogeneous parallel computing architecture in HeteGen attention module ^[36]

下载: 全尺寸图片幻灯片

在异构并行计算的基础上，HeteGen应用了异步数据传输技术. 通过多线程同时进行固定内存和内存传输操作，系统能够高效利用I/O资源. 在使用相同GPU显存资源的情况下，HeteGen表现出比FlexGen更高的吞吐量，并且可以在卸载过程中更灵活地调整GPU显存和CPU内存的比例.

Lamina^[37] 专注于通过注意力卸载机制实现显存优化. 其核心思想是将显存密集型任务与计算密集型任务分离，以减少显存占用并提高大语言模型推理的效率. 显存优化设备用于存储键值缓存并执行注意力计算，而计算优化设备用于存储模型权重并计算模型的其他部分. 此外，Lamina 还采用了微批次处理，在处理较大批次的请求时，将其划分为更小的微批次进行处理. 这种方法使得每个微批次可以有效地管理键值缓存的占用，从而避免大量显存被单个任务占满. 而且，在计算当前微批次时，下一微批次的数据传输可以并行进行，进一步提高了系统响应速度.

FastServe^[38]的核心设计包含了跳过-加入多级反馈队列（skip-join multi-level feedback queue，Skip-Join MLFQ）调度器和主动键值缓存交换机制. Skip-Join MLFQ调度器使用迭代级抢占调度来减少长作业导致的排队延迟，但为了提高性能，它需要更多的GPU显存资源. 为此，FastServe引入了主动键值缓存交换机制有效管理显存的使用，确保高优先级任务能够及时获取所需资源. 如图12所示，FastServe通过分布式存储将键值缓存分配到多个GPU上进行管理. 键值缓存管理器负责协调GPU之间的交换操作，决定何时卸载或上传键值缓存. 当非活跃作业不再需要GPU显存时，键值缓存管理器会将其键值缓存预先卸载到CPU内存，腾出显存空间供高优先级任务使用. 当GPU资源恢复可用时，系统会预加载即将调度作业的键值缓存至GPU，这一过程与大语言模型推理的解码阶段并行执行，从而隐藏了I/O传输延迟. 此外，大语言模型推理过程中的不同阶段会将键值张量存储在相应的GPU上，使每个GPU只需处理本地的键值张量，减少跨设备的数据传输.

图 12 键值缓存卸载与中间结果传递重叠^[38]

Figure 12. Overlapping key value cache offloading with intermediate result transmission^[38]

下载: 全尺寸图片幻灯片

3.3 智能显存分配与预取

现有的许多研究在离线阶段分析数据的重要性，根据GPU的计算需求将关键数据分配或预取到GPU显存. 这意味着在大语言模型推理过程中，无需将所有数据传输到GPU，只需传输必要的数据. 通过智能显存分配和预取，大语言模型推理系统能够有效降低推理过程中的不必要数据传输，减少PCIe带宽的浪费.

InfiniGen^[39]是第1个通过仅预取大语言模型推理系统中必要的键值缓存条目来实现高效推理的研究工作. 它将键值缓存卸载到CPU内存，并在CPU内存中维护一个键值缓存池，仅将必要的部分预取到GPU.InfiniGen利用前一层Transformer层的注意力输入来推测和预取当前层重要标记的键和值张量.

如图13所示，在离线阶段，InfiniGen通过运行一次前向传播来收集每层的查询张量，然后对这些查询张量进行奇异值分解（SVD）以获得偏斜矩阵. 接着，将偏斜矩阵与对应层的查询权重矩阵和键权重矩阵相乘，确保权重矩阵的维度不变. 改进后的权重矩阵使得查询、键、值张量在不同输入下表现出高度偏斜性. 在预填充阶段，InfiniGen从查询权重矩阵和键权重矩阵中选择几个重要的列，作为在解码阶段使用的查询张量和键张量的部分权重矩阵. 在解码阶段，使用前一层的部分查询权重矩阵和部分键权重矩阵进行注意力计算，并选择具有高注意力得分的标记. 对注意力计算的结果进行进一步的非线性变换，以生成下一层的输入.InfiniGen通过智能的键值缓存管理方案，有效减少了从CPU到GPU的数据传输量. 在保持大语言模型推理准确性的同时，大大提高了推理系统的性能.

图 13 InfiniGen的总体架构^[39]

Figure 13. Overview architecture of InfiniGen^[39]

下载: 全尺寸图片幻灯片

PowerInfer^[40]是一种在仅配备单个消费级GPU的计算机上运行的大语言模型推理系统. PowerInfer利用大语言模型推理中的高局部性，将频繁激活的神经元分配到GPU，而将较少激活的神经元驻留在CPU. 如图14所示，PowerInfer架构分为离线和在线2个阶段：离线组件通过剖析大语言模型的激活量，计算每个神经元的影响度量，并利用整数线性规划求解器将神经元分类为热神经元或冷神经元，生成最优的神经元放置策略；在线组件则创建并行的GPU和CPU工作线程，分别执行各自的计算任务，在计算完成后将结果合并到GPU中，优化计算工作负载和传输效率. 此外，在线组件采用神经元感知的稀疏操作符，直接在GPU和CPU上计算活跃神经元及其权重，避免传统稀疏矩阵乘法工具的性能开销.

图 14 PowerInfer的总体架构^[40]

Figure 14. Overview architecture of the PowerInfer^[40]

下载: 全尺寸图片幻灯片

Alizadeh等人^[41]提出了一种利用异构存储技术在显存受限设备上进行高效大语言模型推理的方法. 具体而言，将模型参数存储在容量较大的闪存中，并根据需要动态加载到CPU内存. 为优化从闪存到CPU内存的数据传输，采用选择性持久策略，将嵌入矩阵和注意力机制的矩阵永久保留在CPU内存中，仅动态加载前馈网络的非稀疏部分，并使用低秩预测器识别被ReLU激活函数归零的元素，避免加载无效数据. 此外，通过滑动窗口技术保留和重用最近激活的神经元，进一步节省了内存空间. 最后，将前馈网络层的行和列数据捆绑在一起，以更大的块粒度读取数据，从而显著提高了闪存读取的吞吐量. 该方法特别适用于模型无法完全加载到内存中的情况，在硬件感知和选择性加载方面具有显著优势.

InfiniGen关注大语言模型推理中长序列生成的键值缓存管理，通过推测方法只加载关键的键值缓存条目，并利用CPU内存的大容量来管理键值缓存池. PowerInfer则利用神经元激活的局部性和幂律分布，仅将频繁激活的神经元分配到GPU，以减少GPU显存需求. Alizadeh等人^[41]则利用闪存硬件特性，通过窗口技术和行-列捆绑来增加读取数据块的大小，减少了I/O操作的次数. 这些研究都有效降低了异构存储设备之间的数据传输量，提高了大语言模型的推理效率.

4. 基于分布式存储的大语言模型推理系统

分布式大语言模型推理系统不仅需要具备高效处理海量请求的能力，还需深入探索如何充分利用分布式计算和存储资源、完善容错机制，以及降低推理任务延迟等关键问题. 为此，许多研究工作正致力于解决这些问题，以进一步提升系统的性能和可靠性. 本节首先介绍了现有的批处理技术如何优化分布式资源的利用和分布式大语言模型的并行处理能力；接着介绍了分布式存储环境下大语言模型的数据冗余与故障恢复技术；最后分析了无服务推理中的检查点加载技术，以应对无服务推理过程中的模型冷启动问题.

4.1 分布式大语言模型推理的批处理技术

大语言模型推理的批处理技术通过收集一批用户请求，将这些请求的预填充和解码步骤进行批量处理，从而减少GPU空闲时间和I/O传输开销. 通常，在大语言模型推理服务场景中，用户请求具有异步性和多样性，处理这些请求的时间和资源需求存在显著差异. 因此，许多研究工作^[15-16]提出了连续批处理策略，即在一些旧请求完成后，立即批处理新的请求. 这种方法可以有效减少GPU的空闲时间，提高整体系统的吞吐量，但会增加较短请求的延迟.

为了进一步增强连续批处理，一些研究工作^[43-45]采用分块预填充与附带策略，将较长的预填充请求在序列维度上分割成块，并将预填充块与几个解码请求一起批处理（即附带）. 具体地，每个预填充块在独立的前向传播中处理，而解码操作在最后1个块处理完成后就立即进行. 长输入提示序列不再需要长时间的单次前向传递来处理，而是分解成多个较短的传递，这样可以在较短时间内完成初始处理，提高整体响应速度.

在分布式大语言模型推理系统中，将预填充和解码阶段放在同一个机器上执行不可避免地会导致资源共享问题. 为了更有效地利用分布式计算和存储资源，最近的研究提出了预填充与解码阶段分离的策略. 大语言模型推理的每个阶段都有其独特的计算特性和延迟要求. 具体来说，预填充阶段是计算密集型的，而解码阶段则是内存密集型的. 通过将预填充和解码阶段分别放置在不同实例上并针对各自的特性进行资源优化，可以显著提升分布式大语言模型推理系统的整体性能和效率.

表3总结了不同的分布式大语言模型推理系统在批处理策略、并行策略、键值缓存传输方式和调度级别等方面的差异. 这些差异反映了各分布式系统在应对大语言模型的推理挑战时所采取的不同技术路径和权衡.

表 3 不同分布式大语言模型推理系统的对比

Table 3. Comparison of Different Distributed Large Language Model Inference Systems

系统	批处理策略	并行策略	键值缓存传输	调度级别
Sarathi^[43]	分块预填充与附带	流水线\|张量并行	同步传输	迭代级调度
DeepSpeed-FastGen^[44]	分块预填充与附带	流水线并行	异步传输	迭代级\|标记级调度
Mooncake^[46]	预填充与解码分离	流水线\|张量并行	异步传输	请求级\|迭代级调度
DistServe^[47]	预填充与解码分离	流水线\|张量并行	异步传输	请求级\|迭代级调度
TetriInfer^[48]	预填充与解码分离	流水线并行	异步传输	请求级\|迭代级调度
Splitwise^[49]	预填充与解码分离	流水线\|张量并行	异步传输	请求级\|迭代级调度
DéjàVu^[50]	预填充与解码分离	流水线\|张量并行	异步传输	请求级\|迭代级调度

下载: 导出CSV

| 显示表格

Mooncake^[46]是Moonshot AI提供Kimi服务的平台. 如图15所示，为了充分利用GPU集群中可用的各种资源，它将GPU集群解耦并重构为多个分离的资源池，分别执行预填充和解码任务. Mooncake 使用全局调度器选择合适的预填充和解码实例. 在预填充阶段，它采用分块或分层的方式处理请求，确保每个部分高效运行. 预填充阶段生成的键值缓存会持续流式传输到解码实例，以便解码过程可以顺利进行. 另外，Mooncake采用前缀匹配和缓存迁移技术重用键值缓存. 在处理新请求时，全局调度器会检查是否有可重用的键值缓存块，如果请求的前缀与现有缓存匹配，就重用这些缓存数据，避免重复计算. 为了应对过载场景，Mooncake采用了基于预测的提前拒绝策略，通过预测预填充和解码阶段的负载，提前拒绝那些无法在服务水平目标（service-level objectives，SLOs）内完成的请求，从而减少计算资源浪费. 这一策略通过负载预测和双重检查，有效平衡了预填充和解码实例之间的负载，确保大语言模型推理系统在高负载情况下仍能高效运行.

图 15 Mooncake的推理实例工作流^[46]

Figure 15. Workflow of Mooncake’s inference instances^[46]

下载: 全尺寸图片幻灯片

DistServe^[47]通过将预填充阶段和解码阶段分别分配到不同的GPU上，消除了资源竞争和干扰. DistServe 根据大语言模型的预填充阶段的首个标记时间（time to first token，TTFT）和每个输出标记时间（time per output token，TPOT）的要求，优化每个阶段的资源分配和并行策略. 通过高效放置算法将实例按层划分成多个阶段，每个阶段在同一节点内运行，并在每个节点内寻找最优的操作内和操作间并行配置. 然后利用模拟器评估配置的SLOs达成率，形成全局最优放置方案. 操作内并行通过将计算任务分割并分配到多个GPU上，而操作间并行则将模型的不同部分分配到不同的GPU执行. 在DistServe中，模型实例被划分为多个阶段，并在多个节点之间进行分布式放置. 每个节点负责特定阶段的执行，并通过高效的通信机制（如NVLink）在节点之间传递中间结果，从而显著提高了分布式大语言模型推理系统的计算能力和吞吐量.

TetriInfer^[48]将预填充和解码阶段分配到独立的实例中运行，预填充实例处理输入提示并生成键值缓存，解码实例使用这些缓存逐步生成输出标记. 为了实现不同解码实例之间的负载均衡，TetriInfer利用小型模型预测解码阶段可能生成的标记长度，以估计解码阶段的计算和存储资源需求. 调度器基于这些预测信息动态调整解码实例的负载，进而提高了解码阶段的效率. 此外，不同的预填充和解码实例不仅可以独立扩展，而且可以根据实例的负载变化进行角色互换，确保系统在资源使用方面更加灵活和高效.

Splitwise^[49]是一种将大语言模型推理请求的2个阶段分拆到不同机器上的模型部署技术. Splitwise维护了3个机器池：提示处理池、标记生成池和混合池，并使用分层的2级调度灵活调整GPU集群资源. 集群级调度器主要负责机器池管理和推理请求路由. 其中，机器池管理根据预期负载将机器分配到不同的池中，并在高负载情况下动态调整池的大小和组成；推理请求路由使用“最短队列优先”策略为每个请求分配提示处理机和标记生成机，当集群负载不平衡时（比如某一池的任务过多，另一个池的任务较少），可以将部分机器临时移入混合池，同时执行提示处理和标记这2种任务. 机器级调度负责管理每台机器上的具体任务，使用先来先服务策略进行请求调度，尽量多地进行批处理，并在显存接近用完时开始排队. Splitwise的2级调度策略可以帮助分布式大语言模型推理系统根据当前任务需求动态调整资源配置，优化GPU集群的资源利用率.

上述研究工作都采用了预填充与解码阶段分离的方案来提高批处理上限，都强调根据具体需求进行资源优化配置. Mooncake利用键值缓存全局调度器和前缀匹配技术，实现预填充和解码阶段的高效资源分配和键值缓存重用. DistServe根据模型特征和模拟结果，采用高效的放置算法和灵活的模型并行策略提高推理性能. TetriInfer通过预测解码请求的资源使用情况来平衡不同解码实例之间的负载. Splitwise则通过2级调度最大化批处理数量并合理分配计算和存储资源. 值得一提的是，分布式存储在上述系统中都起到了核心作用，通过在多个节点之间动态分配和共享资源，优化计算与存储的协作方式，不仅提高了大语言模型推理系统的并行处理能力，还减少了资源干扰和浪费.

4.2 分布式大语言模型推理系统的容错技术

在分布式大语言模型推理^[51]过程中，故障处理是一个关键问题. 如果某个节点出现故障，通常需要重新计算整个请求，这会引入显著的延迟开销. 数据冗余与复制^[52-55]是最为常见的容错技术，将数据和模型权重复制到多个节点上，以确保在单个节点出现故障时，其他节点仍然可以提供数据和计算服务.

DéjàVu^[50]使用键值缓存流库（DéjàVuLib）来优化流水线并行的分布式大语言模型推理服务. 在流水线并行中，模型的各层被划分为多个阶段，阶段之间通过交换激活值协同工作. 为了更好地填充流水线，使其所有阶段保持忙碌，DéjàVu将一个大批次请求拆分为更小的微批次，使得多个微批次能够同时在流水线的不同阶段中并行处理.

展示了DéjàVu系统的流水线故障恢复机制，该系统通过状态复制和快速故障恢复来防止单点故障导致的数据不一致. 首先，DéjàVu在不同的GPU节点间复制键值缓存，例如，工作节点 $x$ 会将其键值缓存传输到节点 $\left( {x + 1} \right)\% N$ ，其中 $N$ 表示工作节点总数目. 这样即使某个节点出现故障，也能通过其他节点的缓存来恢复数据. 如所示，节点 ${\text{F}}$ 处于故障状态，故障节点之后的下一个节点将其托管的键值缓存备份发送回故障节点，以重新填充丢失的缓存；同时，故障节点之前的上一个节点也会将其自身的键值缓存发送给故障节点，以恢复其复制的键值缓存，这一过程由控制器在故障检测阶段 ${\text{D}}$ 触发并协调. 接下来，控制器根据缓存复制状态，识别出需要重新执行的微批次和步骤 ${\text{C1}}$ . 在进入故障恢复阶段 ${\text{R}}$ 后，控制器将识别出的微批次和步骤信息传播到所有工作节点，使所有阶段从 ${\text{C1}}$ 重新开始推理，无需从头开始计算. 通过 ${\text{F}}$ ， ${\text{D}}$ ， ${\text{R}}$ 状态的紧密协同，DéjàVu系统能够从最近的复制点恢复推理，有效检测、处理和恢复流水线中的故障，确保最小化停机时间和资源浪费.

图 16 DéjàVu的流水线故障恢复^[50]

Figure 16. Pipeline failure recovery for DéjàVu^[50]

下载: 全尺寸图片幻灯片

4.3 无服务推理的检查点加载技术

无服务推理是一种无需管理底层服务器或基础设施的模型部署方法. 开发者将模型检查点上传至云平台，如Amazon SageMaker^[56]，Azure^[57]，KServe^[58]，HuggingFace^[28]等，系统会根据请求动态分配GPU资源来执行模型推理任务. 无服务推理的主要问题是在加载大语言模型检查点时，会导致显著的延迟开销.

ServerlessLLM^[59]是一个在无服务环境中进行大语言模型推理的系统. 图17展示了SeverlessLLM的总体架构. 在该系统中，请求路由器接收推理请求并将其路由到合适的节点，而模型加载调度器则负责分配节点以启动新的大语言模型实例. 模型存储用于存储大语言模型检查点，当节点启动新的大语言模型实例时，从模型存储中加载模型. 图17中展示了2个节点：节点1（热节点）包含一个正在运行的大语言模型实例#1；节点2（冷节点）包含一个尚未分配任务的大语言模型实例#2. 为了缓解无服务环境中的冷启动问题，ServerlessLLM需要增强大语言模型推理的本地性，快速加载和卸载模型检查点.

图 17 SeverlessLLM的总体架构^[59]

Figure 17. Overview architecture of SeverlessLLM^[59]

下载: 全尺寸图片幻灯片

SeverlessLLM通过引入优化的检查点格式和高效的多层次存储系统来提升检查点加载性能. 优化的检查点格式支持顺序块式读取和张量寻址. 多层次存储系统通过内存池化、高效的数据路径和多阶段数据加载管道进一步提升性能. 内存池利用并行PCIe链路实现多个GPU的并行检查点加载，支持细粒度的内存分配和释放，并使用固定大小的内存块缓解内部碎片. 高效数据路径通过直接文件访问和锁页内存技术，消除DRAM与GPU之间的冗余数据复制. 多阶段数据加载管道支持NVMe^[60]，SATA^[61]，S3^[62]等多种存储接口，可以充分利用GPU服务器的多层次存储资源^[63-64].

另外，为了优化模型启动时间和推理性能，ServerlessLLM采用实时迁移策略实现局部性驱动的推理服务. 实时迁移会优先选择局部性最优的服务器，并避免中断正在进行的推理服务. 例如，在另一台服务器上存在模型检查点的副本，便可以直接在那里启动模型，然后传输所有当前标记. 该方法避免了大量的快照创建和传输开销.

5. 总结与展望

当前，大语言模型推理系统面临着存储资源需求量大和资源利用率低下的问题. 本文从显存管理、异构存储和分布式存储等方面，详细总结了大语言模型推理系统中的存储优化技术. 这些技术从不同角度缓解了大语言模型的存储瓶颈，提升了大语言模型推理系统的整体性能.

尽管这些技术在现有硬件上已有显著进展，未来大语言模型的性能提升仍将受到硬件发展和算法优化的持续影响. 探索新型硬件以进一步加速推理过程是一个重要方向. 例如，可以考虑将显存无法容纳的数据卸载到 CXL（compute express link）^[65]扩展内存池中，或将计算任务卸载到计算存储设备（computational storage device，CSD）^[66]等新型硬件上. 此外，边缘设备在实时性和隐私保护方面具有独特优势，在边缘设备上部署大语言模型推理系统也值得关注. 最后，如何在这些设备上实现高效的模型推理，同时平衡推理性能与计算、存储成本^[67]也是研究人员需要考虑的问题.

作者贡献声明：葛旭冉、欧洋，负责论文主要内容撰写、论文组织架构及内容修改；王博、赵宇补充文献资料，并协助修改论文内容；吴利舟、王子聪、陈志广、肖侬提出文章指导意见并修改论文.葛旭冉、欧洋对论文的贡献相同.

图 1 本文框架图

Figure 1. Framework diagram of our paper

下载: 全尺寸图片幻灯片

图 2 研究趋势图

Figure 2. Diagram of research trends

下载: 全尺寸图片幻灯片

图 3 HOUYI框架图

Figure 3. Framework diagram of HOUYI

下载: 全尺寸图片幻灯片

图 4 Judge Deceiver攻击框架图

Figure 4. Framework diagram of Judge Deceiver attack

下载: 全尺寸图片幻灯片

图 5 间接提示注入示例

Figure 5. An example of indirect prompt injection

下载: 全尺寸图片幻灯片

图 6 INJECAGENT攻击框架图

Figure 6. Framework diagram of Judge INJECAGENT attack

下载: 全尺寸图片幻灯片

图 7 BadGPT攻击框架图

Figure 7. Framework diagram of BadGPT attack

下载: 全尺寸图片幻灯片

图 8 SmoothLLM方法框架图

Figure 8. Framework diagram of SmoothLLM method

下载: 全尺寸图片幻灯片

表 1 提示注入攻击总结

Table 1 Summary of Prompt Injection Attacks

分类	攻击方法	攻击原理
基于人工设计的提示攻击	提示混淆	通过故意添加拼写错误或使用同义词来绕过模型自带的过滤器
	虚拟化环境	通过提示构建虚拟场景以模拟指令的行为，为大语言模型提供一个虚拟环境，从而降低其对生成内容负面影响的担忧
	有效负载分割	将恶意有效负载分解为多个较小的单元，以规避防御机制
	SQL注入	在外部资源接口传递精心设计的问题，从而导致大语言模型生成恶意SQL查询
基于算法生成的提示攻击	生成对抗性后缀	自动化算法生成对抗性后缀并附加到提示末尾，其形式对人类而言通常是无意义的
基于算法生成的提示攻击	模拟攻击环境	通过本地聚合训练数据来精确模拟潜在的攻击环境，通过训练模型进一步优化对抗性文本

下载: 导出CSV

表 2 间接提示注入攻击总结

Table 2 Summary of Indirect Prompt Injection Attacks

分类	攻击方法	攻击原理
面向单模态模型	嵌入外部资源	将恶意提示内容嵌入网页、PDF、TXT、代码辅助工具等外部资源中，让使用者在无意识中完成攻击.
面向单模态模型	社会工程	攻击者使用社会工程提供的恶意提示，例如向毫无戒心的受害者提供指导或虚假承诺，然后受害者执行这些提示.
面向多模态模型	面向白盒模型	使用对抗性扰动将指示和指令混合到图像和音频，扰动会引导模型输出攻击者选择的文本或指令.
面向多模态模型	面向黑盒模型	不访问目标系统的参数或权重，仅通过攻击CLIP视觉编码器构建对抗性图形.

下载: 导出CSV

表 3 越狱攻击总结

Table 3 Summary of Jailbreak Attacks

分类	攻击方法	攻击原理
基于人工设计	低资源编码	利用少量数据和特定编码策略，绕过大语言模型的安全训练，达成越狱目的.
	上下文学习	利用带标记示例的上下文演示，为大语言模型提供额外的上下文信息.
	虚拟化环境	通过虚拟化场景构建指令模拟环境，例如让大语言模型认为正处于一个安全的试验场所，以降低其认为生成内容的潜在负面影响.
	图像与视觉集成扰动	通过对输入图像施加对抗性扰动，触发大语言模型生成有毒内容.
基于算法生成	利用第三方大语言模型	利用辅助语言模型对越狱提示进行重新构造和优化，改进提示的语言流畅度、准确性和效果.

下载: 导出CSV

表 4 后门攻击总结

Table 4 Summary of Backdoor Attacks

攻击方法	攻击原理
奖励模型	利用毒化数据集在微调过程中修改模型的奖励偏好，攻击者通过在提示符中注入特殊的触发器激活后门.
木马适配器	制作恶意木马适配器，传播敌对偏好的叙述，向特定群体传播个性化的虚假信息.
思维链	恶意利用大语言模型集成应用中的第三方提示工程服务，在其中嵌入后门触发器.
多目标优化	通过感知相似性约束、多任务目标优化和模型交替训练等技术，使后门图像与原始图像难以区分.

下载: 导出CSV

表 5 大语言模型对抗性攻击方法对比

Table 5 Comparison of Adversarial Attack Methods on Large Language Models

攻击方法	攻击路径	优势	劣势
提示注入	通过恶意提示诱导模型生成攻击者想要的输出	适用于黑盒模型，无需依赖模型内部信息	扩展性有限，移植性差，易被检测识别
间接提示注入	在外部媒介中嵌入恶意指令	隐蔽性高，难以检测和防范	攻击效果严重依赖外部资源
越狱攻击	绕过模型对齐机制	适用于黑盒模型	过于模板化，易于被识别
后门攻击	在模型内部植入后门，使其在满足特定触发条件时激活	隐蔽性高，通常情况下难以察觉	需要充分了解模型结构和训练过程

下载: 导出CSV

表 6 大语言模型防御方法对比

Table 6 Comparison of Defense Methods for Large Language Models

防御方法	技术路径	优势	劣势
提示词审查	过滤敏感词汇或指令	简单有效，适用模型类型广	易产生假阳性，防御攻击类型有限
提示词变换	修改提示词表述方式，避免触发不良行为	防御广泛的攻击类型	模型性能下降
对抗性训练	将对抗样本融入训练数据中	提高模型自身对对抗攻击的鲁棒性	训练成本高，可能降低模型的泛化能力
激发模型自身能力的防御	利用模型已有的能力进行防御	无需额外训练，利用模型机理	难以评估防御效果

下载: 导出CSV

参考文献(117)

[1]	Matthew H. Hackers easily fool artificial intelligences-adversarial attacks highlight lack of security in machine learning algorithms[J]. Science, 2018, 361(6399): 215−215 doi: 10.1126/science.361.6399.215
[2]	Romera-Paredes B, Barekatain M, Novikov A, et al. Mathematical discoveries from program search with large language models[J]. Nature, 2024, 625(7995): 468−475 doi: 10.1038/s41586-023-06924-6
[3]	Radford A, Wu J, Child R, et al. OpenAI blog: Language models are unsupervised multitask learners [EB/OL]. 2024[2024-08-10]. https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
[4]	Koroteev M V. BERT: A review of applications in natural language processing and understanding[J]. arXiv preprint, arXiv: 2103.11943, 2021
[5]	Touvron H, Lavril T, Izacard G, et al. LLaMA: Open and efficient foundation language models[J]. arXiv preprint, arXiv: 2302.13971, 2023
[6]	虎嵩林,李涓子,秦兵,等. 亦正亦邪大模型——大模型与安全专题导读[J]. 计算机研究与发展,2024,61(5):1085−1093 Hu Songlin, Li Juanzi, Qin Bing, et al. The double-edged swords: An introduction to the special issue on large models and safety[J]. Journal of Computer Research and Development, 2024, 61(5): 1085−1093 (in Chinese)
[7]	Lin S, Hilton J, Evans O. TruthfulQA: Measuring how models mimic human falsehoods[C]//Proc of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: ACL, 2022: 3214−3252
[8]	Bommasani R, Hudson D A, Adeli E, et al. On the opportunities and risks of foundation models[J]. arXiv preprint, arXiv: 2108.07258, 2021
[9]	Weidinger L, Mellor J, Rauh M, et al. Ethical and social risks of harm from language models[J]. arXiv preprint, arXiv: 2112.04359, 2021
[10]	Hou Xinyi, Zhao Yanjie, Wang Haoyu. On the (in)security of LLM app stores[J]. arXiv preprint, arXiv: 2407.08422, 2024
[11]	Achintalwar S, Garcia A A, Anaby-tavor A, et al. Detectors for safe and reliable LLMs: Implementations, uses, and limitations[J]. arXiv preprint, arXiv: 2403.06009, 2024
[12]	王笑尘,张坤,张鹏. 多视角看大模型安全及实践[J]. 计算机研究与发展,2024,61(5):1104−1112 Wang Xiaochen, Zhang Kun, Zhang Peng. Large model safety and practice from multiple perspectives[J]. Journal of Computer Research and Development, 2024, 61(5): 1104−1112 (in Chinese)
[13]	Jacob D, Chang Mingwei, Kenton L, et al. BERT: Pre-training of deep bidirectional transformers for language understanding[C]//Proc of the 2019 Conf of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Stroudsburg, PA: ACL, 2019: 4171–4186
[14]	Wei J, Bosma M, Zhao V, et al. Finetuned language models are zero-shot learners[C/OL]//Proc of the 10th Int Conf on Learning Representations. Washington: ICLR, 2022[2024-08-11]. https://iclr.cc/virtual/2022/oral/6255
[15]	Ziegler D M, Stiennon N, Wu J, et al. Fine-tuning language models from human preferences[J]. arXiv preprint, arXiv: 1909.08593, 2019
[16]	Mao Xiaofeng, Chen Yuefeng, Jia Xiaojun, et al. Context-aware robust fine-tuning[J]. International Journal of Computer Vision, 2024, 132(5): 1685−1700 doi: 10.1007/s11263-023-01951-2
[17]	Kai Feng, Huang Lan, Wang Kanping, et al. Prompt-based learning framework for zero-shot cross-lingual text classification[J]. Engineering Applications of Artificial Intelligence, 2024, 133(E): 108481
[18]	Buckner C. Understanding adversarial examples requires a theory of artefacts for deep learning[J]. Nature Machine Intelligence, 2020, 2(12): 731−736 doi: 10.1038/s42256-020-00266-y
[19]	Liang Hongshuo, He Erlu, Zhao Yangyang, et al. Adversarial attack and defense: A survey[J]. Electronics, 2022, 11(8): 1283−1301 doi: 10.3390/electronics11081283
[20]	李南,丁益东,江浩宇,等. 面向大语言模型的越狱攻击综述[J]. 计算机研究与发展,2024,61(5):1156−1181 Li Nan, Ding Yidong, Jiang Haoyu, et al. Jailbreak attack for large language models: A survey[J]. Journal of Computer Research and Development, 2024, 61(5): 1156−1181 (in Chinese)
[21]	Sarabadani A, Halfaker A, Taraborelli D. Building automated vandalism detection tools for Wikidata [C]//Proc of the 26th Int Conf on World Wide Web Companion. New York: ACM, 2017: 1647−1654
[22]	Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Proc of the 30th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2017: 5998−6008
[23]	Lan Jiahe, Wang Jie, Yan Baochen, et al. FlowMur: A stealthy and practical audio backdoor attack with limited knowledge[C]//Proc of the 2024 IEEE Symp on Security and Privacy (SP). Piscataway, NJ: IEEE, 2024: 1646−1664
[24]	Jayaraman B, Ghosh E, Chase M, et al. Combing for credentials: Active pattern extraction from smart reply[C]//Proc of the 2024 IEEE Symp on Security and Privacy (SP). Piscataway, NJ: IEEE, 2024: 1443−1461
[25]	Mor G, Daniel K, Elad S, et al. Did aristotle use a laptop? A question answering benchmark with implicit reasoning strategies[J]. Transations of the Association for Computational Linguistics, 2021, 9: 346−361 doi: 10.1162/tacl_a_00370
[26]	Laurencon H, Saylnier L, Thomas W, et al. The BigScience ROOTS Corpus: A 1.6TB composite multilingual dataset[C]//Proc of the 35th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2022: 31809−31826
[27]	Yuan Sha, Zhao Hanyu, Du Zhengxiao, et al. WuDaoCorpora: A super large-scale Chinese corpora for pre-training language models[J]. AI Open, 2021, 2: 65−68 doi: 10.1016/j.aiopen.2021.06.001
[28]	Wan Jie, Fu Jianhao, Wang Lijin, et al. BounceAttack: A query-efficient decision-based adversarial attack by bouncing into the wild[C]//Proc of the 2024 IEEE Symp on Security and Privacy (SP). San Piscataway, NJ: IEEE, 2024: 1270−1286
[29]	Forest A, Matthew H, Peter S, et al. Learning activation functions to improve deep neural networks [J]. arXiv preprint, arXiv: 1412.6830, 2014
[30]	Henighan T, Kaplan J, Katz M, et al. Scaling laws for autoregressive generative modeling[J]. arXiv preprint, arXiv: 2010.14701, 2020
[31]	Agrawal K, Bhatnagar C. M-SAN: A patch-based transferable adversarial attack using the multi-stack adversarial network[J]. Journal of Electronic Imaging, 2023, 32(2): 023033
[32]	Tao G, Wang Zhenting, Feng Shiwei, et al. Distribution preserving backdoor attack in self-supervised learning[C]//Proc of the 2024 IEEE Symp on Security and Privacy (SP). Piscataway, NJ: IEEE, 2024: 2029−2047
[33]	Priyan V, Zhang Tianyi, Elena L. Expectation vs experience: Evaluating the usability of code generation tools powered by large language models[C]//Proc of the 2022 Chi Conf on Human Factors in Computing Systems Extended Abstracts. New York: ACM, 2022: 332: 1−332: 7
[34]	Zhang Junjie, Xie Ruobing, Hou Yupeng, et al. Recommendation as instruction following: A large language model empowered recommendation approach[J]. arXiv preprint, arXiv: 2305.07001, 2023
[35]	Goodfellow I J, Shlens J, Szegedy C. Explaining and harnessing adversarial examples[J]. arXiv preprint, arXiv: 1412.6572, 2014
[36]	Szegedy C, Zaremba W, Sutskever I, et al. Intriguing properties of neural networks[J]. arXiv preprint, arXiv: 1312.6199, 2013
[37]	Branch H J, Cefalu J R, Mchugh J, et al. Evaluating the susceptibility of pre-trained language models via handcrafted adversarial examples[J]. arXiv preprint, arXiv: 2209.02128, 2022
[38]	Perez F, Ribeiro I. Ignore previous prompt: Attack techniques for language models[J]. arXiv preprint, arXiv: 2211.09527, 2022
[39]	Kang D, Li Xuechen, Stoica I, et al. Exploiting programmatic behavior of LLMs: Dual-use through standard security attacks[C] //Proc of the 2024 IEEE Security and Privacy Workshops (SPW). Piscataway, NJ: IEEE, 2024: 132−143
[40]	Toyer S, Watkins O, Mendes E A, et al. Tensor trust: Interpretable prompt injection attacks from an online game[C/OL] //Proc of the 12th Int Conf on Learning Representations. Washington: ICLR, 2024[2024-08-12]. https://openreview.net/forum?id=fsW7wJGLBd
[41]	Nccgroup. Exploring prompt injection attacks: NCC group research blog[EB/OL]. 2024[2024-08-10]. https://research.nccgroup.com/2022/12/05/exploring-prompt-injectionattacks/
[42]	Liu Yi, Deng Gelei, Li Yuekang, et al. Prompt injection attack against LLM-integrated applications[J]. arXiv preprint, arXiv: 2306.05499, 2023
[43]	Pedro R, Castro D, Carreira P, et al. From prompt injections to SQL injection attacks: How protected is your LLM-integrated web application?[J]. arXiv preprint, arXiv: 2308.01990, 2023
[44]	Liu Xiaogeng, Yu Zhiyuan, Zhang Yizhe, et al. Automatic and universal prompt injection attacks against large language models[J]. arXiv preprint, arXiv: 2403.04957, 2024
[45]	Zou A, Wang Zifan, Carlini N, et al. Universal and transferable adversarial attacks on aligned language models[J]. arXiv preprint, arXiv: 2307.15043, 2307
[46]	Shi Jiawen, Yuan Zenghui, Liu Yinuo, et al. Optimization-based prompt injection attack to LLM-as-a-judge[J]. arXiv preprint, arXiv: 2307.15043, 2307
[47]	Liu Yupei, Jia Yuqi, Geng Runpeng, et al. Formalizing and benchmarking prompt injection attacks and defenses[C] //Proc of the 33rd USENIX Security Symp (USENIX Security 24). Berkeley, CA: USENIX Association, 2024: 1831−1847
[48]	Sippo R, Alisia M M, Raghava R M, et al. An early categorization of prompt injection attacks on large language models[J]. arXiv preprint, arXiv: 2402.00898, 2024
[49]	Greshake K, Abdelnabi S, Mishra S, et al. More than you’ve asked for: A comprehensive analysis of novel prompt injection threats to application-integrated large language models[J]. arXiv preprint, arXiv: 2302.12137, 2023
[50]	Bagdasaryan E, Hsieh T Y, Nassi B, et al. Abusing images and sounds for indirect instruction injection in multi-modal LLMs[J]. arXiv preprint, arXiv: 2302.10490, 2023
[51]	Zhan Qiusi, Liang Zhixiang, Ying Zifan, et al. InjecAgent: Benchmarking indirect prompt injections in tool-integrated large language model agents[C]//Proc of the 2024 Findings of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2024: 10471−10506
[52]	Shayegani E, Dong Yue, Abu-Ghazaleh N. Plug and pray: Exploiting off-the-shelf components of multi-modal models[J]. arXiv preprint, arXiv: 2307.14539, 2023
[53]	Liu Yi, Deng Gelei, Xu Zhengzi, et al. Jailbreaking ChatGPT via prompt engineering: An empirical study[J]. arXiv preprint, arXiv: 2305.13860, 2023
[54]	White J, Fu Quchen, Hays S, et al. A prompt pattern catalog to enhance prompt engineering with ChatGPT[J]. arXiv preprint, arXiv: 2302.11382, 2023
[55]	Wei A, Haghtalab N, Steinhardt J. Jailbroken: How does LLM safety training fail?[C]//Proc of the 36th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2024: 14−46
[56]	Yuan Youliang, Jiao Wenxiang, Wang Wenxuan, et al. GPT−4 is too smart to be safe: Stealthy chat with LLMs via cipher[C/OL]//Proc of the 12th Int Conf on Learning Representations. Washington: ICLR, 2024[2024-08-12]. https://openreview.net/forum?id=MbfAK4s61A
[57]	Zheng Yongxin, Menghini C, Bach S. Low-resource languages jailbreak GPT−4[J]. arXiv preprint, arXiv: 2310.02446, 2023
[58]	Jiang Fengqing, Xu Zhangchen, Niu Luyao, et al. ArtPrompt: ASCII art-based jailbreak attacks against aligned LLMs[C]//Proc of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: ACL, 2024: 15157−15173
[59]	Li Haoran, Guo Dadi, Fan Wei, et al. Multi-step jailbreaking privacy attacks on ChatGPT[C]//Proc of the 2023 Findings of the Association for Computational Linguistics: EMNLP 2023. Stroudsburg, PA: ACL, 2023: 4138−4153
[60]	Wang Jiongxiao, Liu Zichen, Park K, et al. Adversarial demonstration attacks on large language models[J]. arXiv preprint, arXiv: 2305.14950, 2023
[61]	Wei Zeming, Wang Yifei, Li Ang, et al. Jailbreak and guard aligned language models with only few in-context demonstrations[J]. arXiv preprint, arXiv: 2310.06387, 2023
[62]	Qiang Yao, Zhou Xiangyu, Zhu Dongxiao. Hijacking large language models via adversarial in-context learning[J]. arXiv preprint, arXiv: 2311.09948, 2023
[63]	Shen Xinyue, Chen Zeyuan, Backes M, et al. “Do anything now”: Characterizing and evaluating in-the-wild jailbreak prompts on large language models[J]. arXiv preprint, arXiv: 2308.03825, 2023
[64]	Li Xuan, Zhou Zhanke, Zhu Jianing, et al. DeepInception: Hypnotize large language model to be jailbreaker[J]. arXiv preprint, arXiv: 2308.03191, 2023
[65]	Alayrac J B, Donahue J, Luc P, et al. Flamingo: A visual language model for few-shot learning[C]//Proc of the 35th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2022: 23716−23736
[66]	Google. Bard[EB/OL]. 2023[2024-08-12]. https://bard.google.com/
[67]	Carlini N, Nasr M, Choquette-Choo C A, et al. Are aligned neural networks adversarially aligned?[C]//Proc of the 36th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2024: 48−79
[68]	Qi Xiangyu, Huang Kaixuan, Panda A, et al. Visual adversarial examples jailbreak large language models[J]. arXiv preprint, arXiv: 2306.13213, 2023
[69]	Schlarmann C, Hein M. On the Adversarial robustness of multi-modal foundation models[C]//Proc of the 2023 IEEE/CVF Int Conf on Computer Vision Workshops (ICCVW). Piscataway, NJ: IEEE, 2023: 3677−3685
[70]	Zhao Yunqing, Pang Tianyu, Du Chao, et al. On evaluating adversarial robustness of large vision-language models[C]//Proc of the 36th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2024: 950−986
[71]	Dong Yinpeng, Chen Huanran, Chen Jiawei, et al. How robust is Google’s bard to adversarial image attacks?[J]. arXiv preprint, arXiv: 2309.11751, 2023
[72]	Deng Gelei, Liu Yi, Li Yuekang, et al. MasterKey: Automated jailbreaking of large language model chatbots[C/OL]//Proc of the 2024 Network and Distributed System Security Symp. Rosten, VA: Internet Society, 2024[2024-08-13]. https://www.ndss-symposium.org/ndss-paper/masterkey-automated-jailbreaking-of-large-language-model-chatbots/
[73]	Yao Dongyu, Zhang Jianshu, Harris I, et al. A novel and universal fuzzing framework for proactively discovering jailbreak vulnerabilities in large language models[C]//Proc of the 2024 IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2024: 19−35
[74]	Yu Jiahao, Lin Xingwei, Yu Zheng, et al. GPTFUZZER: Red teaming large language models with auto-generated jailbreak prompts[J]. arXiv preprint, arXiv: 2309.10253, 2023
[75]	Wang Zimu, Wang Wei, Chen Qi, et al. Generating valid and natural adversarial examples with large language models[C]//Proc of the 27th Int Conf on Computer Supported Cooperative Work in Design (CSCWD). Piscataway, NJ: IEEE, 2024: 37−69
[76]	Chao P, Robey A, Dobriban E, et al. Jailbreaking black box large language models in twenty queries[J]. arXiv preprint, arXiv: 2310.08419, 2023
[77]	Mehrotra A, Zampetakis M, Kassianik P, et al. Tree of Attacks: Jailbreaking black-box LLMs automatically[J]. arXiv preprint, arXiv: 2310.02119, 2023
[78]	Liu Xiaogeng, Xu Nan, Chen Muhao, et al. AutoDAN: Generating stealthy jailbreak prompts on aligned large language models[C/OL]//Proc of the 12th Int Conf on Learning Representations. Washington: ICLR, 2024[2024-08-12]. https://openreview.net/forum?id=7Jwpw4qKkb
[79]	Guo Ping, Liu Fei, Lin Xi, et al. L-AutoDA: Leveraging large language models for automated decision-based adversarial attacks[J]. arXiv preprint, arXiv: 2401.15335, 2024
[80]	Li Shaofeng, Liu Hui, Dong Tian, et al. Hidden backdoors in human-centric language models[C]//Proc of the 2021 ACM SIGSAC Conf on Computer and Communications Security. New York: ACM, 2021: 3123−3140
[81]	Wan A, Wallace E, Shen S, et al. Poisoning language models during instruction tuning[C]//Proc of the 40th Int Conf on Machine Learning. NEW York: PMLR, 2023: 35413−35425
[82]	Xu Jiashu, Ma Mingyu, Wang Fei, et al. Instructions as Backdoors: Backdoor vulnerabilities of instruction tuning for large language models[C]//Proc of the 2024 Conf of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers). Stroudsburg, PA: ACL, 2024: 3111−3126
[83]	Yang Wenkai, Bi Xiaohan, Lin Yankai, et al. Watch out for your agents! Investigating backdoor threats to LLM-based agents[J]. arXiv preprint, arXiv: 2402.11208, 2024
[84]	Hubinger E, Denison C, Mu J, et al. Sleeper agents: Training deceptive LLMs that persist through safety training[J]. arXiv preprint, arXiv: 2401.05566, 2024
[85]	Shi Jiawen, Liu Yixin, Zhou Pan, et al. Badgpt: Exploring security vulnerabilities of ChatGPT via backdoor attacks to instructgpt[J]. arXiv preprint, arXiv: 2304.12298, 2023
[86]	Dong Tian, Xue Minhui, Chen Guoxing, et al. Unleashing cheapfakes through trojan plugins of large language models[J]. arXiv preprint, arXiv: 2312.00374, 2023
[87]	Xiang Zhen, Jiang Fengqing, Xiong Zidi, et al. Badchain: Backdoor chain-of-thought prompting for large language models[C/OL]//Proc of the 12th Int Conf on Learning Representations. Washington: ICLR, 2024[2024-08-13]. https://openreview.net/forum?id=c93SBwz1Ma
[88]	朱素霞,王金印,孙广路. 基于感知相似性的多目标优化隐蔽图像后门攻击[J]. 计算机研究与发展,2024,61(5):1182−1192 Zhu Suxia, Wang Jinyin, Sun Guanglu. Perceptual similarity-based multi-objective optimization for stealthy image backdoor attack[J]. Journal of Computer Research and Development, 2024, 61(5): 1182−1192 (in Chinese)
[89]	Gabriel A, Michael K. Detecting language model attacks with perplexity[J]. arXiv preprint, arXiv: 2308.14132, 2023
[90]	Hu Zhengmian, Wu Gang, Saayan M, et al. Token-level adversarial prompt detection based on perplexity measures and contextual information[J]. arXiv preprint, arXiv: 2311.11509, 2023
[91]	Alon G, Kamfonas M. Detecting language model attacks with perplexity[J]. arXiv preprint, arXiv: 2308.14132, 2023
[92]	Lapid R, Langberg R, Sipper M. Open Sesame! Universal black box jailbreaking of large language models[J]. arXiv preprint, arXiv: 2309.01446, 2023
[93]	Zhu Sicheng, Zhang Ruiyi, An Bang, et al. Autodan: Automatic and interpretable adversarial attacks on large language models[J]. arXiv preprint, arXiv: 2310.15140, 2023
[94]	Robey A, Wong E, Hassani H, et al. SmoothLLM: Defending large language models against jailbreaking attacks[J]. arXiv preprint, arXiv: 2310.03684, 2023
[95]	Phute M, Helbling A, Hull M, et al. LLM Self Defense: By self examination, LLMs know they are being tricked[C/OL]//Proc of the 2th Tiny Papers Track at ICLR 2024. Washington: ICLR, 2024[2024-08-14]. https://openreview.net/forum?id=YoqgcIA19o
[96]	Glukhov D, Shumailov I, Gal Y, et al. LLM Censorship: A machine learning challenge or a computer security problem?[J]. arXiv preprint, arXiv: 2307.10719, 2023
[97]	Kumar A, Agarwal C, Srinivas S, et al. Certifying LLM safety against adversarial prompting[J]. arXiv preprint, arXiv: 2309.02705, 2023
[98]	Jain N, Schwarzschild A, Wen Y, et al. Baseline defenses for adversarial attacks against aligned language models[J]. arXiv preprint, arXiv: 2309.00614, 2023
[99]	Cao Bochuan, Cao Yuanpu, Lin Lu, et al. Defending against alignment-breaking attacks via robustly aligned LLM[C]//Proc of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: ACL, 2024: 10542−10560
[100]	Wang Hao, Li Hao, Huang Minlie, et al. From noise to clarity: Unraveling the adversarial suffix of large language model attacks via translation of text embeddings[J]. arXiv preprint, arXiv: 2402.16006, 2024
[101]	Ji Jiabao, Hou Bairu, Alexander R, et al. Defending large language models against jailbreak attacks via semantic smoothing[J]. arXiv preprint, arXiv: 2402.16192, 2024
[102]	Liu Xiaodong, Cheng Hao, He Pengcheng, et al. Adversarial training for large neural language models[J]. arXiv preprint, arXiv: 2004.08994, 2020
[103]	Ganguli D, Lovitt L, Kernion J, et al. Red teaming language models to reduce harms: Methods, scaling behaviors, and lessons learned[J]. arXiv preprint, arXiv: 2209.07858, 2022
[104]	Perez E, Huang S, Song F, et al. Red teaming language models with language models[C]//Proc of the 2022 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2022: 3419−3448
[105]	Mitchell E, Lin C, Bosselut A. Memory-based model editing at scale [C]//Proc of the 39th Int Conf on Machine Learning. Stroudsburg, PA: ACL 2022: 15817−15831
[106]	Huang Zeyu, Shen Yikang, Zhang Xiaofeng, et al. Transformer-patcher: One mistake worth one neuron[C]//Proc of the 11th Int Conf on Learning Representations. Washington: ICLR, 2024[2024-08-14]. https://openreview.net/forum?id=4oYUGeGBPm
[107]	Meng K, Bau D, Andonian A, et al. Locating and editing factual associations in GPT[C]//Proc of the 35th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2022: 17359−17372
[108]	Meng K, Sharma A S, Andonian A, et al. Mass-editing memory in a transformer[C]//Proc of the 11th Int Conf on Learning Representations. Washington: ICLR, 2023[2024-08-13]. https://openreview.net/forum?id=MkbcAHIYgyS
[109]	王梦如,姚云志,习泽坤,等. 基于知识编辑的大模型内容生成安全分析[J]. 计算机研究与发展,2024,61(5):1143−1155 Wang Mengru, Yao Yunzhi, Xi Zekun, et al. Safety analysis of large model content generation based on knowledge editing[J]. Journal of Computer Research and Development, 2024, 61(5): 1143−1155 (in Chinese)
[110]	Li Yuhui, Wei Fangyun, Zhao Jinjing, et al. RAIN: Your language models can align themselves without finetuning[C/OL]//Proc of the 12th Int Conf on Learning Representations. Washington: ICLR, 2024[2024-08-13]. https://openreview.net/forum?id=pETSfWMUzy
[111]	Kim H, Yuk S, Cho H. Break the breakout: Reinventing LM defense against jailbreak attacks with self-refinement[J]. arXiv preprint, arXiv: 2402.15180, 2024
[112]	Zhou Yujun, Han Yufei, Zhuang Haomin, et al. Defending jailbreak prompts via in-context adversarial game[J]. arXiv preprint, arXiv: 2402.13148, 2024
[113]	Xu Zhangchen, Jiang Fengqing, Niu Luyao, et al. SafeDecoding: Defending against jailbreak attacks via safety-aware decoding[C]//Proc of the 62nd Annual Meeting of the ACL (Volume 1: Long Papers). Stroudsburg, PA: ACL, 2024: 5587–5605
[114]	Zhang Zhexin, Yang Junxiao, Ke Pei, et al. Defending large language models against jailbreaking attacks through goal prioritization[C]//Proc of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: ACL, 2024: 8865–8887
[115]	Jin Haibo, Hu Leyang, Li Xinuo , et al. JailbreakZoo: Survey, landscapes, and horizons in jailbreaking large language and vision-language models[J]. arXiv preprint, arXiv: 2407.01599, 2024
[116]	Ying Zonghao, Liu Aishan, Liu Xianglong, et al. Unveiling the safety of GPT−4o: An empirical study using jailbreak attacks[J]. arXiv preprint, arXiv: 2406.06302, 2024
[117]	Wang Junyang, Xu Haiyang, Jia Haitao, et al. Mobile-Agent: Autonomous multi-modal mobile device agent with visual perception[J]. arXiv preprint, arXiv: 2401.16158, 2024