Processing math: 9%
  • 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

面向边缘智能的大模型研究进展

王睿, 张留洋, 高志涌, 姜彤雲

王睿, 张留洋, 高志涌, 姜彤雲. 面向边缘智能的大模型研究进展[J]. 计算机研究与发展. DOI: 10.7544/issn1000-1239.202440385
引用本文: 王睿, 张留洋, 高志涌, 姜彤雲. 面向边缘智能的大模型研究进展[J]. 计算机研究与发展. DOI: 10.7544/issn1000-1239.202440385
Wang Rui, Zhang Liuyang, Gao Zhiyong, Jiang Tongyun. Research Progress on Large Models for Edge Intelligence[J]. Journal of Computer Research and Development. DOI: 10.7544/issn1000-1239.202440385
Citation: Wang Rui, Zhang Liuyang, Gao Zhiyong, Jiang Tongyun. Research Progress on Large Models for Edge Intelligence[J]. Journal of Computer Research and Development. DOI: 10.7544/issn1000-1239.202440385
王睿, 张留洋, 高志涌, 姜彤雲. 面向边缘智能的大模型研究进展[J]. 计算机研究与发展. CSTR: 32373.14.issn1000-1239.202440385
引用本文: 王睿, 张留洋, 高志涌, 姜彤雲. 面向边缘智能的大模型研究进展[J]. 计算机研究与发展. CSTR: 32373.14.issn1000-1239.202440385
Wang Rui, Zhang Liuyang, Gao Zhiyong, Jiang Tongyun. Research Progress on Large Models for Edge Intelligence[J]. Journal of Computer Research and Development. CSTR: 32373.14.issn1000-1239.202440385
Citation: Wang Rui, Zhang Liuyang, Gao Zhiyong, Jiang Tongyun. Research Progress on Large Models for Edge Intelligence[J]. Journal of Computer Research and Development. CSTR: 32373.14.issn1000-1239.202440385

面向边缘智能的大模型研究进展

详细信息
    作者简介:

    王睿: 1975年生. 博士,教授,CCF高级会员. 主要研究方向为物联网、边缘智能和智慧医疗

    张留洋: 2000年生. 硕士研究生. 主要研究方向为联邦学习与大模型训练

    高志涌: 2000年生. 硕士研究生. 主要研究方向为大模型推理与机器学习

    姜彤雲: 2000年生. 硕士研究生. 主要研究方向为边缘智能与大模型

  • 中图分类号: TP393

Research Progress on Large Models for Edge Intelligence

More Information
    Author Bio:

    Wang Rui: born in 1975. PhD, professor. Senior member of CCF. His main research interests include IoT, edge intelligence, and smart healthcare

    Zhang Liuyang: born in 2000. Master candidate. His main research interests include federated learning and large model training

    Gao Zhiyong: born in 2000. Master candidate. His main research interests include large model inference and machine learning

    Jiang Tongyun: born in 2000. Master candidate. Her main research interests include edge intelligence and large model

  • 摘要:

    随着大模型技术的迅猛发展,大模型在自然语言处理和计算机视觉等领域表现出卓越的性能,成为解决复杂问题的重要工具,并在科研和产业界引发了广泛关注. 然而,当前基于云平台的大模型训练和推理方案面临诸多挑战,包括高昂的成本、有限的可扩展性和信息安全风险等. 随着模型参数规模的不断扩大,对于低成本、高效训练和推理的需求愈发迫切. 在端边侧进行大模型的协同训练和推理,可以显著降低延迟和带宽需求,同时增强数据隐私和操作效率,为大模型在多样化场景中的低成本应用提供关键技术支持,成为当前研究的热点之一. 全面调研了面向边缘智能的大模型相关研究,主要从大模型边缘训练和推理2个角度对当前相关研究进行了深入分析和讨论. 最后,提出了面向边缘智能的大模型技术发展所面临的挑战和未来展望. 希望能促进学术界和产业界对面向边缘智能的大模型技术有更深入了解和关注,并能够启发更多的学者开展深入研究.

    Abstract:

    With the rapid development of large-scale model technology, these models have exhibited remarkable performance in fields such as natural language processing and computer vision, becoming essential tools for addressing complex issues and drawing significant interest from both the scientific community and the industry. Nonetheless, current cloud-platform-based schemes for training and inference of large models face multiple challenges, including high expenses, restricted scalability, and information security risks. As the scale of model parameters expands continually, the need for low-cost, efficient training and inference methods grows ever more pressing. Carrying out collaborative training and inference of large models on edge devices can dramatically decrease latency and bandwidth demands, concurrently reinforcing data privacy and operational efficiency. This strategy furnishes vital technological support for the economical deployment of large models across a variety of contexts, thereby evolving into one of the prominent research hotspots. This article conducts a thorough investigation of research pertinent to large models in the context of edge intelligence, with an in-depth analysis and discourse primarily focused on two aspects: edge-based training and inference of large models. Ultimately, it outlines the challenges confronted in the progression of large model technologies tailored for edge intelligence and delineates future prospects. The ambition is to stimulate a heightened comprehension and intensified attention from both academic and industrial sectors towards technologies involving large models for edge intelligence, thereby encouraging further scholarly exploration in this thriving domain.

  • 当前,移动互联、万物互联以及数字化转型所带动的海量数据流量致使人们对存储的需求呈现爆发式增长. 伴随海量数据所增长的储存和处理需求直接拉动云环境下外包数据存储市场高增. 然而,在人们享受云存储带来的便利的同时,数据安全性的问题随之而来. 为了防止云服务提供商和黑客未经授权访问用户的外包数据,用户可以将敏感和隐私数据进行加密再外包至云服务器. 然而,传统加密方法会改变数据的原始特征,云服务器无法对密文进行搜索和处理,严重影响外包数据的可用性. 为了解决上述问题,研究者们提出了可搜索加密技术——在保障用户安全方便地使用外包数据存储服务的同时,使云服务器端能够在不解密数据的前提下对密文进行搜索,从而保证了外包数据的机密性与可用性. 近年来,可搜索加密技术得到了广泛且深入的研究,但仍面临许多挑战.

    首先是动态更新方面. 现实场景中,企业及个人用户外包数据很少是一成不变的,经常需要频繁定期更新. 已有可搜索加密方案中利用前向索引构造的方案[1]支持直接文件更新,动态性较好,易于实际开发应用,但是前向索引结构泄露了和明文相关的信息,容易被敌手进行统计攻击,而且搜索效率不尽如人意. 倒排索引结构是实现关键字到文件映射关系的最佳方式,能够实现高效搜索[2],然而,倒排索引动态更新过程较为复杂,添加或删除文件时必须对索引中的所有条目进行线性扫描. 现有基于倒排索引的可搜索加密方案的动态更新过程大多需要额外更新结构进行辅助,这些更新结构通常过于复杂,导致更新效率非常低,并且只能允许有限的更新操作. 除此之外,已有的动态更新方法在更新过程中往往会向服务器泄露较多信息,例如关于更新关键字的关联信息等,即敌手可将更新的文件与之前的历史搜索结果建立联系,进而使方案无法抵抗文件注入攻击.

    其次,为了更好地提高用户的搜索体验,可搜索加密一个重要的研究方向是提高搜索语句表达性,例如支持多关键字布尔搜索[3]. 严格意义上的布尔搜索是指利用布尔逻辑运算符连接各个搜索关键字,然后由计算机进行相应逻辑运算,以找出所需信息的方法. 布尔搜索在所有搜索功能中使用面最广、使用频率最高. 但是,布尔搜索不仅需要云服务器进行关键字密文搜索,还需要对搜索结果进行布尔运算,过程中更容易由于节点崩溃或外部攻击而返回不正确的布尔搜索结果. 因此为了应对上述问题,亟需引入搜索结果验证机制来保证搜索结果的正确性. 一些可搜索加密方案通过数据认证技术,如MAC认证结构[4]、Merkle哈希树[5]和布隆滤波器[6]等,实现对搜索结果的验证. 然而上述验证方法仅能验证搜索语句表达性较差的搜索请求,甚至单一关键字搜索请求. 对于多关键词布尔搜索,目前的验证方法主要使用基于数据持有性证明技术中随机抽取的思想来实现[7],面临误差较大以及结果验证计算负载较大等缺陷,不能适应实际广泛的应用场景.

    最近几年,随着加密货币和去中心化应用的流行,区块链技术受到了各行业极大的关注. 区块链数据存储成为构建分布式存储平台的关键技术. 例如Bigchain DB[8]和Bluzelle[9],其通过共识协议确保数据存储的一致性和不可篡改性,为解决上述这些问题提供了可能. 近年来,很多方法将密码学加密技术与区块链结构相融合,一定程度上实现了链上数据的隐私保护[10-11]. 一些可搜索加密方案以智能合约代替传统的可信第三方来提供搜索公平性的保证[12-14]. 然而,上述方案中安全索引仍然部署于服务器端,而且受制于区块链固有的分叉问题导致方案的可用性受到了影响,并未发挥出区块链数据存储固有的防篡改和增量更新性等优势.

    本文针对上述问题展开研究,提出基于区块链索引的可验证布尔搜索加密方案VBSE-BI.方案将可搜索加密中的安全索引结构与区块链数据存储进行深度融合,限制服务器由于单点故障原因对索引结构进行破坏,实现索引的存储机密性、动态更新性以及搜索正确性. 同时方案在支持对多关键字布尔搜索的同时,保证了布尔搜索结果的不可伪造性. 本文主要工作如下:

    1)提出基于区块链存储结构的增量链式安全索引构造方法. 首先构建“关键字-文件”链式索引结构,将索引拆分为数据块的形式存储在区块链结构的交易信息中,利用指针进行链接,并引入同态加密机制代替标准加密方法来加密索引信息,在不解密索引的情况下实现高效搜索. 此方法以区块链的不可篡改性来提供搜索正确性和可靠性,并且避免了构建辅助更新索引结构导致的索引存储及更新开销大的问题.

    2)提出针对布尔搜索结果的完整性验证方法. 针对服务器端布尔运算完整性验证需求,给出VBSE-BI的搜索结果不可伪造性定义,基于双线性映射累加器和扩展欧几里德算法设计面向布尔搜索的完整性证明以及验证方法,并且,基于双线性q阶强Diffie-Hellman假设,对该方法的不可伪造性进行了严格的安全性证明.

    3)对VBSE-BI方案每个算法和协议进行详细构建,并从存储开销、计算开销以及通信开销3个维度对比分析方案性能;对VBSE-BI方案进行了编程实现,并通过对算法的性能测试来分析方案在实际应用中的性能表现. 性能分析结果显示,本方案降低了服务器端存储以及搜索开销的同时,降低了用户计算复杂度,满足实际云环境下资源受限本地设备的应用需求.

    近几年,学者们对可搜索加密方案的各方面问题进行了深入的研究. 针对可搜索加密的动态更新问题,2012年,Kamara等人[2]提出了基于正反双链表结构的动态可搜索加密方案,但是在更新文件的时候会造成较大信息泄露,无法抵抗文件注入攻击. 为了降低更新泄露,Hahn等人[15]中提出一种新的动态可搜索加密方案,主要思想是根据用户的搜索历史构造前向索引和倒排索引2个索引结构,云服务器不会得到除了搜索令牌之外的任何用户信息,但是该方案仅在文件数据庞大而关键字数目不多的场景下具有高的搜索效率.2016年,Bost[1]构造了一个满足向前安全性的动态可搜索加密方案,向前安全性保证了更新文件时敌手无法将其关键字信息与之前的搜索历史进行匹配.2018年,Zuo等人[16]基于二进制树和同态加密算法构建了2个动态可搜索加密方案,并支持范围查询,第1个方案拥有前向安全,第2个方案拥有前向安全和部分后向安全,但对加密文档的数量有限制.

    在搜索结果的可验证性方面,2013年,Chai等人[17]首先提出并研究了支持搜索结果验证可搜索加密问题. 2015年,Wang等人[18]提出了一种在混合云中支持容错性和可验证性的可搜索加密方案,通过基于字典的索引构建方法,生成模糊关键字字典,实现搜索结果的动态排序和可验证性. Kurosawa等人[19]利用RSA累加器生成搜索标签,从而实现搜索结果的验证并支持对文件的动态更新. 2015年,Ameri等人[20]利用布隆过滤器和多层级访问控制略构造了一种通用的多层级可验证关键字搜索方案. 2017年,Jiang等人[21]基于特殊倒排索引结构QSet、二进制矢量以及MAC函数设计了支持多关键字排序的可验证可搜索加密方案. 2018年,Wang等人[22]基于OXT的连接关键词检索方法,采用聚合器和采样检测技术提出了公开可验证的连接关键词检索方案. 已有的支持搜索结果验证的方案或多或少会牺牲搜索性能. 2020年,闫玺玺等人[23]提出了一种可验证属性基搜索加密方案,方案结合区块链技术解决半诚实且好奇的云服务器模型下返回搜索结果不正确的问题. 2021年,Najafi等人[24]针对实际应用场景中对多关键字可搜索加密的需求,提出多关键字动态可搜索加密及搜索结果完整性验证方法. 2024年,Xie等人[25]提出了一种新的可验证中文多关键字模糊排序可搜索加密方案,使用认证标签和概率陷门提高安全性、准确性和效率,解决了现有模糊关键词搜索方法的存储和计算资源消耗问题.

    基于上述研究现状可以看出,现有的支持验证的可搜索加密方法中,数据拥有者端通常需要存储庞大的辅助结构,导致本地存储负载较大,而且大多可验证算法包含复杂的通信与计算代价,在实际应用中具有局限性. 考虑到资源受限的移动设备数量急剧增加,用户端的结果验证代价应尽可能小,否则将没有实用价值. 因此,提高搜索语句的表达性并且降低用户验证代价是可验证可搜索加密中亟待解决的关键问题.

    VBSE-BI方案主要考虑2类实体:用户U和云服务器S.方案模型架构如图1所示. 用户U通过对本地文件集合进行信息提取来构建搜索索引,将索引利用密码学算法进行结构化加密,生成安全链式索引,并将链式索引拆分为交易值的形式存储于区块链索引中,根据对应的交易地址以及附加辅助验证元素生成以关键字为键的查找表,将查找表同样利用密码学算法进行结构化加密,生成密态查找表发送给云服务器S.区块链的增量存储特性使得索引能够满足文件的动态更新需求,即用户U可以随时添加或删除文件,并同时更新索引和查找表结构. 随后,用户发起生成布尔搜索请求,利用密码学工具将布尔表达式中的关键字信息进行加密,生成搜索令牌并发送给云服务器S.云服务器S在收到搜索令牌后,在密态查找表中定位到区块链索引中的搜索关键字对应的链式索引交易地址,进而在区块链安全索引中进行搜索并对搜索结果进行布尔运算. 随后,云服务器S将搜索结果以及对于布尔搜索结果正确性的证明返回给用户U. 用户U在收到搜索结果和相关的证明之后,在本地验证搜索结果的正确性,验证通过则可判定云服务器S正确执行了布尔搜索请求. 值得说明的是,区块链只负责存储链式索引结构,而真实的数据以加密的形式存储在云服务器S中.

    图  1  VBSE-BI 模型架构
    Figure  1.  VBSE-BI model architecture

    本节列出了论文中涉及的符号及其对应的含义,如表1所示.

    表  1  符号描述
    Table  1.  Symbols Description
    符号 含义
    1k 安全参数
    f 文件集合
    fwi 包含关键字wi的文件集合
    BC 区块链索引
    T 密态查找表
    ϕ(W) 关键字W布尔表达式
    Rϕ(W) 搜索结果
    L 泄露函数
    π 证据
    τ 搜索/更新令牌
    FGP 伪随机函数
    K1K2K3 伪随机函数FGP的密钥
    K 用户密钥
    Lw=(N1,,N#fw) BC中关键字w对应的虚拟链表
    addr(N) 节点NBC中的地址
    acc(fwi) fwi的双线性累加值
    I/U/D 交/并/差集
    flag 添加/删除标志
    下载: 导出CSV 
    | 显示表格

    定义1. VBSE-BI方案主要由5个多项式时间算法和协议组成,即KeyGen,Setup,Search,Verify,Update,具体描述如下:

    1)(K,PP)KeyGen(1k). 密钥生成算法,由用户U执行. 输入安全参数1k,输出密钥K和公共参数PP.

    2)(T,BC)Setup(K,f). 初始化算法,由用户U执行. 输入密钥K,文件集合f,输出区块链索引BC以及密态查找表T.

    3)(Rϕ(W),π;)Search(U(K,ϕ(W));S(T,BC)). 搜索协议,由用户U和云服务器S交互执行. 用于搜索文件. 用户输入密钥K、布尔表达式ϕ(W),云服务器S输入密态查找表T和区块链索引BC,输出布尔搜索结果Rϕ(W)以及正确性证明π.

    4)bVerify(K,Rϕ(W),π). 验证算法,由用户U执行. 输入密钥K、搜索结果Rϕ(W)以及证明π,输出输入1或者0表示接受或拒绝.

    5)(;(T,BC))Update(U(K,f);S(T,BC)). 更新协议,由用户U和云服务器S交互执行. 用户输入密钥K、更新文件f,云服务器输入密态查找表T和区块链索引BC,输出更新后的区块链索引BC以及密态查找表T.

    定义2. VBSE-BI正确性.VBSE-BI方案的正确性包括搜索正确性以及更新正确性:

    1)搜索正确性. 对于所有的安全参数k、所有的由KeyGen(1k)生成的K、所有的文件f以及所有由Setup(K,f)输出的(T, BC)和Update(U(K,f);S(T,BC))即任意顺序的更新操作,用户U与云服务器S交互执行的搜索协议Search(U(K,f);S(T,BC))总会得到正确的结果Rϕ(W). 即用户端的验证算法Verify(K,Rϕ(W),π)输出为1.

    2)更新正确性. 用户U利用更新协议Update(U(K,f);S(T,BC))与云服务器S交互添加或删除包含关键字信息的文件f时,协议执行后服务器端的更新的密态查找表T和区块链索引BC会正确添加或删除文件f的相关信息,且二者仍然保持一致性且完整性.

    在VBSE-BI方案的威胁模型中,假设云服务器为恶意敌手,即可能伪造搜索结果的布尔运算过程. 在这种威胁存在的情况下,VBSE-BI方案应该满足以下安全性定义:

    定义3. 动态IND-CKA2安全性. 设A为敌手,Sim为模拟器,L1L2L3分别为初始化、搜索、更新文件阶段的泄露函数. 定义如下2个实验:

    1)RealA(1k). 为敌手A和挑战者C之间的交互式实验,使用真实的方案算法. 在该实验中,挑战者C运行KeyGen(1k)生成密钥K和公共参数PP. 敌手A输出文件集合f给挑战者C,挑战者C运行初始化算法Setup(K,f),输出(T,BC)给敌手. 敌手A可以向挑战者发起多项式次自适应质询{ϕ(Wi),fi}1. 对于每次质询 \left\{ {\phi ({\mathcal{W}_i}),{f_i}} \right\} ,挑战者\mathcal{C}为敌手\mathcal{A}生成搜索令牌{\tau _{s,i}}. 或者更新令牌{\tau _{u,i}}. 由于\mathcal{A}是自适应敌手,所以其每次质询的结果都可以作为输入来产生下一次质询. 在所有q次质询结束后,敌手\mathcal{A}输出一个比特值b作为该实验的输出.

    2) Idea{l_{{\mathcal{A}},{\mathcal{S}}}}({1^k}) . 为敌手\mathcal{A}和模拟器\mathcal{S}im之间的交互式实验. 敌手\mathcal{A}输出索引结构\delta . 根据泄露函数{\mathcal{L}_1},模拟器\mathcal{S}im生成模拟的(\widetilde T,\widetilde {BC})并发送给敌手\mathcal{A}. 敌手\mathcal{A}可以向模拟器\mathcal{S}im发起多项式次自适应质询\{ \phi ({\mathcal{W}_i}), {\delta _{{f_i}}}\} _{1 \leqslant i \leqslant q}. 对于每次质询(\phi ({\mathcal{W}_i}),{\delta _{{f_i}}}),模拟器可以访问泄露函数{\mathcal{L}_2}{\mathcal{L}_3}其中之一,并返回给敌手对应的模拟搜索令牌{\tilde \tau _{\mathcal{S}}}. 最终,敌手\mathcal{A}返回一个比特值b作为该实验的输出.

    VBSE-BI方案满足动态IND-CKA2安全性,当且仅当对于所有满足概率多项式时间计算能力的敌手\mathcal{A},存在多项式时间计算能力的模拟器\mathcal{S}im,使得

    |Pr[Rea{l_{\mathcal{A}}}({1^k}) = 1] - Pr[Idea{l_{{\mathcal{A}},{\mathcal{S}}}}({1^k}) = 1]| \leqslant negl({1^k}) \text{,}

    其中negl({1^k})为以 {1^k} 为输入的可忽略函数.

    定义4. 不可伪造性. 设\mathcal{A}为一个有状态的敌手,\mathcal{C}为挑战者,{\mathcal{L}_1}{\mathcal{L}_2}{\mathcal{L}_3}分别为初始化、搜索、更新文件阶段的泄露函数. 考虑游戏 Forg{e_{\mathcal{A}}}({1^k}) 中,敌手\mathcal{A}输出文件集合f给挑战者\mathcal{C},挑战者\mathcal{C}运行初始化算法(T,BC) \leftarrow Setup{\text{(}}K,f{\text{)}},输出区块链索引BC以及密态查找表T给敌手. 敌手\mathcal{A}可以向挑战者发起多项式次自适应质询 {[\left\{ {\phi ({\mathcal{W}_i}),{f_i}} \right\}]_q} . 在所有q次质询结束后,敌手输出包含一组关键字的布尔表达式\phi (\mathcal{W})、一个针对该表达式的错误搜索结果 {\widetilde R_{\phi ({\mathcal{W}})}} 和针对这一错误结果的证明 \pi . 如果证明可以通过验证算法的验证,即 Verify(K,{\widetilde R_{\phi ({\mathcal{W}})}},\pi ) = 1 ,那么实验输出1,否则输出0.

    VBSE-BI方案满足不可伪造性,当且仅当对于所有满足多项式时间计算能力的敌手\mathcal{A},使得:Pr{\text{[}}Forg{e_{\mathcal{A}}}({1^k}) = 1] \leqslant negl({1^k}),其中negl({1^k})为以{1^k}为输入的可忽略函数.

    本节给出VBSE-BI方案的设计思路与具体构建方法. 首先通过构建基于区块链数据存储的增量安全索引结构来实现对密文的搜索以及高效更新,然后设计布尔搜索结果完整性验证方法来实现布尔搜索结果的完整性验证;最后根据设计思路完成方案中每个算法和协议的详细构建.

    VBSE-BI的主要搜索结构包含存储于区块链结构中的增量链式安全索引(简称区块链索引BC)以及存储于云服务器的密态查找表T. 令FGP为3个伪随机函数,用户U随机选择3个长度k 比特的比特串 {K_1} {K_2} {K_3} 作为伪随机函数FGP的密钥. 用户首先在文件集合f = ({f_1},{f_2}, … ,{f_{\# f}})中提取到关键字信息{\mathcal{W}} = ({w_1},{w_2}, … ,{w_{\# {\mathcal{W}}}}),构建以关键字为引导的进行组织的\# {\mathcal{W}}条虚拟链表({L_1},{L_2}, … ,{L_{\# {\mathcal{W}}}}),每个链表都由\# {f_w}个节点({N_1},{N_2}, … ,{N_{\# {f_w}}})构成,每个节点都存储一个唯一的“文件/关键字”对,所有链表共同构成链式索引结构. 随后,用户将链式索引结构以数据条目的形式上传到区块链中,每个节点存储在BC中的一条交易中. 为了能够将区块链索引中一条虚拟链表中的不同节点进行连接,在每个节点{N_i}内额外添加指针信息addr({N_{i - 1}}),指向链表内上一个节点{N_{i - 1}}的交易地址,从而实现整条链表的高效定位与查找. 定义节点{N_i}的结构为{N_i} = \langle {f_i},addr({N_{i - 1}}),flag\rangle ,其中{f_i}为文件的唯一标识, addr({N_{i - 1}})表示链表内上一个节点{N_{i - 1}}的交易地址,flag为增删标识位. 链表{L_w}中的所有节点都使用{P_{{K_3}}}(w)进行异或加密从而对索引的真实索引信息进行隐私保护,其中{K_3}为伪随机函数P的密钥. 除此之外,用户构建查找表T,包含了系统中的所有关键字信息,对于每个关键字w,查找表T中的对应元素以{F_{{K_1}}}(w)为键,以指向指向区块链索引中链表{L_w}的末节点地址addr\left( {{N_{\# {f_w}}}} \right)为值,其中{K_1}为伪随机函数F的密钥,addr\left( {{N_{\# {f_w}}}} \right)使用{G_{{K_2}}}(w)进行异或加密,其中{K_2}是伪随机函数G的密钥.

    搜索关键字{w_i} \in {\mathcal{W}}包含的文件时,服务器S使用{F_{{K_1}}}({w_i})作为键来在密态查找表T中定位到到密态地址,使用{G_{{K_2}}}({w_i})来解密得到{L_{{w_i}}}的末节点地址明文,并链接到区块链索引BC中的相关交易,最后使用{P_{{K_3}}}({w_i})来解密交易信息,获得文件标识和前一个节点的地址信息,进而在区块链索引BC中提取到链表 {L_w}_{_i} 中所有节点 \left( {{N_1},{N_2}, … ,{N_{\# {f_{{w_i}}}}}} \right) 的信息,得到针对关键字{w_i}的文件标识符集合{f_{{w_i}}}.

    图2为索引结构示意图. 为了更好地说明方案的索引结构间的关系和搜索过程,图2中索引结构均以明文形式阐述. 在区块链结构中,一定数量的新数据条目作为交易的形式封装到一个新的块中,块头包含当前链的最后一个块的哈希值、随机数、交易的Merkle哈希根以及时间戳等信息,块体包含了所有的交易信息,即存储索引BC. 例如,对于关键字{w_2},在查找表中键{w_2}对应的值为402,即指向了区块链中地址为402的交易. 地址为402的交易信息中存储了一个指向地址为101的交易的指针,地址为101的交易中存储的指针指向了地址0,然后结束遍历. 通过对关键字{w_2}的虚拟链表的遍历,所有包含关键字{w_2}的文件都可以被找到. 上述过程实现搜索正确性的思想是,由于区块链结构对网络中的所有对等点都是可审计的,一旦挖掘出一个块并达成一致意见,就不再在该块中进一步执行修改操作. 因此区块链索引凭借着安全不可篡改的特性, 能防止已经确认的交易记录被更改,能够保证每个得到有效性验证的区块数据和交易记录中的节点信息的完整性,因此其保证了索引存储以及搜索的正确性.

    图  2  BC 索引结构示意图
    Figure  2.  Schematic diagram of BC index structure

    为了搜索针对关键字集合{\mathcal{W}} = \{ {w_1},{w_2}, … ,{w_n}\} 的某个布尔表达式\phi (\mathcal{W}),服务器S需要通过查找表对每个关键字{w_i} \in \mathcal{W}在区块链中定位链表{L_{{w_i}}}的末节点{N_{\# {f_{{w_i}}}}}的地址addr\left( {{N_{\# {f_{{w_i}}}}}} \right),并分别在区块链索引中进行搜索,得到结果R{\text{ = }}\left( {{f_{{w_1}}},{f_{{w_2}}}, … ,{f_{{w_{_{{\text{\# }}{\mathcal{W}}}}}}}} \right)后进行针对布尔表达式\phi (\mathcal{W})的运算. 根据类型不同,布尔运算正确性满足如下性质:

    1)交集. 如果I = \{ {f_1},{f_2}, … ,{f_m}\} {f_{{w_1}}},{f_{{w_2}}}, … ,{f_{{w_n}}}正确交集,当且仅当下列2个条件成立:①子集条件. 作为集合的交集,集合I一定为每一个集合{f_{{w_i}}}的子集,即 \left( {I \subseteq {f_{{w_1}}}} \right) \cap … \cap \left( {I \subseteq {f_{{w_n}}}} \right) ;② 完备性条件. 集合I必须包含集合{f_{{w_1}}},{f_{{w_2}}}, … ,{f_{{w_n}}}的所有共同关键字,即 \left( {{f_{{w_1}}} - I} \right) \cap … \cap \left( {{f_{{w_n}}} - I} \right) = {f_{{w_m}}} .

    2)并集. 直观上,U = \{ {f_1},{f_2}, … ,{f_m}\} {f_{{w_1}}},{f_{{w_2}}}, … ,{f_{{w_m}}}正确并集,当且仅当下列2个条件成立:①成员条件. 作为集合的并集,集合U中的任何文件一定包含于某个集合{f_{{w_i}}},即\forall {f_k} \in U,\exists i \in \left\{ {1,2, … ,n} \right\}:{f_k} \in {f_{{w_n}}};②超集条件. 任何集合{f_{{w_i}}}一定是集合U的子集,即 \left( {U \supseteq {f_{{w_1}}}} \right) \wedge \left( {U \supseteq {f_{{w_2}}}} \right) \wedge … \wedge \left( {U \supseteq {f_{{w_n}}}} \right) .

    3)差集. 给定集合D和2个集合{f_{{w_i}}},{f_{{w_j}}}D{f_{{w_i}}},{f_{{w_j}}}正确差集当且仅当差集条件成立:集合D中的文件包含所有包含关键字{w_i}但不包含关键字{w_j}中的文件,即D = {f_{{w_i}}} - {f_{{w_j}}} \Leftrightarrow {f_{{w_i}}} - \left( {{f_{{w_i}}} - D} \right) = {f_{{w_i}}} \cap {f_{{w_j}}}. 如果{I_{{w_i} \wedge {w_j}}}为集合{f_{{w_i}}}{f_{{w_j}}}的交集,即{I_{{w_i} \wedge {w_j}}} = {f_{{w_i}}} \cap {f_{{w_j}}},则集合D{I_{{w_i} \wedge {w_j}}}的并集与集合{f_{{w_i}}}相等:D \cup {I_{{w_i} \wedge {w_j}}} = {f_{{w_i}}}. 因此,证明D = {f_{{w_i}}} - {f_{{w_j}}}等价于证明{f_{{w_i}}} = D \cup {I_{{w_i} \wedge {w_j}}},即证明{f_{{w_i}}}D{I_{{w_i} \wedge {w_j}}}的并集.

    本文设计融合双线性映射累加器和扩展欧几里德算法的集合运算正确性证明方法.

    具体来讲,为了证明并集搜索结果I的子集条件,对于所有w \in {\mathcal{W}},首先用户分别为{f_{{w_1}}},{f_{{w_2}}}, … ,{f_{{w_n}}}计算累加值acc({f_{{w_i}}}),然后便可以为每一个集合{f_{{w_i}}}生成对应的子集包含证据(I,{{\mathcal{W}}_{ I,{f_{{w_i}}}}}). 用户利用acc({f_{{w_i}}})(I,{{\mathcal{W}}_{ I,{f_{{w_i}}}}})验证集合I和集合{S_i}之间的子集包含关系了. 除此之外,若集合I是完备的,当且仅当存在多项式{q_1}(s),{q_2}(s), … ,{q_n}(s),使得{q_1}(s){P_1}(s) + {q_2}(s){P_2}(s) + … + {q_n}(s){P_n}(s) = 1,其中

    {P_i}(s) = \prod\limits_{f \in {S_i} - I} {\left( {s + id(f)} \right)} .

    因此假设I并不是完备的集合,那么在多项式{P_1}(s),{P_2}(s), … ,{P_n}(s)中至少存在一个公因式. 在这种情况下,便不存在多项式{q_1}(s),{q_2}(s), … ,{q_n}(s)使得{q_1}(s){P_1}(s) + {q_2}(s){P_2}(s) + … + {q_n}(s){P_n}(s) = 1. 因此如果能找到符合要求的{q_1}(s),{q_2}(s), … ,{q_n}(s),那么就说明{P_1}(s),{P_2}(s), … ,{P_n}(s)中一定不存在公因式.

    为了证明并集搜索结果U的成员条件,需要为集合U中的每个文件{f_j}生成针对文件集合{f_{{w_i}}}的成员证据 {\mathcal{M}_{j,i}} . 验证时,验证成员条件通过验证下列等式是否成立: e\left( {{{\mathcal{M}}_{j,i}},{g^{{f_j}}}{g^s}} \right) = e\left( {acc\left( {{f_{{w_i}}}} \right),g} \right) . 需要注意的是,对于集合U中的每个文件{f_j},只有当对于每个集合{f_{{w_i}}}上述等式都不成立时,才表示元素{f_j}不属于任意集合{f_{{w_i}}},此时认为验证失败. 证明超集条件时,需要为{f_{{w_1}}},{f_{{w_2}}}, … ,{f_{{w_n}}}构造超集证据:对于1 \leqslant i \leqslant n,计算

    {P_i} = \prod\limits_{f \in U - {f_{{w_i}}}} {(s + f)} \text{,}

    \mathcal{S} = {\{ {\mathcal{S}_i}\} _{1 \leqslant i \leqslant n}} = {\{ {g^{{P_i}}}\} _{1 \leqslant i \leqslant n}}为超集证据. 验证时,通过验证下列等式是否成立,验证

    e\left( {{{\mathcal{S}}_i},acc\left( {{f_{{w_i}}}} \right)} \right) = e({g^{\prod\limits_{k = 1}^d {(s + {f_k})} }},g) \text{,}

    其中{S_i}为超集证据S中元素. 如果所有的验证过程都通过,那么就可以认为U是正确的,即的确是由{f_{{w_1}}},{f_{{w_2}}}, … ,{f_{{w_n}}}通过并集运算得到的结果. 由于差集证明方法可规约为并集证明,因此不再过多赘述.

    用户U可以随时在方案中添加或删除包含{{\mathcal{W}}_f} = ({w_1},{w_2}, … ,{w_n})关键字的文件f. 对于{{\mathcal{W}}_f}中的任意关键字{w_i},首先用户U和服务器S交互获取密态查找表T中与{w_i}对应的链表{L_{{w_i}}}的末节点{N_{\# {f_{{w_i}}}}}在区块链索引BC中的交易地址addr{\text{(}}{N_{\# {f_{{w_i}}}}})以及相关累加值acc({f_{{w_i}}}),并且利用此地址addr({N_{\# {f_{{w_i}}}}})更新链表{L_{{w_i}}}——增加文件f对应的新的末节点N_{\# {f_{{w_i}}}}^{'}. 之后用户将N_{\# {f_{{w_i}}}}^{'}作为交易的形式更新到区块链索引BC中,得到N_{\# {f_{{w_i}}}}^{'}的交易地址addr(N_{\# {f_{{w_i}}}}^{'}). 除此之外,用户需要利用原有{f_{{w_i}}}对应的累加值acc({f_{{w_i}}})和更新的文件f计算新的累加值acc({f_{{w_i}}})'. 最后用户将addr(N_{\# {f_{{w_i}}}}^{'})以及累加值acc({f_{{w_i}}})'更新到查找表中{w_i}键对应的值中,至此完成安全索引结构的更新. 由于区块链结构为增量数据结构,且具有防篡改性,因此无法修改或删除已有交易值信息,针对上述情况,将添加和删除文件过程均利用添加节点至区块链来进行,通过在每个节点内区分标flag标志位的值来区分添加和删除操作,flag{\text{ = 1}}则表示f为增加的文件,flag{\text{ = 0}}则表示f为删除的文件. 上述动态更新过程中服务器S可以在无需对查找表进行解密的情况下,使用用户发送的更新令牌中的密文信息直接对密态查找表直接进行更新.

    F:{\{ 0,1\} ^k} \times {\{ 0,1\} ^*} \to {\{ 0,1\} ^k}G:{\{ 0,1\} ^k} \times {\{ 0,1\} ^*} \to {\{ 0,1\} ^*}P:{\{ 0,1\} ^k} \times {\{ 0,1\} ^*} \to {\{ 0,1\} ^k} 为3个固定长度伪随机函数, {\sum _{BC}}(Init,Put,Get) 为区块链数据存储结构,具体的算法及协议描述如下:

    (K,PP) \leftarrow KeyGen{\text{(}}{{\text{1}}^k}{\text{)}}:进行用户端密钥的生成. 主要步骤如下:

    1)随机选择3个长度为k比特的比特串{K_1},{K_2},{K_3}.

    2)选择双线性配对的参数 (p,G,{\mathcal{G}},e,g) .

    3)选择 s \in \mathbb{Z}_p^* 作为一个随机的秘密陷门.

    4)计算 (g,{g^s},{g^{{s^2}}}, … {g^{{s^q}}}) 作为公开参数.

    5)输出密钥K = ({K_1},{K_2},{K_3},s),并输出公开参数PP = (g,{g^s},{g^{{s^2}}}, … ,{g^{{s^q}}}).

    (T,BC) \leftarrow Setup{\text{(}}K,f{\text{)}}:用户U初始化索引结构. 主要步骤如下:

    1)初始化长度为\# {\mathcal{W}}的查找表T.

    2)调用 {\sum }_{BC}{}_{·}Init\text{(}k\text{)} 算法,输入安全参数k,初始化区块链索引BC.

    3)对于每个关键字w \in {\mathcal{W}}

    ① 构建一个由\# {f_w}个节点({N_1},{N_2} … ,{N_{\# {f_w}}})构成的链表L,节点的结构定义为

    {N_i} = \langle {f_i},addr({N_{i - 1}}),flag\rangle \oplus {P_{{K_2}}}(w)\text{,}

    其中{f_i}为文件标识,addr({N_{i - 1}})表示节点{N_{i - 1}}的交易地址,addr({N_1}) = \bot flag为增删标识位;

    ② 对于链表{L_w}的所有节点({N_1},{N_2}, … ,{N_{\# {f_w}}}),依次调用 {\sum }_{BC}{}_{·}Put\text{(}{N}_{i}\text{)} 算法,将节点{N_i}作为交易值封装进区块链索引BC的区块上并获取交易地址addr({N_i}),最终返回addr({N_{\# {f_w}}}).

    4)对于每个关键字w \in {\mathcal{W}}

    ① 计算 {f_w} 的累加值,即

    acc({f_w}) = {g^{\prod\limits_{f \in {f_w}} {\left( {s + id(f)} \right)} }} .

    ② 输出区块链索引BC和密态查找表T共同作为安全索引结构,即

    T\left[ {{F_{{K_1}}}(w)} \right] = \left\langle {{\theta _1}{\text{,}}{\theta _2}} \right\rangle = \left\langle {addr({N_{\# {f_w}}}) \oplus {G_{{K_3}}}(w),acc({f_w})} \right\rangle .

    ({R_{\phi ({\mathcal{W}})}},\pi ; \bot ) \leftarrow Search(U(K,\phi ({\mathcal{W}}));S(T,BC)) :用户U和云服务器S交互执行针对关键字集合\mathcal{W} = \{ {w_1}, … ,{w_n}\} 的布尔表达式\phi (\mathcal{W})的搜索过程,服务器针对搜索结果生成相应布尔运算证明. 主要步骤如下:

    1)用户U.

    ① 针对每个搜索关键字w_i \in \mathcal{W}:生成搜索令牌{\tau _i} = ({\tau _{i,1}},{\tau _{i,2}},{\tau _{i,3}}) = ({F_{{K_1}}}({w_i}),{G_{{K_2}}}({w_i}),{P_{{K_3}}}({w_i})).

    ② 发送搜索令牌{\tau _s} = (\phi (\mathcal{W}),{\{ {\tau _i}\} _{i \in \mathcal{W}}})给服务器S.

    2)服务器S.

    对于每个关键字{w_i} \in \mathcal{W},执行以下步骤:

    ① 使用{\tau _{i,1}}作为键检索密态查找表T中的值{\theta _1} \leftarrow T[{\tau _{i,1}}].

    ② 计算链表头节点在索引BC中的交易地址{\alpha _1} \leftarrow {\theta _1} \oplus {\tau _{i,2}}.

    ③ 在BC中获取地址addr({N_{\# {f_{{w_i}}}}})的交易值 t{x}_{1}\leftarrow {\sum }_{BC}{}_{·}Get\left(add{r}_{{N}_{\#{f}_{w}}}\right) .

    ④ 计算{a_1}||{a_2}||{a_3} \leftarrow t{x_1} \oplus {\tau _{i,3}}.

    ⑤ 如果{a_3} = 1,则更新 {R_{{w_i}}} \leftarrow {R_{{w_i}}} \cup \left\{ {{a_1}} \right\} ,如果{a_3} = 0,则更新 {R_{{w_i}}} \leftarrow {R_{{w_i}}}/\left\{ {{a_1}} \right\} .

    ⑥ 如果{a_2} \ne \bot ,则重复过程③④,继续查找BC中地址为{a_2}的交易值,直到{a_2} = \bot . 对于所有关键字 {w_i} \in \mathcal{W}搜索完毕后,得到搜索结果R = ( {R_{{w_1}}},{R_{{w_2}}}, … , {R_{{w_{_{\# {\mathcal{W}}}}}}} ).

    对于布尔表达式\phi (\mathcal{W}),云服务器S进行如下步骤完整集合运算的证明:

    1)交集证明.

    步骤1. 计算交集{R_I} = {R_{{w_1}}} \cap {R_{{w_2}}} \cap … \cap {R_{{w_n}}},其中{R_I} = \{ {f_1},{f_2}, … ,{f_m}\} .

    步骤2. 对于每个集合 {R_{{w_i}}} 1 \leqslant i \leqslant n,执行如下:

    ①计算多项式{P_i} = \prod\limits_{f \in {R_{{w_i}}} - {R_I}} {\left( {s + f} \right)} .

    ②计算集合{R_I}对于 {R_{{w_i}}} 的子集包含证据 {{\mathcal{I}}_{{R_I},{R_{{w_i}}}}} = {g^{{P_i}}} .

    ③计算子集证据{\mathcal{I}} = \{ {{\mathcal{I}}_i}\} = {\{ {{\mathcal{I}}_{I,{f_{{w_i}}}}}\} _{1 \leqslant i \leqslant n}}.

    ④使用公开参数(g,{g^s}, … ,{g^{{s^q}}})来计算{g^{{P_i}}}的值.

    ⑤给定\{ {P_1},{P_2}, … ,{P_n}\} ,使用扩展欧几里德算法找到多项式\{ {q_1},{q_2}, … ,{q_n}\} ,满足{q_1}{P_1} + {q_2}{P_2} + … + {q_n}{P_n} = 1. 整合{\mathcal{C}} = \{ {g^{{q_1}}},{g^{{q_2}}}, … ,{g^{{q_n}}}\} 为完备性证据.

    步骤3. 整合交集证据 {\pi _I} = \{ {\mathcal{I}},{\mathcal{C}}\} .

    2)并集证明.

    步骤1. 计算并集{R_U} = {R_{{w_1}}} \cup {R_{{w_2}}} \cup … \cup {R_{{w_n}}},其中{R_U} = \{ {f_1},{f_2}, … ,{f_m}\} .

    步骤2. 对于每个集合 {R_{{w_i}}} 1 \leqslant i \leqslant n,执行如下:

    ①对于{R_U}中每个文件{f_k},计算多项式

    {F_{k,i}} = \prod\limits_{f \in {R_{{w_i}}} - {f_k}} {(s + f)} .

    ②使用公开参数(g,{g^s}, … ,{g^{{s^q}}})计算{\mathcal{M}_{k,i}} = {g^{{F_{k,i}}}}.

    步骤3. 计算多项式{P_i} = \prod\limits_{f \in {R_U} - {R_i}} {(s + f)} .

    步骤4. 计算成员证据\mathcal{M}{ = }{\{ {\mathcal{M}_{i,j}}\} _{1 \leqslant i \leqslant n,1 \leqslant k \leqslant m}},超集证据\mathcal{S} = {\{ {\mathcal{S}_i}\} _{1 \leqslant i \leqslant n}} = {\{ {g^{{P_i}}}\} _{1 \leqslant i \leqslant n}}.

    步骤5. 整合并集证据 {\pi _U} = \{ {\mathcal{M}},{\mathcal{S}}\} .

    3)差集证明.

    设差集搜索令牌{\tau _s} = (\mathcal{D}({w_i},{w_j}),{\tau _i},{\tau _j}) ,计算差集{R_D} = {R_{{w_i}}} - {R_{{w_j}}},其中{R_D} = \{ {f_1},{f_2}, … ,{f_m}\} . 之后服务器按照如下方式计算证据 {\pi _D} = \{ {\mathcal{M}},{\mathcal{S}}\} 以完成证明:

    步骤1. 对于{R_D}中每个文件{f_k}1 \leqslant k \leqslant m

    ①计算多项式

    {F_1} = \prod\limits_{f \in {R_D} - {f_k}} {(f + s)} {F_{2,1}} = \prod\limits_{f \in {R_{{w_i}}} - {f_{_k}}} {(f + s)} ,以及{F_{2,2}} = \prod\limits_{f \in {R_{{w_j}}} - {f_{_k}}} {(f + s)} .

    ②使用公开参数(g,{g^s}, … ,{g^{{s^q}}})来计算

    {\mathcal{M}}= \{ {\mathcal{M}}_1,{\mathcal{M}}_2,{\mathcal{M}}_3\} \text{,}

    其中 {\mathcal{M}}_1=g^{F_1} {\mathcal{M}}_2=g^{F_{2,1}} {\mathcal{M}}_3=g^{F_{2,2}}.

    步骤2. 计算交集{I_{{w_i} \wedge {w_j}}} = {R_{{w_i}}} \cap {R_{{w_j}}}.

    步骤3. 计算 acc({I_{{w_i} \wedge {w_j}}}) = {g^{\prod\limits_{f \in {I_{{w_i} \wedge {w_j}}}} {(f + s)} }} .

    步骤4. 对于集合{R_D}{I_{{w_i} \wedge {w_j}}},计算

    {P_1} = \prod\limits_{f \in {R_{{w_i}}} - {R_D}} {(f + s)} \text{,}
    {P_2} = \prod\limits_{f \in {R_{{w_i}}} - {I_{{w_i} \wedge {w_j}}}} {(f + s)} \text{,}
    {P_3} = \prod\limits_{f \in {R_D}} {(f + s)} ,
    {P_4} = \prod\limits_{f \in {I_{{w_i} \wedge {w_j}}}} {(f + s)} .

    步骤5. 计算超集证据:

    \mathcal{S} = ({\mathcal{S}_1},{\mathcal{S}_2},{\mathcal{S}_3},{\mathcal{S}_4}) = ({g^{{P_1}}},{g^{{P_2}}},{g^{{P_3}}},{g^{{P_4}}}) .

    步骤6. 整合差集证据 {\pi _D} = \{ {\mathcal{M}},{\mathcal{S}}\} .

    随后,云服务器S将搜索结果集合 {R_{\phi ({\mathcal{W}})}} 和针对该集合的证明 \pi 返回给用户U.

    b \leftarrow Verify(K,{R_{\phi ({\mathcal{W}})}},\pi ) :用户U验证布尔搜索结果的完整性. 主要步骤如下:

    1)交集验证.

    步骤1. 对于{\tau _s}中的每个{\tau _i}1 \leqslant i \leqslant n,使用 {\theta _2}通过以下等式来验证子集条件:

    e( {{g^{\prod\limits_{k = 1}^m {(s + {f_k})} }},{\mathcal{S}_i}} ) = e\left( {{\theta _2},g} \right) \text{,}

    其中({f_1},{f_2}, … ,{f_m})为交集中的元素,{\mathcal{S}_i} = {g^{{P_i}}}为子集证据\mathcal{S}中元素.

    步骤2. 通过以下等式来验证完备性条件:

    \prod\limits_{i = 1}^m {e({\mathcal{S}_i},{\mathcal{C}_i})} = e(g,g)\text{,}

    其中{\mathcal{S}_i}{\text{ = }}{g^{{P_i}}}为子集证据\mathcal{S}中元素,{\mathcal{C}_i} = {g^{{q_i}}}为完备性证据\mathcal{C}中对应元素.

    步骤3. 如果上述验证过程都通过,则输出1代表验证成功;否则输出0代表验证失败.

    2)并集验证.

    步骤1. 对于每个文件{f_k} \in U1 \leqslant k \leqslant m,使用{\theta _2}通过以下等式来验证验证成员条件:

    e\left( {{\mathcal{M}_{k,i}},{g^{{f_k}}}{g^s}} \right) = e\left( {{\theta _2},g} \right)\text{,}

    其中{\mathcal{M}_{k,i}}{\text{ = }}{g^{{F_{k,i}}}}\mathcal{M}中的元素.

    步骤2. 对于每个集合{R_{{w_i}}},1 \leqslant i \leqslant n,通过以下等式来验证超集条件:

    e\left( {{{\mathcal{S}}_i},acc\left( {{f_{{w_i}}}} \right)} \right) = e({g^{\prod\limits_{k = 1}^d {(s + {f_k})} }},g) \text{,}

    其中{\mathcal{S}_i}为超集证据\mathcal{S}中元素.

    只有{R_U}中的存在文件对于任意集合{f_{{w_i}}}的成员条件均不成立时,认为验证失败.

    步骤3. 如果上述验证过程都通过,则输出1代表验证成功;否则输出0代表验证失败.

    3)差集验证.

    步骤1. 对于每个文件标识{f_k} \in {R_{{w_i}}},1 \leqslant k \leqslant m,通过以下等式来验证成员条件:

    \begin{split} e\left( {{{\mathcal{M}}_1},{g^{{f_k}}}{g^s}} \right) =\;& e\left( {acc\left( {{R_D}} \right),g} \right) \text{,} e\left( {{{\mathcal{M}}_2},{g^{{f_k}}}{g^s}} \right) = \\ &e\left( {acc({R_{{w_i}}}),g} \right) \text{,} e\left( {{{\mathcal{M}}_3},{g^{{f_k}}}{g^s}} \right) = \\ &e\left( {acc({R_{{w_j}}}),g} \right) \text{,} \end{split}

    其中({\mathcal{M}_1},{\mathcal{M}_2},{\mathcal{M}_3}) = ({g^{{F_1}}},{g^{{F_{2,1}}}},{g^{{F_{2,2}}}})为成员证据\mathcal{M}中的元素.

    步骤2. 对于集合R{I_{{w_i} \wedge {w_j}}},通过以下等式来验证超集条件:

    e\left( {{{\mathcal{S}}_1},{{\mathcal{S}}_3}} \right) = e({g^{\prod\limits_{k = 1}^d {(s + {f_k})} }},g) \text{,}
    e\left( {{{\mathcal{S}}_2},{{\mathcal{S}}_{\text{4}}}} \right) = e({g^{\prod\limits_{k = 1}^d {(s + {f_k})} }},g) \text{,}

    其中 ({\mathcal{S}_1},{\mathcal{S}_2},{\mathcal{S}_3},{\mathcal{S}_4}) = ({g^{{P_1}}},{g^{{P_2}}},{g^{{P_3}}},{g^{{P_4}}}) 为超集证据\mathcal{S}中元素.

    步骤3. 当步骤1中成员条件3个等式都不成立时,判定验证失败. 如果上述验证过程都通过,则输出1代表验证成功;否则输出0代表验证失败.

    ( \bot ;T';BC') \leftarrow Update{\text{(}}U(K,f);S(T);BC) :用于用户U添加或删除包含 {{\mathcal{W}}_f} = ({w_1},{w_2}, … ,{w_d}) 关键字的文件 f 时索引结构的更新. 主要步骤如下:

    用户U计算 ({F_{{k_F}}}({w_1}),{F_{{k_F}}}({w_2}), … ,{F_{{k_F}}}({w_d})) 发送至服务器S.

    服务器S对于每一个 t_u^j ,在查找表中获取 T{\text{[}}t_u^j{\text{]}} ,将 ({\theta _1},{\theta _2}, … ,{\theta _d}) 按序发送回用户U.

    1)用户U对于每一个 {\theta _i} ,执行以下步骤:

    步骤1. 计算 add{r_{{N_{\# {f_{{w_i}}} - 1}}}} = {\theta _i} \oplus {G_{{k_G}}}({w_i}) .

    步骤2. 如添加文件,计算

    {N_{\# {f_{{w_i}}}}} = \left\langle {f{\text{,}}add{r_{{N_{\# {f_{{w_i}}} - 1}}}},1} \right\rangle \oplus {P_{{K_P}}}({w_i}) \text{,}

    如删除文件,计算

    {N_{\# {f_{{w_i}}}}} = \left\langle {f{\text{,}}add{r_{{N_{\# {f_{{w_i}}} - 1}}}},0} \right\rangle \oplus {P_{{K_P}}}({w_i}).

    步骤3. 调用 {\sum }_{BC}{}_{·}Put\left({N}_{\#{f}_{{w}_{i}}}\right) ,将{N_{\# {f_{{w_i}}}}}作为交易值封装进区块链索引BC的区块上并获取交易地址 addr\left( {{N_{\# {f_{{w_i}}}}}} \right) .

    步骤4. 计算更新后{f_{{w_i}}}对应的相关累加值

    \tau _{u,i}^3 \leftarrow {\theta _2}^{s + f}.

    步骤5. 计算\tau _i^2 \leftarrow {G_{{K_G}}}({w_i}) \oplus addr\left( {{N_{\# {f_{{w_i}}}}}} \right).

    步骤6. 如果为添加操作,计算\tau _i^3 \leftarrow {\theta _2}^{s + f}.如果为删除操作,计算\tau _{u,i}^3 \leftarrow {\theta _2}^{1/\left( {s + f} \right)}.

    步骤7. 计算{\tau _i} = \left( {\tau _i^1,\tau _i^2,\tau _i^3} \right).

    步骤8. 对于所有{\theta _i}执行完步骤1~6后,将{\tau _u} = \left( {{\tau _1},{\tau _2}, … ,{\tau _d}} \right)作为更新令牌发送给服务器.

    2)服务器S对于每个\tau _i^{},执行以下步骤:

    步骤1. 获取({\theta _1},{\theta _2}) \leftarrow T[{\tau _{i,1}}].

    步骤2. 使用\tau _{u,i}^2{\theta _1}进行更新\theta _1^\prime \leftarrow \tau _{u,i}^1.

    步骤3. 使用\tau _{u,i}^3{\theta _2}进行更新\theta _2^\prime \leftarrow \tau _{u,i}^3.

    步骤4. 更新查找表T({\theta _1}^\prime ,{\theta _2}^\prime ) \leftarrow T[{\tau _{i,1}}].

    步骤5. 输出更新后的索引结构T\prime ;BC\prime .

    首先定义3个泄露函数{L_1}(T,I){{\mathcal{L}}_2}(f,\phi ({\mathcal{W}})){\mathcal{L}_3}(f)来描述初始化、搜索和更新文件执行期间向服务器泄露的信息. 接下来的定理表明,给定以上泄露函数的情况下,VBSE-BI方案在随机预言模型下满足动态自适应CKA安全性.

    定理1. 若F,G,P为伪随机函数,则VBSE-BI方案在随机预言模型下针对自适应选择关键字攻击是({\mathcal{L}_1},{\mathcal{L}_2},{\mathcal{L}_3})安全的,即满足动态IND-CKA2安全性.

    证明. 在Idea{l_{{\mathcal{A}},{\mathcal{S}}}}(k)中,通过{\mathcal{L}_1}的信息,模拟器可以确定可以获知查找表T的大小\# T、字典大小集合\# {\mathcal{W}}以及集合{[id(w)]_{w \in {\mathcal{W}}}}. 随后,它可以使用随机值来构建搜索结构,并输出作为模拟值(\widetilde T,\widetilde {BC}). 由于真实索引是使用伪随机函数F,G,P产生的,而模拟索引是由随机比特填充的,因此,如果函数F,G,P的伪随机性成立,则对于所有PPT敌手\mathcal{A},无法在多项式时间内区分真实索引和模拟索引.

    为了响应敌手的质询,模拟器需要使用{\mathcal{L}_2}{\mathcal{L}_3}来构建模拟搜索令牌和更新令牌,使其与真实令牌是无法区分的. 具体来说,泄露函数{{\mathcal{L}}_2}(\delta ,f,\phi ({\mathcal{W}}))向服务器泄露了所有关键字w \in \mathcal{W}的标识id(w),以及每个关键字标识id(w)和包含关键字w的文件标识之间的关联. 因为 {\tilde \tau _s} = ({\tilde \tau _1},{\tilde \tau _2}, … ,{\tilde \tau _n}) {\tilde \tau _i} = ( \gamma ( {id({w_i})} ) T\left[ {\gamma \left( {id({w_i})} \right)} \right] \oplus iT\left( {id({w_i})} \right),{K_{id({w_i})}} ) ,而 {\tilde \tau _s} = ({\tilde \tau _1},{\tilde \tau _2}, … ,{\tilde \tau _n}) {\tau _i} = ({F_{{K_1}}}({w_i}),{G_{{K_2}}}({w_i}), {P_{{K_3}}}({w_i})) ,根据函数F,G,P的伪随机性,对于所有概率多项式计算能力敌手A,不能区分搜索令牌和模拟搜索令牌{\tau _s}{\tilde \tau _s}. 同理,泄露函数{L_3}(f)泄露了更新协议中更新文件所包含的关键字的标识符集合. {\left[ {id(w)} \right]_{w \in {{\mathcal{W}}_f}}}. 以及关键字w是否是一个新的关键字{\left[ {apprs(w)} \right]_{w \in {{\mathcal{W}}_f}}},其中apprs(w)为一个1 b的标志位,值为1表示关键字w已经存在于索引中;值为0表示w是一个新关键字. 因此,基于函数F,G,P的伪随机性,敌手同样不能区分更新令牌{\tau _u}和模拟更新令牌.

    综上所述,对于所有PPT敌手\mathcal{A}来说,实验Rea{l_{\mathcal{A}}}(k)Idea{l_{{\mathcal{A}},{\mathcal{S}}}}(k)的输出是一致的,除了以可忽略的概率negl(k),即

    \left| {Pr\left[ {Rea{l_{\mathcal{A}}}(k) = 1} \right] - Pr\left[ {Idea{l_{{\mathcal{A}},{\mathcal{S}}}}(k) = 1} \right]} \right| \leqslant negl(k).

    因此,VBSE-BI方案在在随机预言模型下满足动态IND-CKA2安全性. 证毕.

    VBSE-BI方案的不可伪造性指对于所有概率多项式计算能力敌手\mathcal{A},针对伪造的布尔搜索结果,无法生成正确有效的证据.

    定理2. 如果双线性q-SDH假设成立,那么VBSE-BI方案满足不可伪造性.

    证明. 如果存在一个概率多项式计算能力敌手\mathcal{A}使得实验 Forg{e_{\mathcal{A}}}({1^k}) 的输出为1,那么就存在一个模拟器 Sim,有能力攻破双线性q-SDH假设. 证明主要针对交集布尔搜索场景的不可伪造性,并集以及差集证明方法与交集不可伪造性证明方法过程类似,不再赘述.

    假设\mathcal{A}在执行针对集合\mathcal{W}的搜索算法 {\text{Search}} 后,输出一个文件标识符集合 {\widetilde R_{\phi ({\mathcal{W}})}} \ne {R_{\phi ({\mathcal{W}})}} 和一个有效的证明\pi . 这意味着该证明 \pi 通过了验证算法{\text{Verify}}中的所有验证,即敌手\mathcal{A}成功的进行了伪造. 证明 \pi = \left\{ {\mathcal{S},\mathcal{C}} \right\} 中的伪造可以分为伪造 \mathcal{S} 和伪造 \mathcal{C} 这2种情况. 通过以下分析,我们能够得出,模拟器\mathcal{S}im能够通过伪造 \mathcal{S} 和伪造 \mathcal{C} 来攻破双线性q-SDH假设.

    给定模拟器\mathcal{S}im双线性q-SDH实例: (p,G,{\mathcal{G}},e,g) 以及一个(q + 1)元组(g,{g^s}, … ,{g^{{s^q}}}),模拟器\mathcal{S}im和敌手\mathcal{A}在实验 Ver{i_{\mathcal{A}}}({1^k}) 中交互.

    首先,由于模拟器\mathcal{S}im不知道给定实例中的s值,他需要对实验 Ver{i_{\mathcal{A}}}({1^k}) 进行修改,重新构造和s值相关的算法:

    1)KeyGen算法中,模拟器\mathcal{S}im在不知情s的情况下直接使用(g,{g^s},{g^{{s^2}}}, … ,{g^{{s^q}}})作为公开参数并发送给敌手\mathcal{A}.

    2)Setup算法中,模拟器\mathcal{S}im利用(g,{g^s},{g^{{s^2}}}, … ,{g^{{s^q}}})计算 acc({f_{{w_i}}}) = {g^{\prod\limits_{f \in {f_w}} {\left( {s + f} \right)} }} . 为了模拟更新令牌,模拟器\mathcal{S}im需要构造一个额外辅助结构\mathcal{N},为每个 acc({f_{{w_i}}}) 存储一个多项式 {n_w} = \prod\limits_{f \in {f_w}} {\left( {s + f} \right)} .

    3)Update协议中,模拟器\mathcal{S}im不能直接生成更新令牌{\tau _u},首先找到结构\mathcal{N}中与{\theta _{i,2}}相等的多项式{n_i},然后利用(g,{g^s},{g^{{s^2}}}, … ,{g^{{s^q}}})计算{g^{{n_i}(s + f)}},生成新的{\theta _2} = {g^{{n_i}(s + f)}}.

    模拟器\mathcal{S}im将和s值相关的数值通过上述方式计算,然而由于修改的实验中算法的输出和实验 Ver{i_{\mathcal{A}}}({1^k}) 算法的输出是不可区分的,所以在敌手\mathcal{A}的视角中,新计算的数值仍然有效. 那么如果敌手\mathcal{A}赢得了游戏,那么意味着敌手\mathcal{A}攻破了双线性q-SDH假设,即成功伪造了伪造子集证据 \mathcal{S} 或者成功伪造了完备性证据 \mathcal{C} .

    1)伪造子集证据 \mathcal{S} :敌手输出错误的搜索结果I' = \{ {f_1},{f_2}, … ,{f_m}\} 和伪造的子集证据{\mathcal{S}_i} = \stackrel{\frown}{g}^{{P_i}}. 令{S_i} = \{ {f_1}, {f_2}, … ,{f_q}\} 为包含关键字{w_i}的文件标识符集合,如果I' \not\subset {S_i},那么一定存在某个1 \leqslant j \leqslant m,使得{f_j} \notin {S_i}. 通过验证意味着

    e( {{g^{\prod\limits_{f \in I'} {(s + f)} }},{\mathcal{S}}} ) = e\left( {{g^{(s + {f_1})(s + {f_2}) … (s + {f_q})}},g} \right) \text{,}

    因为{f_j} \notin {S_i},因此(s + {f_j})并不能整除 (s + {f_1}) (s + {f_2}) … (s + {f_q}) . 所以存在一个次为q - 1的多项式Q(s)和一个常数c \ne 0,使得 (s + {f_1})(s + {f_2}) … (s + {f_q}) = Q(s)(s + {f_j}) + c . 因此

    e{( {g,\stackrel{\frown}{g}^{{P_i}}} )^{(s + {f_j})\prod\limits_{f \in I' - {f_j}} {(s + f)} }} = e{\left( {g,g} \right)^{Q(s)(s + {f_j}) + c}}

    经过变形后,最终可以得到

    e{\left( {g,g} \right)^{\frac{1}{{s + {f_j}}}}} = {\left( {e{{( {g,{\stackrel{\frown}{g}^{{P_i}}}} )}^{\prod\limits_{f \in I' - {f_j}} {(s + f)} }}e{{\left( {g,g} \right)}^{ - Q(s)}}} \right)^{1/c}} \text{,}

    这说明模拟器\mathcal{S}im可以借在多项式时间内解决双线性q-SDH问题的一个实例. 这违反了双线性q-SDH假设.

    2)伪造完备性证据 \mathcal{C} :这种情况下,敌手输出错误的交集搜索 {\widetilde R_{\phi ({\mathcal{W}})}} = \{ {f_1},{f_2}, … ,{f_m}\} 和一个完备性证据 \stackrel{\frown}{\cal C}. 因为 {\widetilde R_{\phi ({\mathcal{W}})}} R 的真子集,那么多项式{P_1},{P_2}, … ,{P_n}至少存在一个公因式. 令(s + f){P_1},{P_2}, … ,{P_n}的一个公因式,其中f \notin I'. 通过验证算法意味着 \prod\limits_{i = 1}^m {e( {\cal S},\stackrel{\frown}{\cal C} )} = e\left( {g,g} \right)成立. 通过计算{g^{{{P'}_i}}} = {({g^{{P_i}}})^{1/(s + f)}},将(s + f)从每个{P_i}中提取出来,即

    \begin{split} \prod\limits_{i = 1}^n {e\left( {{g^{{P_i}}},{g^{{q_i}}}} \right)} =\;& \prod\limits_{i = 1}^n {e( {{{( {{g^{{{P'}_i}}}} )}^{s + f}},{g^{{q_i}}}} )}= \\ &{\left( {\prod\limits_{i = 1}^n {e\left( {{g^{{{P'}_i}}},{g^{{q_i}}}} \right)} } \right)^{s + f}} =e(g,g) \end{split}

    因此模拟器\mathcal{S}im可以很容易的计算 e{\left( {g,g} \right)^{1/(s + f)}} = \prod\limits_{i = 1}^n {e\left( {{g^{{{P'}_i}}},{g^{{q_i}}}} \right)} ,从而找到双线性q-SDH问题的一个实例的解,这同样违反了双线性q-SDH假设.

    综上所述,如果敌手可以伪造出一个有效的证据,那么就存在一个模拟器\mathcal{S}im,可以攻破哈希函数{H_3}的抗碰撞性和双线性q-SDH假设的至少一个. 因此,对于所有概率多项式计算能力敌手\mathcal{A}来说,赢得实验 Ver{i_{\mathcal{A}}}({1^k}) 概率为:

    Pr{\text{[}}Forg{e_{\mathcal{A}}}({1^k}) = {\text{1}}] \leqslant negl({1^k}) \text{,}

    其中 negl({1^k}) 是一个以安全参数 {1^k} 为输入的可忽略函数. 因此VBSE-BI方案具有不可伪造性.

    本节主要分析提出VBSE-BI方案的性能,. 首先从理论层面对方案的各个阶段的性能进行综合对比评估,之后通过设计实验方案的原型系统,来对不同阶段的性能进行测试,得到实验结果.

    针对模型构建过程中的存储代价、计算代价以及通信代价3个维度分析方案性能. 设N表示关键字集合的大小,M为文件总个数,n为布尔搜索请求中包含的关键字个数,m为搜索结果中文件个数,d为更新文件包含的关键字个数. 方案的代价分析如表2所示.

    表  2  代价分析
    Table  2.  Cost Analysis
    复杂度类别 VBSE-BI方案 文献[23]方案
    用户端 服务器端 用户端 服务器端
    {\text{Sto}}{{\text{r}}_{{\text{Index}}}} {\mathcal{O}}(1) {\mathcal{O}}(N) {\mathcal{O}}(1) {\mathcal{O}}(NM){\text{ + }}{\mathcal{O}}(N){\text{ + }}{\mathcal{O}}(M)
    {\text{Com}}{{\text{p}}_{{\text{Search}}}} {\mathcal{O}}(n) {\mathcal{O}}(mn) {\mathcal{O}}(n) {\mathcal{O}}(n + mn)
    {\text{Com}}{{\text{p}}_{{\text{ProveI}}}} - {\mathcal{O}}(N{\log ^2}N\log \log N) - {\mathcal{O}}(N{\log ^2}N\log \log N)
    {\text{Com}}{{\text{p}}_{{\text{ProveU}}}} - {\mathcal{O}}(N\log N) - -
    {\text{Com}}{{\text{p}}_{{\text{ProveD}}}} - {\mathcal{O}}(N\log N) - -
    {\text{Com}}{{\text{m}}_{{\text{Search}}}} {\mathcal{O}}(n + m) {\mathcal{O}}(n + m) {\mathcal{O}}(n) {\mathcal{O}}(n\log n + m)
    {\text{Com}}{{\text{p}}_{{\text{Verify}}}} {\mathcal{O}}(n + m) - {\mathcal{O}}(n\log n + m) -
    {\text{Com}}{{\text{p}}_{{\text{Update}}}} {\mathcal{O}}(d) {\mathcal{O}}(d) {\mathcal{O}}(\log N + d) {\mathcal{O}}(d)
    {\text{Com}}{{\text{m}}_{{\text{Update}}}} {\mathcal{O}}(d) {\mathcal{O}}(d) {\mathcal{O}}(d) {\mathcal{O}}(d)
    注:{\text{Sto}}{{\text{r}}_{{\text{Index}}}}—存储空间复杂度;{\text{Com}}{{\text{p}}_{{\text{Search}}}}—搜索计算复杂度;{\text{Com}}{{\text{p}}_{{\text{ProveI}}}}—交集证明计算复杂度;{\text{Com}}{{\text{p}}_{{\text{ProveU}}}}—并集证明计算复杂度;{\text{Com}}{{\text{p}}_{{\text{ProveD}}}}—差集证明计算复杂度;{\text{Com}}{{\text{p}}_{{\text{Verify}}}}—验证计算复杂度;{\text{Com}}{{\text{m}}_{{\text{Search}}}}—搜索通信复杂度;{\text{Com}}{{\text{p}}_{{\text{Update}}}}—更新计算复杂度;{\text{Com}}{{\text{m}}_{{\text{Update}}}}—更新通信复杂度;-:无复杂度体现.
    下载: 导出CSV 
    | 显示表格

    存储代价主要考虑云服务器的安全索引存储代价,设T为长度为N的查找表,索引的空间复杂度为\mathcal{O}(N). 在计算代价方面,构建搜索令牌的计算代价与搜索关键字个数有关,时间复杂度为\mathcal{O}(n). 服务器对搜索令牌进行搜索操作时的计算复杂度为\mathcal{O}(mn),进行交集运算的渐近运行时间为\mathcal{O}(N{\log ^2}N\log \log N),并集和差集云服务器的渐近运行时间复杂度为\mathcal{O}(N\log N),用户端完成验证操作的渐近运行时间复杂度为\mathcal{O}(n) + \mathcal{O}(m). 搜索通信代价主要由搜索关键字个数以及搜索结果中文件个数决定. 当用户想要搜索n个关键字的布尔集合时,和服务器交互一次,发送搜索令牌的通信复杂度为\mathcal{O}(n),云服务器返回搜索结果的通信复杂度为\mathcal{O}(m),因此通信的数据规模为的通信复杂度为\mathcal{O}(n + m). 与同类型的文献[23]方案相比,本方案在支持更丰富的布尔查询语句的同时,降低了服务器端索引的存储代价以及搜索、验证以及更新的计算代价.

    本文对提出的方案进行了编程实现,然后通过对算法的性能测试来分析方案在实际应用中的表现. 方案部署一个远程服务器来模拟云服务器,处理器为Intel Core i7-2600 Quad-Core Processor 3.4 GHz,内存为8 GB;同时部署多台主机模拟用户端,每台主机模拟为一个和云服务器交互的用户. 此外,方案利用Ethereum仿真平台Ropsten Testnets模拟区块链存储平台,具体来说,利用Ethereum的web3 API包[26]来构建区块链索引,调用Metamask[27]创建本地钱包来实例化 {\sum }_{BC}{}_{·}Init\text{()} 算法,调用signTransaction函数实例化 {\sum }_{BC}{}_{·}Put\text{()} 算法来存储链式索引结构中的节点信息;调用sendRawTransaction函数接受已签名的交易同时输出交易的地址;搜索时,调用getTransaction函数来实例化 {\sum }_{BC}{}_{·}Get\text{()} 算法将交易的地址作为输入并输出关联的交易内容,然后读取数据字段以检索链式索引中的节点信息. 方案调用OpenSSL_SHA256-HMAC[28]算法实现伪随机函数FGP. 使用Enron邮件数据集[29]来进行性能的评估,从邮件集合中随机选择1 000个文件作为测试用的文件集.

    根据系统实现的功能,测试系统执行不同操作时的云服务器端和用户端的计算开销及通信开销,其中服务器计算开销主要测试的内容包括搜索时间、生成证明时间,用户的计算开销主要测试验证时间,通信开销主要测试云服务器返回搜索结果的数据量. 实验中每个数据均为实验重复50 次并取平均值后得到的结果.

    1)计算开销. 计算开销可以分为区块链索引搜索开销、服务器本地证明开销以及用户端本地验证开销,如图3所示. 当搜索关键字数量为(2,4,6,8,10)时,搜索区块链索引的时间开销与关键字个数大致呈线性关系(1.817~5.755 s). 证明过程耗时较搜索过程大,原因为包含较多指数运算和双线性配对运算,尽管关键字数量变化,时间开销相对稳定,维持在6.1~6.8 s之间,与理论分析一致. 由于这些计算的效率与所选用的曲线参数和配对算法有很大关系,通过多线程计算和预先计算,可以显著降低证明阶段的计算时间. 因此随着参数和算法的不断优化,其效率可以进一步得到提升. 此外,服务端的算法还可以进行一些实现方面的优化,从而可以大大降低证明阶段所花费的时间. 例如对集合证据使用多线程来计算,以及使用预先计算好的{P_i}{g^{{P_i}}}等. 用户计算开销主要测试在不同数目关键字情况下进行搜索时用户完成验证操作的时间,开销与关键字个数无关,维持在1.0~1.8 s之间. 验证过程中耗时最多的操作为双线性配对过程,与服务器端的搜索和证明时间相比,用户端计算开销为服务器端计算开销的9.98%~14.03%. 因此,VBSE-BI方案在用户端的计算开销相对较低,验证操作高效快速,极大地减少了用户端的计算负担. 这使得方案在实际应用中具有较好的用户体验,特别是在资源受限的移动设备上,表现尤为突出.

    图  3  计算开销与关键字数量之间的关系
    Figure  3.  The relationship between computational cost and the number of keywords

    2)通信开销. 通信开销主要包含搜索结果的数据量和额外证明的数据量. 图4表明了通信开销与搜索时布尔表达式中的关键字数量之间的关系. 当搜索时使用的关键字数量为(2,4,6,8,10)递增时,通信开销中搜索结果的数据量从758 B减少至201 B这是因为符合多个关键字布尔表达式的搜索结果减少,传输的数据量也相应减少. 证明数据量从502B增加至1 896 B,因为更多的关键字需要更多的证明数据来保证搜索结果的正确性和完整性,占总数据量的36.97%~76.54%. 因此,额外证明的数据量是影响通信开销的主要因素,与理论分析一致. 因此,对于频繁查询的关键字,预先生成并存储其证明数据,减少实时计算和传输的开销,可以显著减少VBSE-BI方案中的通信开销,提高整体性能. 特别是在处理较多关键字的搜索时,通过优化证明算法和减少冗余数据,可以有效地控制通信开销的增长,从而提高方案在实际应用中的效率和可扩展性.

    图  4  通信开销与关键字数量之间的关系
    Figure  4.  The relationship between communication cost and the number of keywords

    本文提出一种基于区块链索引的可验证布尔搜索加密方案. 设计基于区块链的索引构建算法和索引动态更新算法,并利用可证安全的对称加密和同态加密机制对索引进行加密,实现多关键字布尔搜索. 针对布尔搜索的完整性验证需求,给出布尔搜索结果不可伪造性定义,并提出基于双线性映射累加器和扩展欧几里德算法的布尔运算完整性验证算法. 安全性分析表明,本方案在随机预言模型下能够抵抗动态选择关键字攻击,并且在双线性阶强Diffie-Hellman 假设下满足不可伪造性. 性能分析表明,本方案有效地降低了搜索时的通信代价以及用户端计算复杂度. 本方案提升可搜索加密的可用性和确保用户享受的合法权益不受损害具有重要意义. 本文搜索协议在进行搜索结果证明时的计算代价具有提升空间,因此在未来的研究中重点关注此方面效率的提高. 除此之外,未来考虑使方案满足有隐私保护需求的更多密文搜索场景,例如基于兴趣的推荐服务以及云边协同隐私保护查询等.

    作者贡献声明:李宇溪负责模型设计,方案设计,算法设计,方案分析,论文撰写及修改;陈晶晶负责安全性分析,实验环境部署,论文撰写及修改;周福才负责模型设计,技术路线可行性分析;徐剑负责理论基础,整体思路确定;纪东负责实验分析,论文修改.

  • 图  1   大模型参数量增加趋势

    Figure  1.   Trend of parameter growth in large models

    图  2   大模型联邦参数高效微调框架

    Figure  2.   Federated efficient fine-tuning framework for large model

    图  3   大模型边缘推理流程

    Figure  3.   Process of large model inference for edge

    图  4   大模型压缩技术概况

    Figure  4.   Overview of large model compression techniques

    图  5   大模型推理算法优化概况

    Figure  5.   Overview of algorithm optimization for large model inference

    表  1   不同微调方法的比较

    Table  1   Comparison of Different Fine-Tuning Methods

    大模型微调技术 相关工作 更新的参数
    适配器微调 文献[1921] 适配器模块
    前缀微调 文献[2223] “前缀”向量序列
    提示微调 文献[2426] 提示词向量
    低秩适配 文献[2728] 低秩矩阵
    全微调技术 文献[14-16] 大模型所有参数
    下载: 导出CSV

    表  2   大模型联邦高效微调框架总结

    Table  2   Summary of Federated Efficient Fine-tuning Framework for Large Models

    大模型联邦微调框架 支持的参数高效微调方法 隐私保护 异构问题
    FedPEAT[29] 适配器调优
    FedPepTAO[30] 提示调优 ×
    SLoRA[31] 低秩适配 ×
    FedPETuning[32] 适配器调优、提示调优 ×
    FederatedScope-LLM[33] 前缀调优、提示调优、低秩适配 ×
    FATE-LLM[34] 适配器调优、提示调优
    下载: 导出CSV

    表  3   大模型压缩关键技术相关工作分类

    Table  3   Classification of Related Work for Large Model Compression

    参数剪枝 结构化剪枝 剪除冗余结构,降低模型大小和计算复杂度 文献[4548]
    非结构
    化剪枝
    实现权重稀疏化,减小模型内存使用量和计算量,依赖特定软硬件加速模型张量运算 文献[4951]
    知识蒸馏 白盒蒸馏 产生特定领域下的小模型,减少模型尺寸和计算量,同时保持模型在特定任务下的性能 文献[5260]
    黑盒蒸馏 在不访问大模型内部结构的情况下,实现蒸馏过程,产生特定领域的小模型 文献[6170]
    模型量化 训练后
    量化
    降低模型存储大小、节省存储、内存、带宽、计算量,同时保持模型精度 文献[7181]
    量化感
    知训练
    降低模型量化误差,在降低模型存储、内存、带宽、计算量的前提下,进一步保持模型精度 文献[8286]
    低秩分解 减少模型参数量,实现推理加速 文献[8791]
    “—”表示没有更细致的类别划分.
    下载: 导出CSV

    表  4   大模型推理加速技术相关工作分类

    Table  4   Classification of Related Work for Large Model Inference Acceleration Technology

    优化
    层次
    类别 目的 相关工作
    推理算法优化 KV缓存 利用缓存避免注意力的重复计算,牺牲内存提高推理速度 文献[97102]
    早期退出 提前终止或跳过不必要的计算,降低平均推理时延 文献[103110]
    高效提
    示词
    压缩或裁剪提示词,在长上下文场景下减少大模型推理计算量和成本 文献[111115]
    推测解码 避免自回归算法带来的顺序依赖性,提高模型并行能力和推理速度. 文献[116122]
    系统效率优化 算子优化 充分利用硬件加速能力,减少冗余计算 文献[123129]
    稀疏性
    加速
    减少冗余计算、冗余内存加载 文献[8, 130133]
    下载: 导出CSV

    表  5   大模型边缘部署框架总结

    Table  5   Summary of Edge Deployment Frameworks for Large Models

    适用性 框架 特点 量化 多模
    型支持
    跨平台支持
    通用 TFLite[146] 在移动设备、嵌入式设备和loT设备上运行模型,支持多种开发语言和硬件加速
    TorchExec[147] PyTorch平台下边缘部署工具,兼容多种计算平台并具有轻量级运行时
    MNN[148] 轻量级的深度神经网络引擎,对模型格式、算子、设备、操作系统具有广泛的兼容性
    NCNN[149] 适用于移动端的神经网络推理框架,无第三方依赖
    专用 MLC-LLM[150] 使用机器学习编译技术加速推理
    llama.cpp[151] C/C++中LLM推理
    llama2.c[152] 纯C语言环境执行Llama推理
    Mllm[153] 适用于移动和边缘设备的多模态推理引擎
    Intel Extension for Transformers[154] 在英特尔平台上提供LLM高效推理
    InferLLM[155] 轻量级LLM推理框架,可部署至移动设备
    TinyChatEngine[156] 支持多种设备上的多种量化方法
    NanoLLM[157] 为NVIDIA Jetson设计的轻量级LLM推理引擎
    下载: 导出CSV
  • [1]

    OpenAI. ChatGPT: Optimizing language models for dialogue[EB/OL]. (2022-12-30)[2024-02-10]. https://‌openai.‌com/‌blog/‌chatgpt/‌#rf2

    [2]

    Achiam J, Adler S, Agarwal S, et al. GPT−4 technical report[J]. arXiv preprint, arXiv: 2303.08774, 2023

    [3]

    Touvron H, Lavril T, Izacard G, et al. LLaMA: Open and efficient foundation language models[J]. arXiv preprint, arXiv: 2302.13971, 2023

    [4]

    Liu Haotian, Li Chunyuan, Wu Qingyang, et al. Visual instruction tuning[J]. arXiv preprint, arXiv: 2304.08485, 2023

    [5]

    Kirillov A, Mintun E, Ravi N, etc. Segment anything[J]. arXiv preprint, arXiv: 2304.02643, 2023

    [6]

    Touvron H, Martin L, Stone K, el al. Llama 2: Open foundation and fine-tuned chat models[J]. arXiv preprint, arXiv: 2307.09288, 2023

    [7] 王睿,齐建鹏,陈亮,等. 面向边缘智能的协同推理综述[J]. 计算机研究与发展,2021,60(2):398−414

    Wang Rui, Qi Jianpeng, Chen Liang, et al. Survey of collaborative inference for edge intelligence[J]. Journal of Computer Research and Development, 2021, 60(2): 398−414 (in Chinese)

    [8]

    Alizadeh K, Mirzadeh I, Belenko D, et al. LLM in a flash: Efficient large language model inference with limited memory[C]//Proc of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: ACL, 2024: 12562–12584

    [9]

    Mcmahan H B, Moore E, Ramage D, et al. Communication-efficient learning of deep networks from decentralized data[C]//Proc of the 20th Int Conf on Artificial Intelligence and Statistics PMLR. New York: ACM, 2017: 1273−1282

    [10]

    Custers B, Sears A M, Dechesne F, et al. EU Personal Data Protection in Policy and Practice[M]. The Hague, The Netherlands: TMC Asser Press, 2019

    [11]

    Lambda. OpenAI’s GPT−3 language model: A technical overview[EB/OL]. (2020-06-03)[2024-01-08]. https://lambdalabs.com/blog/demystifying-gpt-3#1

    [12]

    Ananthaswamy A. In AI, is bigger always better?[J]. Nature, 2023, 615(7951): 202−205 doi: 10.1038/d41586-023-00641-w

    [13]

    Brown T, Mann B, Ryder N, et al. Language models are few-shot learners[C]//Proc of the 33rd Int Conf on Neural Information Processing Systems. New York: ACM, 2020: 1877−1901

    [14]

    Lv Kai, Yang Yuqing, Liu Tengxiao, et al. Full parameter fine-tuning for large language models with limited resources[J]. arXiv preprint, arXiv: 2306.09782, 2023

    [15]

    Lv Kai, Yan Hang, Guo Qipeng, et al. AdaLomo: Low-memory optimization with adaptive learning rate[J]. arXiv preprint, arXiv: 2310.10195, 2023

    [16]

    Malladi S, Gao Tianyu, Nichani E, et al. Fine-tuning language models with just forward passes[J]. arXiv preprint, arXiv: 2305.17333, 2023

    [17]

    Ding Ning, Qin Yujia, Yang Guang, et al. Parameter-efficient fine-tuning of large-scale pre-trained language models[J]. Nature Machine Intelligence, 2023, 5(3): 220−235 doi: 10.1038/s42256-023-00626-4

    [18]

    Chen Chaochao, Feng Xiaohua, Zhou Jun, et al. Federated large language model: A position paper[J]. arXiv preprint, arXiv: 2307.08925, 2023

    [19]

    Houlsby N, Giurgiu A, Jastrzebski S, et al. Parameter-efficient transfer learning for NLP[C]//Proc of the 36th Int Conf on Machine Learning PMLR. New York: ACM, 2019: 2790−2799

    [20]

    Hu Zhiqiang, Lan Yihuai, Wang Lei, et al. LLM-adapters: An adapter family for parameter-efficient fine-tuning of large language models[J]. arXiv preprint, arXiv: 2304.01933, 2023

    [21]

    Karimi M, Henderson J, Ruder S. Compacter: Efficient low-rank hypercomplex adapter layers[C]//Proc of the 34th Int Conf on Neural Information Processing Systems. New York: ACM, 2021: 1022−1035

    [22]

    Li X, Liang P. Prefix-tuning: Optimizing continuous prompts for generation[J]. arXiv preprint, arXiv: 2101.00190, 2021

    [23]

    Zhang Renrui, Han Jiaming, Zhou Aojun, et al. Llama-adapter: Efficient fine-tuning of language models with zero-init attention[J]. arXiv preprint, arXiv: 2303.16199, 2023

    [24]

    Lester B, Al-Rfou R, Constant N. The power of scale for parameter-efficient prompt tuning[J]. arXiv preprint, arXiv: 2104.08691, 2021

    [25]

    Sun Tianxiang, He Zhengfu, Zhu Qin, et al. Multitask pre-training of modular prompt for chinese few-shot learning[C]//Proc of the 61st Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2023: 11156−11172

    [26]

    Gu Yuxian, Han Xu, Liu Zhiyuan, et al. PPT: Pre-trained prompt tuning for few-shot learning[C]//Proc of the 60th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2022: 8410−8423

    [27]

    Zhang Qingru, Chen Minshuo, Bukharin A, et al. Adaptive budget allocation for parameter-efficient fine-tuning[J]. arXiv preprint, arXiv: 2303.10512, 2023

    [28]

    Chen Yukang, Qian Shengju, Tang Haotian, et al. Longlora: Efficient fine-tuning of long-context large language models[J]. arXiv preprint, arXiv: 2309.12307, 2023

    [29]

    Chua T J, Yu Wenhan, Zhao Jun, et al. FedPEAT: Convergence of federated learning, parameter-efficient fine tuning, and emulator assisted tuning for artificial intelligence foundation models with mobile edge computing[J]. arXiv preprint, arXiv: 2310.17491, 2023

    [30]

    Che Tianshi, Liu Ji, Zhou Yang, et al. Federated learning of large language models with parameter-efficient prompt tuning and adaptive optimization[J]. arXiv preprint, arXiv: 2310.15080, 2023

    [31]

    Babakniya S, Elkordy A R, Ezzeldin Y H, et al. SLoRA: Federated parameter efficient fine-tuning of language models[J]. arXiv preprint, arXiv: 2308.06522, 2023

    [32]

    Zhang Zhuo, Yang Yuanhang, Dai Yong, et al. FedPETuning: When federated learning meets the parameter-efficient tuning methods of pre-trained language models[C]//Proc of the 61st Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2023: 9963−9977

    [33]

    Kuang Weirui, Qian Bingchen, Li Zitao, et al. Federatedscope-llm: A comprehensive package for fine-tuning large language models in federated learning[J]. arXiv preprint, arxiv: 2309.00363, 2023

    [34]

    Fan Tao, Kang Yan, Ma Guoqiang, et al. Fate-llm: A industrial grade federated learning framework for large language models[J]. arXiv preprint, arxiv: 2310.10049, 2023

    [35]

    Chen Haokun, Zhang Yao, Krompass D, et al. FedDAT: An approach for foundation model finetuning in multi-modal heterogeneous federated Learning[J]. arXiv preprint, arXiv: 2308.12305, 2023

    [36]

    Guo Tao, Guo Song, Wang Junxiao, et al. Promptfl: Let federated participants cooperatively learn prompts instead of models-federated learning in age of foundation model[J]. IEEE Transactions on Mobile Computing, 2023, 23(5): 5179−5194

    [37]

    Xu Mengwei, Yin Wangsong, Cai Dongqi, et al. A survey of resource-efficient LLM and multimodal foundation models[J]. arXiv preprint, arXiv: 2401.08092, 2024

    [38]

    Wan Zhongwei, Wang Xin, Liu Che, et al. Efficient large language models: A survey[J]. arXiv preprint, arXiv: 2312.03863, 2023

    [39]

    Miao Xupeng, Oliaro G, Zhang Zhihao, et al. Towards efficient generative large language model serving: A survey from algorithms to systems[J]. arXiv preprint, arXiv: 2312.15234, 2023

    [40]

    Kachris C. A survey on hardware accelerators for large language models[J]. arXiv preprint, arXiv: 2401.09890, 2024

    [41]

    Zhong Juan, Liu Zheng, Chen Xi. Transformer-based models and hardware acceleration analysis in autonomous driving: A survey[J]. arXiv preprint, arXiv: 2304.10891, 2023

    [42]

    Emani M, Foreman S, Sastry V, et al. A comprehensive performance study of large language models on novel AI accelerators[J]. arXiv preprint, arXiv: 2310.04607, 2023

    [43] 张晓东,张朝昆,赵继军. 边缘智能研究进展[J]. 计算机研究与发展,2023,60(12):2749−2769 doi: 10.7544/issn1000-1239.202220192

    Zhang Xiaodong, Zhang Chaokun, Zhao Jijun. State-of-the-Art survey on edge intelligence[J]. Journal of Computer Research and Development, 2023, 60(12): 2749−2769 (in Chinese) doi: 10.7544/issn1000-1239.202220192

    [44]

    Zhu Xunyu, Li Jian, Liu Yong, et al. A survey on model compression for large language models[J]. arXiv preprint, arXiv: 2308.07633, 2023

    [45]

    Ma Xinyin, Fang Gongfan, Wang Xinchao. LLM-Pruner: On the structural pruning of large language models[J]. arXiv preprint, arXiv: 2305.11627, 2023

    [46]

    Xia Mengzhou, Gao Tianyu, Zeng Zhiyuan, et al. Sheared LLaMA: Accelerating language model pre-training via structured pruning[J]. arXiv preprint, arXiv: 2310.06694, 2023

    [47]

    Wang Hanrui, Zhang Zhekai, Han Song. SpAtten: Efficient sparse attention architecture with cascade token and head pruning[C]//Proc of the 27th IEEE Int Symp on High-Performance Computer Architecture. Piscataway, NJ: IEEE, 2021: 97−110

    [48]

    Zhang Mingyang, Chen Hao, Shen Chunhua, et al. LoRAPrune: Pruning meets low-rank parameter-efficient fine-tuning[J]. arXiv preprint, arXiv: 2305.18403, 2023

    [49]

    Xia Haojun, Zheng Zhen, Li Yuchao, et al. Flash-LLM: Enabling cost-effective and highly-efficient large generative model inference with unstructured sparsity[J]. arXiv preprint, arXiv: 2309.10285, 2023

    [50]

    Frantar E, Alistarh D. SparseGPT: Massive language models can be accurately pruned in one-shot[C]//Proc of the 40th Int Conf on Machine Learning PMLR. New York: ACM, 2023: 10323−10337

    [51]

    Sun Mingjie, Liu Zhuang, Bair A, et al. A simple and effective pruning approach for large language models[J]. arXiv preprint, arXiv: 2306.11695, 2023

    [52]

    Liang Chen, Zuo Simiao, Zhang Qingru, et al. Less is more: Task-aware layer-wise distillation for language model compression[C]//Proc of the 40th Int Conf on Machine Learning PMLR. New York: ACM, 2023: 20852−20867

    [53]

    Zhang Chen, Song Dawei, Ye Zheyu, et al. Towards the law of capacity gap in distilling language models[J]. arXiv preprint, arXiv: 2311.07052, 2023

    [54]

    Padmanabhan S, Onoe Y, Zhang M, et al. Propagating knowledge updates to LMs through distillation[J]. arXiv preprint, arXiv: 2306.09306, 2023

    [55]

    Agarwal R, Vieillard N, Zhou Yongchao, et al. On-policy distillation of language models: Learning from self-generated mistakes[J]. arXiv preprint, arXiv: 2306.13649, 2024

    [56]

    Gu Yuxian, Dong Li, Wei Furu, et al. Knowledge distillation of large language models[J]. arXiv preprint, arXiv: 2306.08543, 2023

    [57]

    Timiryasov I, Tastet J L. Baby llama: Knowledge distillation from an ensemble of teachers trained on a small dataset with no performance penalty[J]. arXiv preprint, arXiv: 2308.02019, 2023

    [58]

    Xiong Yunyang, Varadarajan B, Wu Lemeng, et al. EfficientSAM: Leveraged masked image pretraining for efficient segment anything[J]. arXiv preprint, arXiv: 2312.00863, 2023

    [59]

    Yuan Jianlong, Phan M H, Liu Liyang, et al. FAKD: Feature augmented knowledge distillation for semantic segmentation[C]//Proc of the 2024 IEEE/CVF Winter Conf on Applications of Computer Vision. Piscataway, NJ: IEEE, 2024: 595−605

    [60]

    Nasser S A, Gupte N, Sethi A. Reverse knowledge distillation: Training a large model using a small one for retinal image matching on limited data[C]//Proc of the 2024 IEEE/CVF Winter Conf on Applications of Computer Vision. Piscataway, NJ: IEEE, 2024: 7778−7787

    [61]

    Zhu Xuekai, Qi Biqing, Zhang Kaiyan, et al. PaD: Program-aided distillation specializes large models in reasoning[J]. arXiv preprint, arXiv: 2305.13888, 2023

    [62]

    Li L H, Hessel J, Yu Youngjae, et al. Symbolic chain-of-thought distillation: Small models can also “think” step-by-step[C]//Proc of the 61st Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2023: 2665−2679

    [63]

    Shridhar K, Stolfo A, Sachan M. Distilling reasoning capabilities into smaller language models[C]//Proc of the 61st Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2023: 7059−7073

    [64]

    Ho N, Schmid L, Yun S Y. Large language models are reasoning teachers[C]//Proc of the 61st Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2023: 14852−14882

    [65]

    Wang Peifeng, Wang Zhengyang, Li Zheng, et al. SCOTT: Self-consistent chain-of-thought distillation[C]//Proc of the 61st Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2023: 5546−5558

    [66]

    Hsieh C Y, Li C L, Yeh C K, et al. Distilling step-by-step! Outperforming larger language models with less training data and smaller model sizes[C]//Proc of the 61st Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2023: 8003−8017

    [67]

    Chen Zeming, Gao Qiyue, Bosselut A, et al. DISCO: Distilling counterfactuals with large language models[C]//Proc of the 61st Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: ACL, 2023: 5514−5528

    [68]

    Jiang Yuxin, Chan C, Chen Mingyang, et al. Lion: Adversarial distillation of proprietary large language models[C]//Proc of the 2023 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL 2023: 3134−3154

    [69]

    Fu Yao, Peng Hao, Ou Litu, et al. Specializing smaller language models towards multi-step reasoning[C]//Proc of the 40th Int Conf on Machine Learning PMLR. New York: ACM, 2023: 10421−10430

    [70]

    Wu Minghao, Waheed A, Zhang Chiyu, et al. LaMini-LM: A diverse herd of distilled models from large-scale instructions[J]. arXiv preprint, arXiv: 2304.14402, 2024

    [71]

    Lin Ji, Tang Jiaming, Tang Haotian, et al. AWQ: Activation-aware weight quantization for LLM compression and acceleration[J]. arXiv preprint, arXiv: 2306.00978, 2023

    [72]

    Li Qingyuan, Zhang Yifan, Li Liang, et al. FPTQ: Fine-grained post-training quantization for large language models[J]. arXiv preprint, arXiv: 2308.15987, 2023

    [73]

    Wei Xiuying, Zhang Yunchen, Zhang Xiangguo, et al. Outlier suppression: Pushing the limit of low-bit transformer language models[C]//Proc of the 36th Int Conf on Neural Information Processing Systems. New York: ACM, 2022: 17402−17414

    [74]

    Wei Xiuying, Zhang Yunchen, Li Yuhang, et al. Outlier suppression+: Accurate quantization of large language models by equivalent and effective shifting and scaling[C]//Proc of the 2023 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2023: 1648−1665

    [75]

    Guo Cong, Tang Jiaming, Hu Weiming, et al. OliVe: Accelerating large language models via hardware-friendly outlier-victim pair quantization[C/OL]//Proc of the 50th Annual Int Symp on Computer Architecture. New York: ACM, 2023[2024-9-10]. https: /doi.org/10.1145/3579371.3589038

    [76]

    Yao Zhewei, Yazdani A R, Zhang Minjia, et al. ZeroQuant: Efficient and affordable post-training quantization for large-scale transformers[C]//Proc of the 36th Int Conf on Neural Information Processing Systems. New York: ACM, 2022: 27168−27183

    [77]

    Dettmers T, Lewis M, Belkada Y, et al. LLM. int8(): 8-bit matrix multiplication for transformers at scale[C]//Proc of the 36th Int Conf on Neural Information Processing Systems. New York: ACM, 2022: 30318−30332

    [78]

    Frantar E, Ashkboos S, Hoefler T, et al. GPTQ: Accurate quantization for generative pre-trained transformers[C/OL]//Proc of the 11th Int Conf on Learning Representations. OpenReview. net, 2023[2024-09-10]. https://‌openreview.‌net/‌forum?‌id=‌tcbBPnfwxS

    [79]

    Xiao Guangxuan, Lin Ji, Seznec M, et al. SmoothQuant: Accurate and efficient post-training quantization for large language models[C]//Proc of the 40th Int Conf on Machine Learning PMLR. New York: ACM, 2023: 38087−38099

    [80]

    Dettmers T, Svirschevski R, Egiazarian V, et al. SpQR: A sparse-quantized representation for near-lossless LLM weight compression[J]. arXiv preprint, arXiv: 2306.03078, 2023

    [81]

    Lee Changhun, Jin Jungyu, Kim T, et al. OWQ: Outlier-aware weight quantization for efficient fine-tuning and inference of large language models[C]//Proc of the 38th AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2024: 13355−13364

    [82]

    Wang Hongyu, Ma Shuming, Dong Li, et al. BitNet: Scaling 1-bit transformers for large language models[J]. arXiv preprint, arXiv: 2310.11453, 2023

    [83]

    Dettmers T, Pagnoni A, Holtzman A, et al. QLoRA: Efficient finetuning of quantized LLMs[C]//Proc of the 37th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2023: 10088−10115

    [84]

    Kim J, Lee J H, Kim S, et al. Memory-efficient fine-tuning of compressed large language models via sub−4-bit integer quantization[C]//Proc of the 36th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2023: 36187−36207

    [85]

    Liu Zechun, Oguz B, Zhao Changsheng, et al. LLM-QAT: Data-free quantization aware training for large language models[J]. arXiv preprint, arXiv: 2305.17888, 2023

    [86]

    Liu Xinyu, Wang Tao, Yang Jiaming, et al. MPQ-YOLO: Ultra low mixed-precision quantization of YOLO for edge devices deployment[J]. Neurocomputing, 2024, 574: 127210 doi: 10.1016/j.neucom.2023.127210

    [87]

    Kaushal A, Vaidhya T, Rish I. LORD: Low rank decomposition of monolingual code LLMs for one-shot compression[C/OL]//Proc of the 41st ICML 2024 Workshop on Foundation Models in the Wild. OpenReview. net, 2024[2024-09-10]. https://‌openreview.‌net/‌forum?‌id=‌br49PQvuMp

    [88]

    Li Yixiao, Yu Yifan, Zhang Qingru, et al. LoSparse: Structured compression of large language models based on low-rank and sparse approximation[C]//Proc of the 40th Int Conf on Machine Learning. New York: PMLR, 2023: 20336−20350

    [89]

    Xu Mingxue, Xu Yaolei, Mandic D P. TensorGPT: Efficient compression of the embedding layer in LLMs based on the tensor-train decomposition[J]. arXiv preprint, arXiv: 2307.00526, 2023

    [90]

    Chang C C, Sung Y Y, Yu Shixing, et al. FLORA: Fine-grained low-rank architecture search for vision transformer[C]//Proc of the 2024 IEEE/CVF Winter Conf on Applications of Computer Vision. Piscataway, NJ: IEEE, 2024: 2482−2491

    [91]

    Benedek N, Wolf L. PRILoRA: Pruned and rank-increasing low-rank adaptation[J]. arXiv preprint, arXiv: 2401.11316, 2024

    [92]

    Cheng Hongrong, Zhang Miao, Shi J Q. A survey on deep neural network pruning-taxonomy, comparison, analysis, and recommendations[J]. arXiv preprint, arXiv: 2308.06767, 2023

    [93]

    Xu Xiaohan, Li Ming, Tao Chongyang, et al. A survey on knowledge distillation of large language models[J]. arXiv preprint, arXiv: 2402.13116, 2024

    [94]

    Zhu Xunyu, Li Jian, Liu Yong, et al. A survey on model compression for large language models[J]. arXiv preprint, arXiv: 2308.07633, 2023

    [95]

    Hu E, Shen Yelong, Wallis P, et al. LoRA: Low-rank adaptation of large language models[C/OL]//Proc of the 10th Int Conf on Learning Representations. OpenReview. net, 2022[2024-09-10]. https://‌openreview.‌net/‌forum?‌id=‌nZeVKeeFYf9

    [96]

    Liu Jing, Gong Ruihao, Wei Xiuying, et al. QLLM: Accurate and efficient low-bitwidth quantization for large language models[C/OL]//Proc of the 12th Int Conf on Learning Representations. OpenReview. net, 2024[2024-09-10]. https://‌openreview.‌net/‌forum?‌id=‌FIplmUWdm3

    [97]

    Xiao Guangxuan, Tian Yuandong, Chen Beidi, et al. Efficient streaming language models with attention sinks[C/OL]//Proc of the 12th Int Conf on Learning Representations. OpenReview. net, 2024[2024-09-10]. https://‌openreview.‌net/‌forum?‌id=‌NG7sS51zVF

    [98]

    Liu Zichang, Desai A, Liao Fangshuo, et al. Scissorhands: Exploiting the persistence of importance hypothesis for LLM KV cache compression at test time[C]//Proc of the 37th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2023: 52342−52364

    [99]

    Zhang Zhenyu, Sheng Ying, Zhou Tianyi, et al. H2O: Heavy-hitter oracle for efficient generative inference of large language models[C]//Proc of the 37th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2023: 34661−34710

    [100]

    Ge Suyu, Zhang Yunan, Liu Liyuan, et al. Model tells you what to discard: Adaptive KV cache compression for LLMs[C/OL]//Proc of the 12th Int Conf on Learning Representations. OpenReview. net, 2024[2024-09-10]. https://‌openreview.‌net/‌forum?‌id=‌uNrFpDPMyo

    [101]

    Hooper C, Kim S, Mohammadzadeh H, et al. KVQuant: Towards 10 million context length LLM Inference with KV cache quantization[J]. arXiv preprint, arXiv: 2401.18079, 2024

    [102]

    Kwon W, Li Zhuohan, Zhuang Siyuan, et al. Efficient memory management for large language model serving with pagedattention[C]//Proc of the 29th Symp on Operating Systems Principles. New York: ACM, 2023: 611−626

    [103]

    Del C L, Del G A, Agarwal S, et al. SkipDecode: Autoregressive skip decoding with batching and caching for efficient LLM inference[J]. arXiv preprint, arXiv: 2307.02628, 2023

    [104]

    Zeng Dewen, Du Nan, Wang Tao, et al. Learning to skip for language modeling[J]. arXiv preprint, arXiv: 2311.15436, 2023

    [105]

    Schuster T, Fisch A, Gupta J, et al. Confident adaptive language modeling[C]//Proc of the 36th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2022: 17456−17472

    [106]

    Sun Tianxiang, Liu Xiangyang, Zhu Wei, et al. A simple hash-based early exiting approach for language understanding and generation[J]. arXiv preprint, arXiv: 2203.01670, 2022

    [107]

    Liao Kaiyuan, Zhang Yi, Ren Xuancheng, et al. A global past-future early exit method for accelerating inference of pre-trained language models[C]//Proc of the 2021 Conf of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg, PA: ACL, 2021: 2013−2023

    [108]

    Kong Jun, Wang Jin, Yu L C, et al. Accelerating inference for pretrained language models by unified multi-perspective early exiting[C]//Proc of the 29th Int Conf on Computational Linguistics. Stroudsburg, PA: ACL, 2022: 4677−4686

    [109]

    Zeng Ziqian, Hong Yihuai, Dai Hongliang, et al. ConsistentEE: A consistent and hardness-guided early exiting method for accelerating language models inference[C]//Proc of the 38th AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2024: 19506−19514

    [110]

    Bae S, Ko J, Song H, et al. Fast and robust early-exiting framework for autoregressive language models with synchronized parallel decoding[C]//Proc of the 2023 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2023: 5910−5924

    [111]

    Valmeekam C S K, Narayanan K K D, Kalathil D, et al. LLMZip: Lossless text compression using large language models[J]. arXiv preprint, arXiv: 2306.04050, 2023

    [112]

    Chevalier A, Wettig A, Ajith A, et al. Adapting language models to compress contexts[C]//Proc of the 2023 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2023: 3829−3846

    [113]

    Li Yucheng, Dong Bo, Guerin F, et al. Compressing context to enhance inference efficiency of large language models[C]//Proc of the 2023 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2023: 6342−6353

    [114]

    Jiang Huiqiang, Wu Qianhui, Lin C Y, et al. LLMLingua: Compressing prompts for accelerated inference of large language models[C]//Proc of the 2023 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2023: 13358−13376

    [115]

    Jiang Huiqiang, Wu Qianhui, Luo Xufang, et al. LongLLMLingua: Accelerating and enhancing LLMs in long context scenarios via prompt compression[C]//Proc of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: ACL, 2024: 1658−1677

    [116]

    Fu Yichao, Bailis P, Stoica I, et al. Break the sequential dependency of LLM inference using lookahead decoding[C]//Proc of the 41st Int Conf on Machine Learning. New York: PMLR, 2024: 14060−14079

    [117]

    Leviathan Y, Kalman M, Matias Y. Fast inference from transformers via speculative decoding[C]//Proc of the 40th int Conf on Machine Learning. New York: PMLR, 2023: 19274−19286

    [118]

    Miao Xupeng, Oliaro G, Zhang Zhihao, et al. SpecInfer: Accelerating generative large language model serving with tree-based speculative inference and verification[C]//Proc of the 29th ACM Int Conf on Architectural Support for Programming Languages and Operating Systems, Volume 3. New York: ACM, 2024: 932–949

    [119]

    Cai T, Li Yuhong, Geng Zhengyang, et al. Medusa: Simple LLM inference acceleration framework with multiple decoding heads[C]//Proc of the 41st int Conf on Machine Learning. New York: PMLR, 2024: 5209−5235

    [120]

    Li Yuhui, Wei Fangyun, Zhang Chao, et al. EAGLE: Speculative sampling requires rethinking feature uncertainty[C]//Proc of the 41st int Conf on Machine Learning. New York: PMLR, 2024: 28935−28948

    [121]

    Xu Daliang, Yin Wangsong, Jin Xin, et al. LLMCad: Fast and scalable on-device large language model inference[J]. arXiv preprint, arXiv: 2309.04255, 2023

    [122]

    Shen Haihao, Chang Hanwen, Dong Bo, et al. Efficient llm inference on cpus[J]. arXiv preprint, arXiv: 2311.00502, 2023

    [123]

    Dao T, Fu Dan, Ermon S, et al. FlashAttention: Fast and memory-efficient exact attention with IO-awareness[C]//Proc of the 36th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2022: 16344−16359

    [124]

    Dao T. FlashAttention−2: Faster attention with better parallelism and work partitioning[C/OL]//Proc of the 12th Int Conf on Learning Representations. OpenReview. net, 2024[2024-09-10]. https://‌openreview.‌net/‌forum?‌id=‌mZn2Xyh9Ec

    [125]

    Dao T, Haziza D, Massa F, et al. Flash-Decoding for long-context inference[EB/OL]. 2023[2024-02-03]. https://‌pytorch.‌org/‌blog/‌flash-decoding/

    [126]

    Hong Ke, Dai Guohao, Xu Jiaming, et al. FlashDecoding++: Faster large language model inference with asynchronization, flat GEMM optimization, and heuristics[C/OL]//Proc of Machine Learning and Systems. 2024: 148−161[2024-09-12]. https://‌proceedings.‌mlsys.‌org/‌paper_files/‌paper/‌2024/‌hash/‌5321b1dabcd2be188d796c21b733e8c7-‌Abstract-‌Conference. ‌html

    [127]

    Lai Ruihang, Shao Junru, Feng Siyuan, et al. Relax: Composable abstractions for end-to-end dynamic machine learning[J]. arXiv preprint, arXiv: 2311.02103, 2023

    [128]

    Tillet P, Kung H T, Cox D. Triton: An intermediate language and compiler for tiled neural network computations[C]//Proc of the 3rd ACM SIGPLAN Int Workshop on Machine Learning and Programming Languages. New York: ACM, 2019: 10−19

    [129]

    Feng Siyuan, Hou Bohan, Jin Hongyi, et al. TensorIR: An abstraction for automatic tensorized program optimization[C]//Proc of the 28th ACM Int Conf on Architectural Support for Programming Languages and Operating Systems: Volume 2. New York: ACM, 2023: 804−817

    [130]

    Liu Zichang, Wang Jue, Dao T, et al. Deja Vu: Contextual sparsity for efficient LLMs at inference time[C]//Proc of the 40th Int Conf on Machine Learning. New York: PMLR, 2023: 22137−22176

    [131]

    Sheng Ying, Zheng Lianmin, Yuan Binhang, et al. FlexGen: High-throughput generative inference of large language models with a single GPU[C]//Proc of the 40th Int Conf on Machine Learning. New York: PMLR, 2023: 31094−31116

    [132]

    Song Yixin, Mi Zeyu, Xie Haotong, et al. PowerInfer: Fast large language model serving with a consumer-grade GPU[J]. arXiv preprint, arXiv: 2312.12456, 2023

    [133]

    Yi Rongjie, Guo Liwei, Wei Shiyun, et al. EdgeMoE: Fast on-device inference of MoE-based large language models[J]. arXiv preprint, arXiv: 2308.14352, 2023

    [134]

    Awais M, Naseer M, Khan S, et al. Foundational models defining a new era in vision: A survey and outlook[J]. arXiv preprint, arXiv: 2307.13721, 2023

    [135]

    Tang Shengkun, Wang Yaqing, Kong Zhenglun, et al. You need multiple exiting: Dynamic early exiting for accelerating unified vision language model[C]//Proc of the 44th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2023: 10781−10791

    [136]

    Li Zi, Tian Lin, Mok C W, et al. Samconvex: Fast discrete optimization for ct registration using self-supervised anatomical embedding and correlation pyramid[G]//Proc of the 26th Medical Image Computing and Computer Assisted Intervention(MICCAI 2023). Berlin: Springer, 2023: 559−569

    [137]

    Zhou Chong, Loy C C, Dai Bo. Extract free dense labels from CLIP[C]//Proc of the 17th Computer Vision(ECCV 2022). Berlin: Springer, 2022: 696−712

    [138]

    Sanghi A, Chu Hang, Lambourn J G, et al. Clip-forge: Towards zero-shot text-to-shape generation[C]//Proc of the 2022 IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2022: 18603−18613

    [139]

    Vaswani A, Shazeer N, Parmar N, et al. Attention is All you Need[C]//Proc of the 31st Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2017: 5999−6009

    [140]

    InternLM. LMDeploy[EB/OL]. 2023[2024-02-04]. https://‌github.‌com/‌InternLM/‌lmdeploy

    [141]

    Microsoft. DeepSpeed-MII[EB/OL]. 2022[2024-02-04]. https://‌github.‌com/‌microsoft/‌DeepSpeed-MII

    [142]

    NVIDIA. TensorRT-LLM[EB/OL]. 2023[2024-02-04]. https://‌github.‌com/‌NVIDIA/‌TensorRT-LLM

    [143]

    vLLM Team. vLLM[EB/OL]. 2023[2024-02-04]. https://‌github.‌com/‌vllm-project/‌vllm

    [144]

    Lin Ji, Chen Weiming, Lin Yujun, et al. MCUNet: Tiny deep learning on IoT devices[C]//Proc of the 34th Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2020: 11711−11722

    [145]

    Neuralmagic. DeepSparse[EB/OL]. 2021[2024-02-04]. https://‌github.‌com/‌neuralmagic/‌deepsparse

    [146] 李双峰. TensorFlow Lite:端侧机器学习框架[J]. 计算机研究与发展,2020,57(9):1839−1853 doi: 10.7544/issn1000-1239.2020.20200291

    Li Shuangfeng. TensorFlow lite: On-device machine learning framework[J]. Journal of Computer Research and Development, 2020, 57(9): 1839−1853 (in Chinese) doi: 10.7544/issn1000-1239.2020.20200291

    [147]

    PyTorch Team. PyTorch ExecuTorch[EB/OL]. 2023[2024-05-28]. https://‌pytorch.‌org/‌executorch

    [148]

    Alibaba. MNN[EB/OL]. 2019[2024-06-30]. https://‌github.‌com/‌alibaba/‌MNN

    [149]

    Tencent. ncnn[EB/OL]. 2017[2024-05-30]. https://‌github.‌com/‌Tencent/‌ncnn

    [150]

    MLC Team. MLC LLM[EB/OL]. 2023[2024-02-04]. https://‌github.‌com/‌mlc-ai/‌mlc-llm

    [151]

    Gerganov G. llama. cpp[EB/OL]. 2023[2024-02-04]. https://‌github.‌com/‌ggerganov/‌llama.cpp

    [152]

    Karpathy A. llama2. c[EB/OL]. 2023[2024-02-04]. https://‌github.‌com/‌karpathy/‌llama2.c

    [153]

    Mllm Team. mllm[EB/OL]. 2023[2024-02-04]. https://‌github.‌com/‌UbiquitousLearning/‌mllm

    [154]

    Intel. Intel Extension for Transformers[EB/OL]. 2022[2024-02-04]. https://‌github.‌com/‌intel/‌intel-extension-for-transformers

    [155]

    Megvii Inc. InferLLM[EB/OL]. 2023[2024-02-04]. https://‌github.‌com/‌MegEngine/‌InferLLM

    [156]

    MIT Han Lab. TinyChatEngine[EB/OL]. 2023[2024-02-04]. https://‌github.‌com/‌mit-han-lab/‌TinyChatEngine

    [157]

    NVIDIA. NanoLLM[EB/OL]. 2024[2024-04-28]. https://‌github.‌com/‌dusty-nv/‌NanoLLM

    [158]

    Shazeer N. Fast transformer decoding: One write-head is all you need[J]. arXiv preprint, arXiv: 1911.02150, 2019

    [159]

    Ainslie J, Lee-Thorp J, de Jong M, et al. GQA: Training generalized multi-query transformer models from multi-head checkpoints[C]//Proc of the 2023 Conf on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2023: 4895−4901

    [160]

    Choromanski K M, Likhosherstov V, Dohan D, et al. Rethinking attention with performers[C/OL]//Proc of the 9th Int Conf on Learning Representations. OpenReview. net, 2021[2024-09-10]. https://‌openreview.‌net/‌forum?‌id=‌Ua6zuk0WRH

    [161]

    Shazeer N. Glu variants improve transformer[J]. arXiv preprint, arXiv: 2002.05202, 2020

    [162]

    Lepikhin D, Lee H, Xu Yuanzhong, et al. GShard: Scaling giant models with conditional computation and automatic sharding[C/OL]//Proc of the 9th Int Conf on Learning Representations. OpenReview. net, 2021[2024-09-10]. https://‌openreview.‌net/‌forum?‌id=‌qrwe7XHTmYb

    [163]

    Fedus W, Zoph B, Shazeer N. Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity[J]. Journal of Machine Learning Research, 2022, 23(1): 120: 5232−120: 5270

    [164]

    Gu A, Dao T. Mamba: Linear-time sequence modeling with selective state spaces[J]. arXiv preprint, arXiv: 2312.00752, 2023

    [165]

    Peng Bo, Alcaide E, Anthony Q, et al. RWKV: Reinventing RNNs for the transformer era[C]//Proc of the Findings of the Association for Computational Linguistics(EMNLP 2023). Stroudsburg, PA: ACL, 2023: 14048−14077

    [166]

    Sun Yutao, Dong Li, Huang Shaohan, et al. Retentive network: A successor to transformer for large language models[J]. arXiv preprint, arXiv: 2307.08621, 2023

    [167] 徐志伟,曾琛,朝鲁,等. 面向控域的体系结构:一种智能万物互联的体系结构风格[J]. 计算机研究与发展,2019,56(1):90−102 doi: 10.7544/issn1000-1239.2019.20180775

    Xu Zhiwei, Zeng Chen, Zhao Lu, et al. Domain oriented architecture: An architectural style of intelligent interconnection of all things[J]. Journal of Computer Research and Development, 2019, 56(1): 90−102 (in Chinese) doi: 10.7544/issn1000-1239.2019.20180775

    [168] 李国杰. 对大数据的再认识[J]. 大数据,2015,1(1):8−16 doi: 10.11959/j.issn.2096-0271.2015.01.001

    Li Guojie. Further understanding of big data[J]. Big Data, 2015, 1(1): 8−16 (in Chinese) doi: 10.11959/j.issn.2096-0271.2015.01.001

    [169]

    Woisetschläger H, Isenko A, Wang Shiqiang, et al. Federated fine-tuning of llms on the very edge: The good, the bad, the ugly[C]//Proc of the 8th Workshop on Data Management for End-to-End Machine Learning. New York: ACM, 2024: 39−50

    [170]

    Yang Chengxu, Xu Mengwei, Wang Qipeng, et al. Flash: Heterogeneity-aware federated learning at scale[J]. IEEE Transactions on Mobile Computing, 2024, 23(1): 483−500 doi: 10.1109/TMC.2022.3214234

    [171]

    Lu Wang, Hu Xixu, Wang Jindong, et al. FedCLIP: Fast generalization and personalization for CLIP in federated learning[J]. IEEE Data Engineering Bulletin, 2023, 46(1): 52−66

    [172] 矣晓沅,谢幸. 大模型道德价值观对齐问题剖析[J]. 计算机研究与发展,2023,60(9):1926−1945 doi: 10.7544/issn1000-1239.202330553

    Yi Xiaoyuan, Xie Xing. An analysis of the alignment of moral values in the large model[J]. Journal of Computer Research and Development, 2023, 60(9): 1926−1945 (in Chinese) doi: 10.7544/issn1000-1239.202330553

图(5)  /  表(5)
计量
  • 文章访问数:  153
  • HTML全文浏览量:  49
  • PDF下载量:  70
  • 被引次数: 0
出版历程
  • 收稿日期:  2024-05-30
  • 录用日期:  2025-01-25
  • 网络出版日期:  2025-01-25

目录

/

返回文章
返回