-
摘要:
在视频的复杂动作识别领域中，模型的结构设计对其最终的性能起着至关重要的作用. 然而，人工设计的网络结构往往严重依赖于研究人员的知识和经验. 因此，神经架构搜索(neural architecture search，NAS)因其自动化的网络结构设计在图像处理领域受到研究人员的广泛关注. 当前，神经架构搜索已经在图像领域获得了巨大的发展，一些 NAS方法甚至将模型自动化设计所需的 GPU天数减少到了个位数，并且其搜索的模型结构表现出了强大的竞争潜力. 这鼓励我们将自动化模型结构设计拓展到视频领域. 但它面临2个严峻的挑战：1)如何尽可能捕获视频中的长程上下文时间关联；2)如何尽可能降低 3D卷积所带来的计算激增的问题. 为了应对上述挑战，提出了1个新颖的基于时间卷积的神经架构搜索复杂动作识别(neural architecture search on temporal convolutions for complex action recognition，NAS-TC)模型. 具体地，NAS-TC具有2个阶段：在第1阶段，采用经典的CNN 网络作为骨干网络，来完成计算密集型的特征提取任务. 在第2阶段，提出了一个神经架构搜索时间卷积层来完成相对轻量级的长程时间模型设计和信息提取. 这确保了提出的方法具有更合理的参数分配并且可以处理分钟级的视频. 最后，提出的方法在3个复杂动作识别基准数据集上和同类型方法相比平均获得了2.3% mAP的性能增益，并且参数量下降了28.5%.
Abstract:In the field of complex action recognition in videos, the structural design of the model plays a crucial role in its final performance. However, manually designed network structures often rely heavily on the knowledge and experience of researchers. Therefore, neural architecture search (NAS) has received widespread attention from researchers in the field of image processing because of its automated network structure design. Currently, neural architecture search has achieved tremendous development in the image field. Some NAS methods even reduce the number of graphics processing unit (GPU) days required for automated model design to single digits, and the model structures they search show strong competitive potential. This encourages us to extend automated model structure design to the video domain. But it faces two serious challenges: 1) How to capture the long-range contextual temporal association in video as much as possible; 2) How to reduce the computational surge caused by 3D convolution as much as possible. To address the above challenges, we propose a novel Neural Architecture Search on Temporal Convolutions for Complex Action Recognition (NAS-TC). NAS- TC is a two-stage framework. In the first stage, we use the classic convolutional neural network (CNN) network as the backbone network to complete the computationally intensive feature extraction task. In the second stage, we propose a neural architecture search layer temporal convolutional layer (NAS-TC) to accomplish relatively lightweight long-range temporal model design and information extraction. This ensures that our method will have a more reasonable parameter allocation and can handle minute-level videos. Finally, the method we proposed achieved an average performance gain of 2.3% mAP on three complex action recognition benchmark data sets compared with similar methods, and the number of parameters was reduced by 28.5%.
-
当前，移动互联、万物互联以及数字化转型所带动的海量数据流量致使人们对存储的需求呈现爆发式增长. 伴随海量数据所增长的储存和处理需求直接拉动云环境下外包数据存储市场高增. 然而，在人们享受云存储带来的便利的同时，数据安全性的问题随之而来. 为了防止云服务提供商和黑客未经授权访问用户的外包数据，用户可以将敏感和隐私数据进行加密再外包至云服务器. 然而，传统加密方法会改变数据的原始特征，云服务器无法对密文进行搜索和处理，严重影响外包数据的可用性. 为了解决上述问题，研究者们提出了可搜索加密技术——在保障用户安全方便地使用外包数据存储服务的同时，使云服务器端能够在不解密数据的前提下对密文进行搜索，从而保证了外包数据的机密性与可用性. 近年来，可搜索加密技术得到了广泛且深入的研究，但仍面临许多挑战.
首先是动态更新方面. 现实场景中，企业及个人用户外包数据很少是一成不变的，经常需要频繁定期更新. 已有可搜索加密方案中利用前向索引构造的方案[1]支持直接文件更新，动态性较好，易于实际开发应用，但是前向索引结构泄露了和明文相关的信息，容易被敌手进行统计攻击，而且搜索效率不尽如人意. 倒排索引结构是实现关键字到文件映射关系的最佳方式，能够实现高效搜索[2]，然而，倒排索引动态更新过程较为复杂，添加或删除文件时必须对索引中的所有条目进行线性扫描. 现有基于倒排索引的可搜索加密方案的动态更新过程大多需要额外更新结构进行辅助，这些更新结构通常过于复杂，导致更新效率非常低，并且只能允许有限的更新操作. 除此之外，已有的动态更新方法在更新过程中往往会向服务器泄露较多信息，例如关于更新关键字的关联信息等，即敌手可将更新的文件与之前的历史搜索结果建立联系，进而使方案无法抵抗文件注入攻击.
其次，为了更好地提高用户的搜索体验，可搜索加密一个重要的研究方向是提高搜索语句表达性，例如支持多关键字布尔搜索[3]. 严格意义上的布尔搜索是指利用布尔逻辑运算符连接各个搜索关键字，然后由计算机进行相应逻辑运算，以找出所需信息的方法. 布尔搜索在所有搜索功能中使用面最广、使用频率最高. 但是，布尔搜索不仅需要云服务器进行关键字密文搜索，还需要对搜索结果进行布尔运算，过程中更容易由于节点崩溃或外部攻击而返回不正确的布尔搜索结果. 因此为了应对上述问题，亟需引入搜索结果验证机制来保证搜索结果的正确性. 一些可搜索加密方案通过数据认证技术，如MAC认证结构[4]、Merkle哈希树[5]和布隆滤波器[6]等，实现对搜索结果的验证. 然而上述验证方法仅能验证搜索语句表达性较差的搜索请求，甚至单一关键字搜索请求. 对于多关键词布尔搜索，目前的验证方法主要使用基于数据持有性证明技术中随机抽取的思想来实现[7]，面临误差较大以及结果验证计算负载较大等缺陷，不能适应实际广泛的应用场景.
最近几年，随着加密货币和去中心化应用的流行，区块链技术受到了各行业极大的关注. 区块链数据存储成为构建分布式存储平台的关键技术. 例如Bigchain DB[8]和Bluzelle[9]，其通过共识协议确保数据存储的一致性和不可篡改性，为解决上述这些问题提供了可能. 近年来，很多方法将密码学加密技术与区块链结构相融合，一定程度上实现了链上数据的隐私保护[10-11]. 一些可搜索加密方案以智能合约代替传统的可信第三方来提供搜索公平性的保证[12-14]. 然而，上述方案中安全索引仍然部署于服务器端，而且受制于区块链固有的分叉问题导致方案的可用性受到了影响，并未发挥出区块链数据存储固有的防篡改和增量更新性等优势.
本文针对上述问题展开研究，提出基于区块链索引的可验证布尔搜索加密方案VBSE-BI.方案将可搜索加密中的安全索引结构与区块链数据存储进行深度融合，限制服务器由于单点故障原因对索引结构进行破坏，实现索引的存储机密性、动态更新性以及搜索正确性. 同时方案在支持对多关键字布尔搜索的同时，保证了布尔搜索结果的不可伪造性. 本文主要工作如下：
1）提出基于区块链存储结构的增量链式安全索引构造方法. 首先构建“关键字-文件”链式索引结构，将索引拆分为数据块的形式存储在区块链结构的交易信息中，利用指针进行链接，并引入同态加密机制代替标准加密方法来加密索引信息，在不解密索引的情况下实现高效搜索. 此方法以区块链的不可篡改性来提供搜索正确性和可靠性，并且避免了构建辅助更新索引结构导致的索引存储及更新开销大的问题.
2）提出针对布尔搜索结果的完整性验证方法. 针对服务器端布尔运算完整性验证需求，给出VBSE-BI的搜索结果不可伪造性定义，基于双线性映射累加器和扩展欧几里德算法设计面向布尔搜索的完整性证明以及验证方法，并且，基于双线性q阶强Diffie-Hellman假设，对该方法的不可伪造性进行了严格的安全性证明.
3）对VBSE-BI方案每个算法和协议进行详细构建，并从存储开销、计算开销以及通信开销3个维度对比分析方案性能；对VBSE-BI方案进行了编程实现，并通过对算法的性能测试来分析方案在实际应用中的性能表现. 性能分析结果显示，本方案降低了服务器端存储以及搜索开销的同时，降低了用户计算复杂度，满足实际云环境下资源受限本地设备的应用需求.
1. 相关工作
近几年，学者们对可搜索加密方案的各方面问题进行了深入的研究. 针对可搜索加密的动态更新问题，2012年，Kamara等人[2]提出了基于正反双链表结构的动态可搜索加密方案，但是在更新文件的时候会造成较大信息泄露，无法抵抗文件注入攻击. 为了降低更新泄露，Hahn等人[15]中提出一种新的动态可搜索加密方案，主要思想是根据用户的搜索历史构造前向索引和倒排索引2个索引结构，云服务器不会得到除了搜索令牌之外的任何用户信息，但是该方案仅在文件数据庞大而关键字数目不多的场景下具有高的搜索效率.2016年，Bost[1]构造了一个满足向前安全性的动态可搜索加密方案，向前安全性保证了更新文件时敌手无法将其关键字信息与之前的搜索历史进行匹配.2018年，Zuo等人[16]基于二进制树和同态加密算法构建了2个动态可搜索加密方案，并支持范围查询，第1个方案拥有前向安全，第2个方案拥有前向安全和部分后向安全，但对加密文档的数量有限制.
在搜索结果的可验证性方面，2013年，Chai等人[17]首先提出并研究了支持搜索结果验证可搜索加密问题. 2015年，Wang等人[18]提出了一种在混合云中支持容错性和可验证性的可搜索加密方案，通过基于字典的索引构建方法，生成模糊关键字字典，实现搜索结果的动态排序和可验证性. Kurosawa等人[19]利用RSA累加器生成搜索标签，从而实现搜索结果的验证并支持对文件的动态更新. 2015年，Ameri等人[20]利用布隆过滤器和多层级访问控制略构造了一种通用的多层级可验证关键字搜索方案. 2017年，Jiang等人[21]基于特殊倒排索引结构QSet、二进制矢量以及MAC函数设计了支持多关键字排序的可验证可搜索加密方案. 2018年，Wang等人[22]基于OXT的连接关键词检索方法，采用聚合器和采样检测技术提出了公开可验证的连接关键词检索方案. 已有的支持搜索结果验证的方案或多或少会牺牲搜索性能. 2020年，闫玺玺等人[23]提出了一种可验证属性基搜索加密方案，方案结合区块链技术解决半诚实且好奇的云服务器模型下返回搜索结果不正确的问题. 2021年，Najafi等人[24]针对实际应用场景中对多关键字可搜索加密的需求，提出多关键字动态可搜索加密及搜索结果完整性验证方法. 2024年，Xie等人[25]提出了一种新的可验证中文多关键字模糊排序可搜索加密方案，使用认证标签和概率陷门提高安全性、准确性和效率，解决了现有模糊关键词搜索方法的存储和计算资源消耗问题.
基于上述研究现状可以看出，现有的支持验证的可搜索加密方法中，数据拥有者端通常需要存储庞大的辅助结构，导致本地存储负载较大，而且大多可验证算法包含复杂的通信与计算代价，在实际应用中具有局限性. 考虑到资源受限的移动设备数量急剧增加，用户端的结果验证代价应尽可能小，否则将没有实用价值. 因此，提高搜索语句的表达性并且降低用户验证代价是可验证可搜索加密中亟待解决的关键问题.
2. VBSE-BI模型
VBSE-BI方案主要考虑2类实体：用户U和云服务器S.方案模型架构如图1所示. 用户U通过对本地文件集合进行信息提取来构建搜索索引，将索引利用密码学算法进行结构化加密，生成安全链式索引，并将链式索引拆分为交易值的形式存储于区块链索引中，根据对应的交易地址以及附加辅助验证元素生成以关键字为键的查找表，将查找表同样利用密码学算法进行结构化加密，生成密态查找表发送给云服务器S.区块链的增量存储特性使得索引能够满足文件的动态更新需求，即用户U可以随时添加或删除文件，并同时更新索引和查找表结构. 随后，用户发起生成布尔搜索请求，利用密码学工具将布尔表达式中的关键字信息进行加密，生成搜索令牌并发送给云服务器S.云服务器S在收到搜索令牌后，在密态查找表中定位到区块链索引中的搜索关键字对应的链式索引交易地址，进而在区块链安全索引中进行搜索并对搜索结果进行布尔运算. 随后，云服务器S将搜索结果以及对于布尔搜索结果正确性的证明返回给用户U. 用户U在收到搜索结果和相关的证明之后，在本地验证搜索结果的正确性，验证通过则可判定云服务器S正确执行了布尔搜索请求. 值得说明的是，区块链只负责存储链式索引结构，而真实的数据以加密的形式存储在云服务器S中.
2.1 符号描述
本节列出了论文中涉及的符号及其对应的含义，如表1所示.
表 1 符号描述Table 1. Symbols Description符号 含义 1k 安全参数 f 文件集合 fwi 包含关键字wi的文件集合 BC 区块链索引 T 密态查找表 ϕ(W) 关键字W布尔表达式 Rϕ(W) 搜索结果 L 泄露函数 π 证据 τ 搜索/更新令牌 F，G，P 伪随机函数 K1，K2，K3 伪随机函数F，G，P的密钥 K 用户密钥 Lw=(N1,…,N#fw) BC中关键字w对应的虚拟链表 addr(N) 节点N在BC中的地址 acc(fwi) fwi的双线性累加值 I/U/D 交/并/差集 flag 添加/删除标志 2.2 形式化定义
定义1. VBSE-BI方案主要由5个多项式时间算法和协议组成，即KeyGen，Setup，Search，Verify，Update，具体描述如下：
1）(K,PP)←KeyGen(1k). 密钥生成算法，由用户U执行. 输入安全参数1k，输出密钥K和公共参数PP.
2）(T,BC)←Setup(K,f). 初始化算法，由用户U执行. 输入密钥K，文件集合f，输出区块链索引BC以及密态查找表T.
3）(Rϕ(W),π;⊥)←Search(U(K,ϕ(W));S(T,BC)). 搜索协议，由用户U和云服务器S交互执行. 用于搜索文件. 用户输入密钥K、布尔表达式ϕ(W)，云服务器S输入密态查找表T和区块链索引BC，输出布尔搜索结果Rϕ(W)以及正确性证明π.
4）b←Verify(K,Rϕ(W),π). 验证算法，由用户U执行. 输入密钥K、搜索结果Rϕ(W)以及证明π，输出输入1或者0表示接受或拒绝.
5）(⊥;(T′,BC′))←Update(U(K,f);S(T,BC)). 更新协议，由用户U和云服务器S交互执行. 用户输入密钥K、更新文件f，云服务器输入密态查找表T和区块链索引BC，输出更新后的区块链索引BC′以及密态查找表T′.
定义2. VBSE-BI正确性.VBSE-BI方案的正确性包括搜索正确性以及更新正确性：
1）搜索正确性. 对于所有的安全参数k、所有的由KeyGen(1k)生成的K、所有的文件f以及所有由Setup(K,f)输出的(T, BC)和Update(U(K,f);S(T,BC))即任意顺序的更新操作，用户U与云服务器S交互执行的搜索协议Search(U(K,f);S(T,BC))总会得到正确的结果Rϕ(W). 即用户端的验证算法Verify(K,Rϕ(W),π)输出为1.
2）更新正确性. 用户U利用更新协议Update(U(K,f);S(T,BC))与云服务器S交互添加或删除包含关键字信息的文件f时，协议执行后服务器端的更新的密态查找表T′和区块链索引BC′会正确添加或删除文件f的相关信息，且二者仍然保持一致性且完整性.
2.3 安全性定义
在VBSE-BI方案的威胁模型中，假设云服务器为恶意敌手，即可能伪造搜索结果的布尔运算过程. 在这种威胁存在的情况下，VBSE-BI方案应该满足以下安全性定义：
定义3. 动态IND-CKA2安全性. 设A为敌手，Sim为模拟器，L1，L2，L3分别为初始化、搜索、更新文件阶段的泄露函数. 定义如下2个实验：
1）RealA(1k). 为敌手A和挑战者C之间的交互式实验，使用真实的方案算法. 在该实验中，挑战者C运行KeyGen(1k)生成密钥K和公共参数PP. 敌手A输出文件集合f给挑战者C，挑战者C运行初始化算法Setup(K,f)，输出(T,BC)给敌手. 敌手A可以向挑战者发起多项式次自适应质询{ϕ(Wi),fi}1⩽i⩽q. 对于每次质询{ϕ(Wi),fi}，挑战者C为敌手A生成搜索令牌τs,i. 或者更新令牌τu,i. 由于A是自适应敌手，所以其每次质询的结果都可以作为输入来产生下一次质询. 在所有q次质询结束后，敌手A输出一个比特值b作为该实验的输出.
2）IdealA,S(1k). 为敌手A和模拟器Sim之间的交互式实验. 敌手A输出索引结构δ. 根据泄露函数L1，模拟器Sim生成模拟的(˜T,~BC)并发送给敌手A. 敌手A可以向模拟器Sim发起多项式次自适应质询{ϕ(Wi),δfi}1⩽i⩽q. 对于每次质询(ϕ(Wi),δfi)，模拟器可以访问泄露函数L2和L3其中之一，并返回给敌手对应的模拟搜索令牌˜τS. 最终，敌手A返回一个比特值b作为该实验的输出.
VBSE-BI方案满足动态IND-CKA2安全性，当且仅当对于所有满足概率多项式时间计算能力的敌手A，存在多项式时间计算能力的模拟器Sim，使得
|Pr[RealA(1k)=1]−Pr[IdealA,S(1k)=1]|⩽negl(1k)， 其中negl(1k)为以1k为输入的可忽略函数.
定义4. 不可伪造性. 设A为一个有状态的敌手，C为挑战者，L1，L2，L3分别为初始化、搜索、更新文件阶段的泄露函数. 考虑游戏ForgeA(1k)中，敌手A输出文件集合f给挑战者C，挑战者C运行初始化算法(T,BC)←Setup(K,f)，输出区块链索引BC以及密态查找表T给敌手. 敌手A可以向挑战者发起多项式次自适应质询[{ϕ(Wi),fi}]q. 在所有q次质询结束后，敌手输出包含一组关键字的布尔表达式ϕ(W)、一个针对该表达式的错误搜索结果˜Rϕ(W)和针对这一错误结果的证明π. 如果证明可以通过验证算法的验证，即Verify(K,˜Rϕ(W),π)=1，那么实验输出1，否则输出0.
VBSE-BI方案满足不可伪造性，当且仅当对于所有满足多项式时间计算能力的敌手A，使得：Pr[ForgeA(1k)=1]⩽negl(1k)，其中negl(1k)为以1k为输入的可忽略函数.
3. VBSE-BI方案
本节给出VBSE-BI方案的设计思路与具体构建方法. 首先通过构建基于区块链数据存储的增量安全索引结构来实现对密文的搜索以及高效更新，然后设计布尔搜索结果完整性验证方法来实现布尔搜索结果的完整性验证；最后根据设计思路完成方案中每个算法和协议的详细构建.
3.1 设计思路
3.1.1 基于区块链的安全索引构建方法
VBSE-BI的主要搜索结构包含存储于区块链结构中的增量链式安全索引(简称区块链索引BC)以及存储于云服务器的密态查找表T. 令F，G，P为3个伪随机函数，用户U随机选择3个长度k 比特的比特串K1，K2，K3作为伪随机函数F，G，P的密钥. 用户首先在文件集合f=(f1,f2,…,f#f)中提取到关键字信息W=(w1,w2,…,w#W)，构建以关键字为引导的进行组织的#W条虚拟链表(L1,L2,…,L#W)，每个链表都由#fw个节点(N1,N2,…,N#fw)构成，每个节点都存储一个唯一的“文件/关键字”对，所有链表共同构成链式索引结构. 随后，用户将链式索引结构以数据条目的形式上传到区块链中，每个节点存储在BC中的一条交易中. 为了能够将区块链索引中一条虚拟链表中的不同节点进行连接，在每个节点Ni内额外添加指针信息addr(Ni−1)，指向链表内上一个节点Ni−1的交易地址，从而实现整条链表的高效定位与查找. 定义节点Ni的结构为Ni=⟨fi,addr(Ni−1),flag⟩，其中fi为文件的唯一标识， addr(Ni−1)表示链表内上一个节点Ni−1的交易地址，flag为增删标识位. 链表Lw中的所有节点都使用PK3(w)进行异或加密从而对索引的真实索引信息进行隐私保护，其中K3为伪随机函数P的密钥. 除此之外，用户构建查找表T，包含了系统中的所有关键字信息，对于每个关键字w，查找表T中的对应元素以FK1(w)为键，以指向指向区块链索引中链表Lw的末节点地址addr(N#fw)为值，其中K1为伪随机函数F的密钥，addr(N#fw)使用GK2(w)进行异或加密，其中K2是伪随机函数G的密钥.
搜索关键字wi∈W包含的文件时，服务器S使用FK1(wi)作为键来在密态查找表T中定位到到密态地址，使用GK2(wi)来解密得到Lwi的末节点地址明文，并链接到区块链索引BC中的相关交易，最后使用PK3(wi)来解密交易信息，获得文件标识和前一个节点的地址信息，进而在区块链索引BC中提取到链表Lwi中所有节点(N1,N2,…,N#fwi)的信息，得到针对关键字wi的文件标识符集合fwi.
图2为索引结构示意图. 为了更好地说明方案的索引结构间的关系和搜索过程，图2中索引结构均以明文形式阐述. 在区块链结构中，一定数量的新数据条目作为交易的形式封装到一个新的块中，块头包含当前链的最后一个块的哈希值、随机数、交易的Merkle哈希根以及时间戳等信息，块体包含了所有的交易信息，即存储索引BC. 例如，对于关键字w2，在查找表中键w2对应的值为402，即指向了区块链中地址为402的交易. 地址为402的交易信息中存储了一个指向地址为101的交易的指针，地址为101的交易中存储的指针指向了地址0，然后结束遍历. 通过对关键字w2的虚拟链表的遍历，所有包含关键字w2的文件都可以被找到. 上述过程实现搜索正确性的思想是，由于区块链结构对网络中的所有对等点都是可审计的，一旦挖掘出一个块并达成一致意见，就不再在该块中进一步执行修改操作. 因此区块链索引凭借着安全不可篡改的特性， 能防止已经确认的交易记录被更改，能够保证每个得到有效性验证的区块数据和交易记录中的节点信息的完整性，因此其保证了索引存储以及搜索的正确性.
3.1.2 布尔搜索完整性验证方法
为了搜索针对关键字集合W={w1,w2,…,wn}的某个布尔表达式ϕ(W)，服务器S需要通过查找表对每个关键字wi∈W在区块链中定位链表Lwi的末节点N#fwi的地址addr(N#fwi)，并分别在区块链索引中进行搜索，得到结果R = (fw1,fw2,…,fw\# W)后进行针对布尔表达式ϕ(W)的运算. 根据类型不同，布尔运算正确性满足如下性质：
1）交集. 如果I={f1,f2,…,fm}为fw1,fw2,…,fwn正确交集，当且仅当下列2个条件成立：①子集条件. 作为集合的交集，集合I一定为每一个集合fwi的子集，即(I⊆fw1)∩…∩(I⊆fwn)；② 完备性条件. 集合I必须包含集合fw1,fw2,…,fwn的所有共同关键字，即(fw1−I)∩…∩(fwn−I)=fwm.
2）并集. 直观上，U={f1,f2,…,fm}为fw1,fw2,…,fwm正确并集，当且仅当下列2个条件成立：①成员条件. 作为集合的并集，集合U中的任何文件一定包含于某个集合fwi，即∀fk∈U,∃i∈{1,2,…,n}:fk∈fwn；②超集条件. 任何集合fwi一定是集合U的子集，即(U⊇fw1)∧(U⊇fw2)∧…∧(U⊇fwn).
3）差集. 给定集合D和2个集合fwi,fwj，D为fwi,fwj正确差集当且仅当差集条件成立：集合D中的文件包含所有包含关键字wi但不包含关键字wj中的文件，即D=fwi−fwj⇔fwi−(fwi−D)=fwi∩fwj. 如果Iwi∧wj为集合fwi和fwj的交集，即Iwi∧wj=fwi∩fwj，则集合D和Iwi∧wj的并集与集合fwi相等：D∪Iwi∧wj=fwi. 因此，证明D=fwi−fwj等价于证明fwi=D∪Iwi∧wj，即证明fwi为D和Iwi∧wj的并集.
本文设计融合双线性映射累加器和扩展欧几里德算法的集合运算正确性证明方法.
具体来讲，为了证明并集搜索结果I的子集条件，对于所有w∈W，首先用户分别为fw1,fw2,…,fwn计算累加值acc(fwi)，然后便可以为每一个集合fwi生成对应的子集包含证据(I,WI,fwi). 用户利用acc(fwi)和(I,WI,fwi)验证集合I和集合Si之间的子集包含关系了. 除此之外，若集合I是完备的，当且仅当存在多项式q1(s),q2(s),…,qn(s)，使得q1(s)P1(s)+q2(s)P2(s)+…+qn(s)Pn(s)=1，其中
Pi(s)=∏f∈Si−I(s+id(f)). 因此假设I并不是完备的集合，那么在多项式P1(s),P2(s),…,Pn(s)中至少存在一个公因式. 在这种情况下，便不存在多项式q1(s),q2(s),…,qn(s)使得q1(s)P1(s)+q2(s)P2(s)+…+qn(s)Pn(s)=1. 因此如果能找到符合要求的q1(s),q2(s),…,qn(s)，那么就说明P1(s),P2(s),…,Pn(s)中一定不存在公因式.
为了证明并集搜索结果U的成员条件，需要为集合U中的每个文件fj生成针对文件集合fwi的成员证据Mj,i. 验证时，验证成员条件通过验证下列等式是否成立：e(Mj,i,gfjgs)=e(acc(fwi),g). 需要注意的是，对于集合U中的每个文件fj，只有当对于每个集合fwi上述等式都不成立时，才表示元素fj不属于任意集合fwi，此时认为验证失败. 证明超集条件时，需要为fw1,fw2,…,fwn构造超集证据：对于1⩽i⩽n，计算
Pi=∏f∈U−fwi(s+f)， 令S={Si}1⩽i⩽n={gPi}1⩽i⩽n为超集证据. 验证时，通过验证下列等式是否成立，验证
e(Si,acc(fwi))=e(gd∏k=1(s+fk),g)， 其中Si为超集证据S中元素. 如果所有的验证过程都通过，那么就可以认为U是正确的，即的确是由fw1,fw2,…,fwn通过并集运算得到的结果. 由于差集证明方法可规约为并集证明，因此不再过多赘述.
3.1.3 安全索引的动态更新机制
用户U可以随时在方案中添加或删除包含Wf=(w1,w2,…,wn)关键字的文件f. 对于Wf中的任意关键字wi，首先用户U和服务器S交互获取密态查找表T中与wi对应的链表Lwi的末节点N#fwi在区块链索引BC中的交易地址addr(N#fwi)以及相关累加值acc(fwi)，并且利用此地址addr(N#fwi)更新链表Lwi——增加文件f对应的新的末节点N′#fwi. 之后用户将N′#fwi作为交易的形式更新到区块链索引BC中，得到N′#fwi的交易地址addr(N′#fwi). 除此之外，用户需要利用原有fwi对应的累加值acc(fwi)和更新的文件f计算新的累加值acc(fwi)′. 最后用户将addr(N′#fwi)以及累加值acc(fwi)′更新到查找表中wi键对应的值中，至此完成安全索引结构的更新. 由于区块链结构为增量数据结构，且具有防篡改性，因此无法修改或删除已有交易值信息，针对上述情况，将添加和删除文件过程均利用添加节点至区块链来进行，通过在每个节点内区分标flag标志位的值来区分添加和删除操作，flag = 1则表示f为增加的文件，flag = 0则表示f为删除的文件. 上述动态更新过程中服务器S可以在无需对查找表进行解密的情况下，使用用户发送的更新令牌中的密文信息直接对密态查找表直接进行更新.
3.2 详细算法及协议
令F:{0,1}k×{0,1}∗→{0,1}k，G:{0,1}k×{0,1}∗→{0,1}∗，P:{0,1}k×{0,1}∗→{0,1}k 为3个固定长度伪随机函数，∑BC(Init,Put,Get)为区块链数据存储结构，具体的算法及协议描述如下：
3.2.1 密钥生成算法
(K,PP)←KeyGen(1k)：进行用户端密钥的生成. 主要步骤如下：
1）随机选择3个长度为k比特的比特串K1,K2,K3.
2）选择双线性配对的参数(p,G,G,e,g).
3）选择s∈Z∗p作为一个随机的秘密陷门.
4）计算(g,gs,gs2,…gsq)作为公开参数.
5）输出密钥K=(K1,K2,K3,s)，并输出公开参数PP=(g,gs,gs2,…,gsq).
3.2.2 初始化算法
(T,BC)←Setup(K,f)：用户U初始化索引结构. 主要步骤如下：
1）初始化长度为#W的查找表T.
2）调用∑BC·Init(k)算法，输入安全参数k，初始化区块链索引BC.
3）对于每个关键字w∈W：
① 构建一个由#fw个节点(N1,N2…,N#fw)构成的链表L，节点的结构定义为
Ni=⟨fi,addr(Ni−1),flag⟩⊕PK2(w)， 其中fi为文件标识，addr(Ni−1)表示节点Ni−1的交易地址，addr(N1)=⊥，flag为增删标识位；
② 对于链表Lw的所有节点(N1,N2,…,N#fw)，依次调用∑BC·Put(Ni)算法，将节点Ni作为交易值封装进区块链索引BC的区块上并获取交易地址addr(Ni)，最终返回addr(N#fw).
4）对于每个关键字w∈W：
① 计算fw的累加值，即
acc(fw)=g∏f∈fw(s+id(f)). ② 输出区块链索引BC和密态查找表T共同作为安全索引结构，即
T[FK1(w)]=⟨θ1,θ2⟩=⟨addr(N#fw)⊕GK3(w),acc(fw)⟩. 3.2.3 搜索协议
(Rϕ(W),π;⊥)←Search(U(K,ϕ(W));S(T,BC))：用户U和云服务器S交互执行针对关键字集合W={w1,…,wn}的布尔表达式ϕ(W)的搜索过程，服务器针对搜索结果生成相应布尔运算证明. 主要步骤如下：
1）用户U.
① 针对每个搜索关键字wi∈W：生成搜索令牌τi=(τi,1,τi,2,τi,3)=(FK1(wi),GK2(wi),PK3(wi)).
② 发送搜索令牌τs=(ϕ(W),{τi}i∈W)给服务器S.
2）服务器S.
对于每个关键字wi∈W，执行以下步骤：
① 使用τi,1作为键检索密态查找表T中的值θ1←T[τi,1].
② 计算链表头节点在索引BC中的交易地址α1←θ1⊕τi,2.
③ 在BC中获取地址addr(N#fwi)的交易值tx1←∑BC·Get(addrN#fw).
④ 计算a1||a2||a3←tx1⊕τi,3.
⑤ 如果a3=1，则更新Rwi←Rwi∪{a1}，如果a3=0，则更新Rwi←Rwi/{a1}.
⑥ 如果a2≠⊥，则重复过程③④，继续查找BC中地址为a2的交易值，直到a2=⊥. 对于所有关键字 wi∈W搜索完毕后，得到搜索结果R=(Rw1,Rw2,…,Rw#W).
对于布尔表达式ϕ(W)，云服务器S进行如下步骤完整集合运算的证明：
1）交集证明.
步骤1. 计算交集RI=Rw1∩Rw2∩…∩Rwn，其中RI={f1,f2,…,fm}.
步骤2. 对于每个集合Rwi，1⩽i⩽n，执行如下：
①计算多项式Pi=∏f∈Rwi−RI(s+f).
②计算集合RI对于Rwi的子集包含证据IRI,Rwi=gPi.
③计算子集证据I={Ii}={II,fwi}1⩽i⩽n.
④使用公开参数(g,gs,…,gsq)来计算gPi的值.
⑤给定{P1,P2,…,Pn}，使用扩展欧几里德算法找到多项式{q1,q2,…,qn}，满足q1P1+q2P2+…+qnPn=1. 整合C={gq1,gq2,…,gqn}为完备性证据.
步骤3. 整合交集证据πI={I,C}.
2）并集证明.
步骤1. 计算并集RU=Rw1∪Rw2∪…∪Rwn，其中RU={f1,f2,…,fm}.
步骤2. 对于每个集合Rwi，1⩽i⩽n，执行如下：
①对于RU中每个文件fk，计算多项式
Fk,i=∏f∈Rwi−fk(s+f). ②使用公开参数(g,gs,…,gsq)计算Mk,i=gFk,i.
步骤3. 计算多项式Pi=∏f∈RU−Ri(s+f).
步骤4. 计算成员证据M={Mi,j}1⩽i⩽n,1⩽k⩽m，超集证据S={Si}1⩽i⩽n={gPi}1⩽i⩽n.
步骤5. 整合并集证据πU={M,S}.
3）差集证明.
设差集搜索令牌τs=(D(wi,wj),τi,τj) ，计算差集RD=Rwi−Rwj，其中RD={f1,f2,…,fm}. 之后服务器按照如下方式计算证据πD={M,S}以完成证明：
步骤1. 对于RD中每个文件fk，1⩽k⩽m：
①计算多项式
F1=∏f∈RD−fk(f+s)，F2,1=∏f∈Rwi−fk(f+s)，以及F2,2=∏f∈Rwj−fk(f+s).
②使用公开参数(g,gs,…,gsq)来计算
M={M1,M2,M3}， 其中M1=gF1，M2=gF2,1，M3=gF2,2.
步骤2. 计算交集Iwi∧wj=Rwi∩Rwj.
步骤3. 计算acc(Iwi∧wj)=g∏f∈Iwi∧wj(f+s).
步骤4. 对于集合RD和Iwi∧wj，计算
P1=∏f∈Rwi−RD(f+s)， P2=∏f∈Rwi−Iwi∧wj(f+s)， P3=∏f∈RD(f+s), P4=∏f∈Iwi∧wj(f+s). 步骤5. 计算超集证据：
S=(S1,S2,S3,S4)=(gP1,gP2,gP3,gP4). 步骤6. 整合差集证据πD={M,S}.
随后，云服务器S将搜索结果集合Rϕ(W)和针对该集合的证明π返回给用户U.
3.2.4 验证算法
b←Verify(K,Rϕ(W),π)：用户U验证布尔搜索结果的完整性. 主要步骤如下：
1）交集验证.
步骤1. 对于τs中的每个τi，1⩽i⩽n，使用θ2通过以下等式来验证子集条件：
e(gm∏k=1(s+fk),Si)=e(θ2,g)， 其中(f1,f2,…,fm)为交集中的元素，Si=gPi为子集证据S中元素.
步骤2. 通过以下等式来验证完备性条件：
m∏i=1e(Si,Ci)=e(g,g)， 其中Si = gPi为子集证据S中元素，Ci=gqi为完备性证据C中对应元素.
步骤3. 如果上述验证过程都通过，则输出1代表验证成功；否则输出0代表验证失败.
2）并集验证.
步骤1. 对于每个文件fk∈U，1⩽k⩽m，使用θ2通过以下等式来验证验证成员条件：
e(Mk,i,gfkgs)=e(θ2,g)， 其中Mk,i = gFk,i为M中的元素.
步骤2. 对于每个集合Rwi,1⩽i⩽n，通过以下等式来验证超集条件：
e(Si,acc(fwi))=e(gd∏k=1(s+fk),g)， 其中Si为超集证据S中元素.
只有RU中的存在文件对于任意集合fwi的成员条件均不成立时，认为验证失败.
步骤3. 如果上述验证过程都通过，则输出1代表验证成功；否则输出0代表验证失败.
3）差集验证.
步骤1. 对于每个文件标识fk∈Rwi,1⩽k⩽m，通过以下等式来验证成员条件：
e(M1,gfkgs)=e(acc(RD),g)，e(M2,gfkgs)=e(acc(Rwi),g)，e(M3,gfkgs)=e(acc(Rwj),g)， 其中(M1,M2,M3)=(gF1,gF2,1,gF2,2)为成员证据M中的元素.
步骤2. 对于集合R和Iwi∧wj，通过以下等式来验证超集条件：
e(S1,S3)=e(gd∏k=1(s+fk),g)， e(S2,S4)=e(gd∏k=1(s+fk),g)， 其中(S1,S2,S3,S4)=(gP1,gP2,gP3,gP4)为超集证据S中元素.
步骤3. 当步骤1中成员条件3个等式都不成立时，判定验证失败. 如果上述验证过程都通过，则输出1代表验证成功；否则输出0代表验证失败.
3.2.5 更新协议
(⊥;T′;BC′)←Update(U(K,f);S(T);BC)：用于用户U添加或删除包含Wf=(w1,w2,…,wd)关键字的文件f时索引结构的更新. 主要步骤如下：
用户U计算(FkF(w1),FkF(w2),…,FkF(wd))发送至服务器S.
服务器S对于每一个tju，在查找表中获取T[tju]，将(θ1,θ2,…,θd)按序发送回用户U.
1）用户U对于每一个θi，执行以下步骤：
步骤1. 计算addrN#fwi−1=θi⊕GkG(wi).
步骤2. 如添加文件，计算
N#fwi=⟨f,addrN#fwi−1,1⟩⊕PKP(wi)， 如删除文件，计算
N#fwi=⟨f,addrN#fwi−1,0⟩⊕PKP(wi). 步骤3. 调用∑BC·Put(N#fwi)，将N#fwi作为交易值封装进区块链索引BC的区块上并获取交易地址addr(N#fwi).
步骤4. 计算更新后fwi对应的相关累加值
τ3u,i←θ2s+f. 步骤5. 计算τ2i←GKG(wi)⊕addr(N#fwi).
步骤6. 如果为添加操作，计算τ3i←θ2s+f.如果为删除操作，计算τ3u,i←θ21/(s+f).
步骤7. 计算τi=(τ1i,τ2i,τ3i).
步骤8. 对于所有θi执行完步骤1～6后，将τu=(τ1,τ2,…,τd)作为更新令牌发送给服务器.
2）服务器S对于每个τi，执行以下步骤：
步骤1. 获取(θ1,θ2)←T[τi,1].
步骤2. 使用τ2u,i对θ1进行更新θ′1←τ1u,i.
步骤3. 使用τ3u,i对θ2进行更新θ′2←τ3u,i.
步骤4. 更新查找表T：(θ1′,θ2′)←T[τi,1].
步骤5. 输出更新后的索引结构T′;BC′.
4. 安全性分析
4.1 动态IND-CKA2安全性
首先定义3个泄露函数L1(T,I)，L2(f,ϕ(W))，L3(f)来描述初始化、搜索和更新文件执行期间向服务器泄露的信息. 接下来的定理表明，给定以上泄露函数的情况下，VBSE-BI方案在随机预言模型下满足动态自适应CKA安全性.
定理1. 若F,G,P为伪随机函数，则VBSE-BI方案在随机预言模型下针对自适应选择关键字攻击是(L1,L2,L3)安全的，即满足动态IND-CKA2安全性.
证明. 在IdealA,S(k)中，通过L1的信息，模拟器可以确定可以获知查找表T的大小#T、字典大小集合#W以及集合[id(w)]w∈W. 随后，它可以使用随机值来构建搜索结构，并输出作为模拟值(˜T,~BC). 由于真实索引是使用伪随机函数F,G,P产生的，而模拟索引是由随机比特填充的，因此，如果函数F,G,P的伪随机性成立，则对于所有PPT敌手A，无法在多项式时间内区分真实索引和模拟索引.
为了响应敌手的质询，模拟器需要使用L2和L3来构建模拟搜索令牌和更新令牌，使其与真实令牌是无法区分的. 具体来说，泄露函数L2(δ,f,ϕ(W))向服务器泄露了所有关键字w∈W的标识id(w)，以及每个关键字标识id(w)和包含关键字w的文件标识之间的关联. 因为˜τs=(˜τ1,˜τ2,…,˜τn)，˜τi=(γ(id(wi))，T[γ(id(wi))]⊕iT(id(wi)),Kid(wi))，而˜τs=(˜τ1,˜τ2,…,˜τn)，τi=(FK1(wi),GK2(wi), PK3(wi))，根据函数F,G,P的伪随机性，对于所有概率多项式计算能力敌手A，不能区分搜索令牌和模拟搜索令牌τs和˜τs. 同理，泄露函数L3(f)泄露了更新协议中更新文件所包含的关键字的标识符集合. [id(w)]w∈Wf. 以及关键字w是否是一个新的关键字[apprs(w)]w∈Wf，其中apprs(w)为一个1 b的标志位，值为1表示关键字w已经存在于索引中；值为0表示w是一个新关键字. 因此，基于函数F,G,P的伪随机性，敌手同样不能区分更新令牌τu和模拟更新令牌.
综上所述，对于所有PPT敌手A来说，实验RealA(k)与IdealA,S(k)的输出是一致的，除了以可忽略的概率negl(k)，即
|Pr[RealA(k)=1]−Pr[IdealA,S(k)=1]|⩽negl(k). 因此，VBSE-BI方案在在随机预言模型下满足动态IND-CKA2安全性. 证毕.
4.2 不可伪造性
VBSE-BI方案的不可伪造性指对于所有概率多项式计算能力敌手A，针对伪造的布尔搜索结果，无法生成正确有效的证据.
定理2. 如果双线性q-SDH假设成立，那么VBSE-BI方案满足不可伪造性.
证明. 如果存在一个概率多项式计算能力敌手A使得实验ForgeA(1k)的输出为1，那么就存在一个模拟器Sim，有能力攻破双线性q-SDH假设. 证明主要针对交集布尔搜索场景的不可伪造性，并集以及差集证明方法与交集不可伪造性证明方法过程类似，不再赘述.
假设A在执行针对集合W的搜索算法Search后，输出一个文件标识符集合˜Rϕ(W)≠Rϕ(W)和一个有效的证明π. 这意味着该证明π通过了验证算法Verify中的所有验证，即敌手A成功的进行了伪造. 证明π={S,C}中的伪造可以分为伪造S和伪造C这2种情况. 通过以下分析，我们能够得出，模拟器Sim能够通过伪造S和伪造C来攻破双线性q-SDH假设.
给定模拟器Sim双线性q-SDH实例：(p,G,G,e,g)以及一个(q+1)元组(g,gs,…,gsq)，模拟器Sim和敌手A在实验VeriA(1k)中交互.
首先，由于模拟器Sim不知道给定实例中的s值，他需要对实验VeriA(1k)进行修改，重新构造和s值相关的算法：
1）KeyGen算法中，模拟器Sim在不知情s的情况下直接使用(g,gs,gs2,…,gsq)作为公开参数并发送给敌手A.
2）Setup算法中，模拟器Sim利用(g,gs,gs2,…,gsq)计算acc(fwi)=g∏f∈fw(s+f). 为了模拟更新令牌，模拟器Sim需要构造一个额外辅助结构N，为每个acc(fwi)存储一个多项式nw=∏f∈fw(s+f).
3）Update协议中，模拟器Sim不能直接生成更新令牌τu，首先找到结构N中与θi,2相等的多项式ni，然后利用(g,gs,gs2,…,gsq)计算gni(s+f)，生成新的θ2=gni(s+f).
模拟器Sim将和s值相关的数值通过上述方式计算，然而由于修改的实验中算法的输出和实验VeriA(1k)算法的输出是不可区分的，所以在敌手A的视角中，新计算的数值仍然有效. 那么如果敌手A赢得了游戏，那么意味着敌手A攻破了双线性q-SDH假设，即成功伪造了伪造子集证据S或者成功伪造了完备性证据C.
1）伪造子集证据S：敌手输出错误的搜索结果I′={f1,f2,…,fm}和伪造的子集证据Si=⌢gPi. 令Si={f1,f2,…,fq}为包含关键字wi的文件标识符集合，如果I′⊄，那么一定存在某个1 \leqslant j \leqslant m，使得{f_j} \notin {S_i}. 通过验证意味着
e( {{g^{\prod\limits_{f \in I'} {(s + f)} }},{\mathcal{S}}} ) = e\left( {{g^{(s + {f_1})(s + {f_2}) … (s + {f_q})}},g} \right) \text{，} 因为{f_j} \notin {S_i}，因此(s + {f_j})并不能整除 (s + {f_1}) (s + {f_2}) … (s + {f_q}) . 所以存在一个次为q - 1的多项式Q(s)和一个常数c \ne 0，使得 (s + {f_1})(s + {f_2}) … (s + {f_q}) = Q(s)(s + {f_j}) + c . 因此
e{( {g,\stackrel{\frown}{g}^{{P_i}}} )^{(s + {f_j})\prod\limits_{f \in I' - {f_j}} {(s + f)} }} = e{\left( {g,g} \right)^{Q(s)(s + {f_j}) + c}} 经过变形后，最终可以得到
e{\left( {g,g} \right)^{\frac{1}{{s + {f_j}}}}} = {\left( {e{{( {g,{\stackrel{\frown}{g}^{{P_i}}}} )}^{\prod\limits_{f \in I' - {f_j}} {(s + f)} }}e{{\left( {g,g} \right)}^{ - Q(s)}}} \right)^{1/c}} \text{，} 这说明模拟器\mathcal{S}im可以借在多项式时间内解决双线性q-SDH问题的一个实例. 这违反了双线性q-SDH假设.
2）伪造完备性证据 \mathcal{C} ：这种情况下，敌手输出错误的交集搜索 {\widetilde R_{\phi ({\mathcal{W}})}} = \{ {f_1},{f_2}, … ,{f_m}\} 和一个完备性证据 \stackrel{\frown}{\cal C}. 因为 {\widetilde R_{\phi ({\mathcal{W}})}} 是 R 的真子集，那么多项式{P_1},{P_2}, … ,{P_n}至少存在一个公因式. 令(s + f)为{P_1},{P_2}, … ,{P_n}的一个公因式，其中f \notin I'. 通过验证算法意味着 \prod\limits_{i = 1}^m {e( {\cal S},\stackrel{\frown}{\cal C} )} = e\left( {g,g} \right)成立. 通过计算{g^{{{P'}_i}}} = {({g^{{P_i}}})^{1/(s + f)}}，将(s + f)从每个{P_i}中提取出来，即
\begin{split} \prod\limits_{i = 1}^n {e\left( {{g^{{P_i}}},{g^{{q_i}}}} \right)} =\;& \prod\limits_{i = 1}^n {e( {{{( {{g^{{{P'}_i}}}} )}^{s + f}},{g^{{q_i}}}} )}= \\ &{\left( {\prod\limits_{i = 1}^n {e\left( {{g^{{{P'}_i}}},{g^{{q_i}}}} \right)} } \right)^{s + f}} =e(g,g) \end{split} 因此模拟器\mathcal{S}im可以很容易的计算 e{\left( {g,g} \right)^{1/(s + f)}} = \prod\limits_{i = 1}^n {e\left( {{g^{{{P'}_i}}},{g^{{q_i}}}} \right)} ，从而找到双线性q-SDH问题的一个实例的解，这同样违反了双线性q-SDH假设.
综上所述，如果敌手可以伪造出一个有效的证据，那么就存在一个模拟器\mathcal{S}im，可以攻破哈希函数{H_3}的抗碰撞性和双线性q-SDH假设的至少一个. 因此，对于所有概率多项式计算能力敌手\mathcal{A}来说，赢得实验 Ver{i_{\mathcal{A}}}({1^k}) 概率为：
Pr{\text{[}}Forg{e_{\mathcal{A}}}({1^k}) = {\text{1}}] \leqslant negl({1^k}) \text{，} 其中 negl({1^k}) 是一个以安全参数 {1^k} 为输入的可忽略函数. 因此VBSE-BI方案具有不可伪造性.
5. 性能分析与实验
本节主要分析提出VBSE-BI方案的性能，. 首先从理论层面对方案的各个阶段的性能进行综合对比评估，之后通过设计实验方案的原型系统，来对不同阶段的性能进行测试，得到实验结果.
5.1 代价分析
针对模型构建过程中的存储代价、计算代价以及通信代价3个维度分析方案性能. 设N表示关键字集合的大小，M为文件总个数，n为布尔搜索请求中包含的关键字个数，m为搜索结果中文件个数，d为更新文件包含的关键字个数. 方案的代价分析如表2所示.
表 2 代价分析Table 2. Cost Analysis复杂度类别 VBSE-BI方案 文献[23]方案 用户端 服务器端 用户端 服务器端 {\text{Sto}}{{\text{r}}_{{\text{Index}}}} {\mathcal{O}}(1) {\mathcal{O}}(N) {\mathcal{O}}(1) {\mathcal{O}}(NM){\text{ + }}{\mathcal{O}}(N){\text{ + }}{\mathcal{O}}(M) {\text{Com}}{{\text{p}}_{{\text{Search}}}} {\mathcal{O}}(n) {\mathcal{O}}(mn) {\mathcal{O}}(n) {\mathcal{O}}(n + mn) {\text{Com}}{{\text{p}}_{{\text{ProveI}}}} - {\mathcal{O}}(N{\log ^2}N\log \log N) - {\mathcal{O}}(N{\log ^2}N\log \log N) {\text{Com}}{{\text{p}}_{{\text{ProveU}}}} - {\mathcal{O}}(N\log N) - - {\text{Com}}{{\text{p}}_{{\text{ProveD}}}} - {\mathcal{O}}(N\log N) - - {\text{Com}}{{\text{m}}_{{\text{Search}}}} {\mathcal{O}}(n + m) {\mathcal{O}}(n + m) {\mathcal{O}}(n) {\mathcal{O}}(n\log n + m) {\text{Com}}{{\text{p}}_{{\text{Verify}}}} {\mathcal{O}}(n + m) - {\mathcal{O}}(n\log n + m) - {\text{Com}}{{\text{p}}_{{\text{Update}}}} {\mathcal{O}}(d) {\mathcal{O}}(d) {\mathcal{O}}(\log N + d) {\mathcal{O}}(d) {\text{Com}}{{\text{m}}_{{\text{Update}}}} {\mathcal{O}}(d) {\mathcal{O}}(d) {\mathcal{O}}(d) {\mathcal{O}}(d) 注：{\text{Sto}}{{\text{r}}_{{\text{Index}}}}—存储空间复杂度；{\text{Com}}{{\text{p}}_{{\text{Search}}}}—搜索计算复杂度；{\text{Com}}{{\text{p}}_{{\text{ProveI}}}}—交集证明计算复杂度；{\text{Com}}{{\text{p}}_{{\text{ProveU}}}}—并集证明计算复杂度；{\text{Com}}{{\text{p}}_{{\text{ProveD}}}}—差集证明计算复杂度；{\text{Com}}{{\text{p}}_{{\text{Verify}}}}—验证计算复杂度；{\text{Com}}{{\text{m}}_{{\text{Search}}}}—搜索通信复杂度；{\text{Com}}{{\text{p}}_{{\text{Update}}}}—更新计算复杂度；{\text{Com}}{{\text{m}}_{{\text{Update}}}}—更新通信复杂度；-：无复杂度体现. 存储代价主要考虑云服务器的安全索引存储代价，设T为长度为N的查找表，索引的空间复杂度为\mathcal{O}(N). 在计算代价方面，构建搜索令牌的计算代价与搜索关键字个数有关，时间复杂度为\mathcal{O}(n). 服务器对搜索令牌进行搜索操作时的计算复杂度为\mathcal{O}(mn)，进行交集运算的渐近运行时间为\mathcal{O}(N{\log ^2}N\log \log N)，并集和差集云服务器的渐近运行时间复杂度为\mathcal{O}(N\log N)，用户端完成验证操作的渐近运行时间复杂度为\mathcal{O}(n) + \mathcal{O}(m). 搜索通信代价主要由搜索关键字个数以及搜索结果中文件个数决定. 当用户想要搜索n个关键字的布尔集合时，和服务器交互一次，发送搜索令牌的通信复杂度为\mathcal{O}(n)，云服务器返回搜索结果的通信复杂度为\mathcal{O}(m)，因此通信的数据规模为的通信复杂度为\mathcal{O}(n + m). 与同类型的文献[23]方案相比，本方案在支持更丰富的布尔查询语句的同时，降低了服务器端索引的存储代价以及搜索、验证以及更新的计算代价.
5.2 实验分析
本文对提出的方案进行了编程实现，然后通过对算法的性能测试来分析方案在实际应用中的表现. 方案部署一个远程服务器来模拟云服务器，处理器为Intel Core i7-
2600 Quad-Core Processor 3.4 GHz，内存为8 GB；同时部署多台主机模拟用户端，每台主机模拟为一个和云服务器交互的用户. 此外，方案利用Ethereum仿真平台Ropsten Testnets模拟区块链存储平台，具体来说，利用Ethereum的web3 API包[26]来构建区块链索引，调用Metamask[27]创建本地钱包来实例化 {\sum }_{BC}{}_{·}Init\text{()} 算法，调用signTransaction函数实例化 {\sum }_{BC}{}_{·}Put\text{()} 算法来存储链式索引结构中的节点信息；调用sendRawTransaction函数接受已签名的交易同时输出交易的地址；搜索时，调用getTransaction函数来实例化 {\sum }_{BC}{}_{·}Get\text{()} 算法将交易的地址作为输入并输出关联的交易内容，然后读取数据字段以检索链式索引中的节点信息. 方案调用OpenSSL_SHA256-HMAC[28]算法实现伪随机函数F，G，P. 使用Enron邮件数据集[29]来进行性能的评估，从邮件集合中随机选择1 000个文件作为测试用的文件集.根据系统实现的功能，测试系统执行不同操作时的云服务器端和用户端的计算开销及通信开销，其中服务器计算开销主要测试的内容包括搜索时间、生成证明时间，用户的计算开销主要测试验证时间，通信开销主要测试云服务器返回搜索结果的数据量. 实验中每个数据均为实验重复50 次并取平均值后得到的结果.
1）计算开销. 计算开销可以分为区块链索引搜索开销、服务器本地证明开销以及用户端本地验证开销，如图3所示. 当搜索关键字数量为（2，4，6，8，10）时，搜索区块链索引的时间开销与关键字个数大致呈线性关系（1.817～5.755 s）. 证明过程耗时较搜索过程大，原因为包含较多指数运算和双线性配对运算，尽管关键字数量变化，时间开销相对稳定，维持在6.1～6.8 s之间，与理论分析一致. 由于这些计算的效率与所选用的曲线参数和配对算法有很大关系，通过多线程计算和预先计算，可以显著降低证明阶段的计算时间. 因此随着参数和算法的不断优化，其效率可以进一步得到提升. 此外，服务端的算法还可以进行一些实现方面的优化，从而可以大大降低证明阶段所花费的时间. 例如对集合证据使用多线程来计算，以及使用预先计算好的{P_i}和{g^{{P_i}}}等. 用户计算开销主要测试在不同数目关键字情况下进行搜索时用户完成验证操作的时间，开销与关键字个数无关，维持在1.0～1.8 s之间. 验证过程中耗时最多的操作为双线性配对过程，与服务器端的搜索和证明时间相比，用户端计算开销为服务器端计算开销的9.98%～14.03%. 因此，VBSE-BI方案在用户端的计算开销相对较低，验证操作高效快速，极大地减少了用户端的计算负担. 这使得方案在实际应用中具有较好的用户体验，特别是在资源受限的移动设备上，表现尤为突出.
![]()
图 3 计算开销与关键字数量之间的关系Figure 3. The relationship between computational cost and the number of keywords2）通信开销. 通信开销主要包含搜索结果的数据量和额外证明的数据量. 图4表明了通信开销与搜索时布尔表达式中的关键字数量之间的关系. 当搜索时使用的关键字数量为（2，4，6，8，10）递增时，通信开销中搜索结果的数据量从758 B减少至201 B这是因为符合多个关键字布尔表达式的搜索结果减少，传输的数据量也相应减少. 证明数据量从502B增加至1 896 B，因为更多的关键字需要更多的证明数据来保证搜索结果的正确性和完整性，占总数据量的36.97%～76.54%. 因此，额外证明的数据量是影响通信开销的主要因素，与理论分析一致. 因此，对于频繁查询的关键字，预先生成并存储其证明数据，减少实时计算和传输的开销，可以显著减少VBSE-BI方案中的通信开销，提高整体性能. 特别是在处理较多关键字的搜索时，通过优化证明算法和减少冗余数据，可以有效地控制通信开销的增长，从而提高方案在实际应用中的效率和可扩展性.
![]()
图 4 通信开销与关键字数量之间的关系Figure 4. The relationship between communication cost and the number of keywords6. 总 结
本文提出一种基于区块链索引的可验证布尔搜索加密方案. 设计基于区块链的索引构建算法和索引动态更新算法，并利用可证安全的对称加密和同态加密机制对索引进行加密，实现多关键字布尔搜索. 针对布尔搜索的完整性验证需求，给出布尔搜索结果不可伪造性定义，并提出基于双线性映射累加器和扩展欧几里德算法的布尔运算完整性验证算法. 安全性分析表明，本方案在随机预言模型下能够抵抗动态选择关键字攻击，并且在双线性阶强Diffie-Hellman 假设下满足不可伪造性. 性能分析表明，本方案有效地降低了搜索时的通信代价以及用户端计算复杂度. 本方案提升可搜索加密的可用性和确保用户享受的合法权益不受损害具有重要意义. 本文搜索协议在进行搜索结果证明时的计算代价具有提升空间，因此在未来的研究中重点关注此方面效率的提高. 除此之外，未来考虑使方案满足有隐私保护需求的更多密文搜索场景，例如基于兴趣的推荐服务以及云边协同隐私保护查询等.
作者贡献声明：李宇溪负责模型设计，方案设计，算法设计，方案分析，论文撰写及修改；陈晶晶负责安全性分析，实验环境部署，论文撰写及修改；周福才负责模型设计，技术路线可行性分析；徐剑负责理论基础，整体思路确定；纪东负责实验分析，论文修改.
-
![]()
图 1 一个包含4个单元动作的复杂动作的长视频示例
Figure 1. A long video example of a complex action with 4 unit actions
![]()
图 2 基于单元网络堆叠的神经架构搜索网络结构图
Figure 2. Neural architecture search network structure diagram based on cell network stacking
![]()
图 5 模型参数量随着 TC 层数增加的变化曲线
Figure 5. The variation curve of model parameter quantity with increasing TC layers
![]()
图 6 NAS-Temp 和时间卷积模块的结构对比
Figure 6. Structure comparison of NAS-Temp and temporal conv module
表 1 候选操作集的参数
Table 1 Parameters of Candidate Operation Set
O 核大小( k ) 膨胀率( d ) 组数( g ) 填充数( p ) Identity - - - - Zero - - - - Avg pool 2 (2,1,1) - - (1,0,0) Max pool 2 (2,1,1) -(2,1,1) - (1,0,0) DilConv k3 (3,1,1) 2 C (2,0,0) DilConv_ k 5 (5,1,1) 2 C (4,0,0) SepConv k 3 (3,1,1) 1 - (1,0,0) SepConv k 5 (5,1,1) 1 - (2,0,0) SepConv k 7 (7,1,1) 1 - (3,0,0) 注：- 表示不适用. 
下载: 导出CSV
表 2 数据集的统计信息
Table 2 Statistics of the Dataset
数据集 视频数 总时长/h 平均时长/min 动作数/视频 种类数 Charades 9848 82 0.5 6 157 MultiTHUMOS 400 30 4.5 11 65 BreakfastActions 1712 66 2.3 7 48
下载: 导出CSV
表 3 不同时间步长输入下模型的性能对比
Table 3 Performance Comparison of Models with Different Timesteps Inputs
I3D CNN_Steps ⇒
TC_StepsTimeception[26] NAS-TC（本文） 参数量/M mAP/% 参数量/M mAP/% + 3 TC 256 ⇒ 32 2.0 33.9 1.5 34.5 (0.6 ↑) + 3 TC 512 ⇒ 64 2.0 35.5 1.5 37.2 (1.7 ↑) + 4 TC 1 024 ⇒ 128 2.8 37.2 2.0 39.3 (2.1 ↑)
下载: 导出CSV
表 4 在Charades数据集上不同方法的性能比较
Table 4 Performance Comparison of Different Methods on Charades Dataset
方法 数据模态 mAP/% R-C3D[72] RGB + Flow 12.7 Two-stream[63] RGB + Flow 18.6 Two-stream+LSTM[63] RGB + Flow 17.8 ActionVLAD[69] RGB + iDT 21.0 TemporalFields[63] RGB + Flow 22.4 TemporalRelations[59] RGB 25.2 ResNet-152[63] RGB 22.8 ResNet-152+Timeception[27] RGB 31.6 3D ResNet-101[62] RGB 35.5 I3D+TAN[73] RGB + Flow 17.6 I3D+Super-events[74] RGB + Flow 19.4 I3D+TGM[75] RGB + Flow 21.5 I3D+MLAD[76] RGB + Flow 23.7 I3D+PDAN[77] RGB + Flow 26.5 I3D+CTRN[78] RGB + Flow 27.8 I3D+GCAN[79] RGB + Flow 27.7 I3D[58] RGB 32.9 I3D+ActionVLAD[69] RGB 35.4 I3D+Timeception[27] RGB 37.2 I3D-NL[62] RGB 37.5 I3D+VideoGraph[70] RGB 37.8 I3D+EvaNet[71] RGB 38.1 I3D+GHRM[80] RGB 38.3 I3D+UGPT[81] RGB 38.8 I3D+NAS-TC（本文） RGB 39.3 (2.1↑)
下载: 导出CSV
表 5 在 MultiTHUMOS 数据集上不同方法的性能比较
Table 5 Performance Comparison of Different Methods on MultiTHUMOS Dataset
下载: 导出CSV
表 6 不同方法在 BreakfastAction 数据集上的性能比较
Table 6 Performance Comparison of Different Methods on BreakfastAction Dataset
方法 Activities
Acc/%Actions
mAP/%ResNet-152[63] 41.13 32.65 ResNet-152+ActionVLAD[69] 55.49 47.12 ResNet-152+Timeception[27] 57.75 48.47 ResNet-152+VideoGraph[70] 59.12 49.38 I3D[58] 58.61 47.05 I3D+ActionVLAD[69] 65.48 60.20 I3D+Timeception[27] 67.07 61.82 I3D+VideoGraph[70] 69.45 63.14 I3D+NAS-TC（本文） 71.89 (4.82 ↑) 64.64 (2.82 ↑)
下载: 导出CSV
-
[1] Chang Xiaojun, Yu Yao-Liang, Yang Yi, et al. They are not equally reliable: Semantic event search using differentiated concept classifiers [C] //Proc of the 29th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2016: 1884−1893
[2] Ji Yuzhu, Zhang Haijun, Zhang Zhao, et al. CNN-based encoder-decoder networks for salient object detection: A comprehensive review and recent advances[J]. Information Sciences, 2021, 546: 835−857
[3] Ren Jiahuan, Zhang Zhao, Hong Richang, et al. Robust low-rank convolution network for image denoising [C] //Proc of the 30th ACM Int Conf on Multimedia. Lisbon, New York: ACM, 2022: 6211−6219
[4] Wu Zhihao, Zhao Zhang, and Fan Jicong. Graph convolutional kernel machine versus graph convolutional networks [C/OL] //Proc of the 37th Advances in Neural Information Processing Systems, 2023[2024-08-01]. https://proceedings.neurips.cc/paper_files/paper/2023/hash/3ec6c6fc9065aa57785eb05dffe7c3db-Abstract-Conference.html
[5] Zoph B, Vasudevan V, Shlens J, et al. Learning transferable architectures for scalable image recognition [C] //Proc of the 31st IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 8697−8710
[6] Real E, Aggarwal A, Huang Y, et al. Regularized evolution for image classifier architecture search [C] //Proc of the 23rd AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2019: 4780−4789
[7] Ren Pengzhen, Xiao Yun, Chang Xiaojun, et al. A comprehensive survey of neural architecture search: Challenges and solutions[J]. ACM Computing Surveys (CSUR), 2021, 54(4): 1−34
[8] Zhang Xingwu, Ma Rui, Zhao Yu, et al. Differentiable sampling based efficient architecture search for automatic fault diagnosis[J]. Engineering Applications of Artificial Intelligence, 2024, 127(1): 107−214
[9] 孟子尧,谷雪,梁艳春,许东,吴春国. 深度神经架构搜索综述[J]. 计算机研究与发展,2021,58(1):22−33 doi: 10.7544/issn1000-1239.2021.20190851 Meng Ziyao, Gu Xue, Liang Yanchun, et al. Deep neural architecture search: A survey[J]. Journal of Computer Research and Development, 2021, 58(1): 22−33(in Chinese) doi: 10.7544/issn1000-1239.2021.20190851
[10] Sigurdsson G A, Varol G, Wang Xiaolong, et al. Hollywood in homes: Crowdsourcing data collection for activity understanding [C] //Proc of the 14th European Conf on Computer Vision. Berlin: Springer, 2016: 510−526
[11] Cai Han and Chen Tianyao, Zhang Weinan, et al. Efficient architecture search by network transformation [C] // Proc of the 22nd AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2018: 2787−2794
[12] Negrinho R, Geoff G. Deeparchitect: Automatically designing and training deep architectures [J]. arXiv preprint, arXiv: 1704.08792, 2017
[13] Liu Chenxi, Zoph B, Neumann M, et al. Progressive neural architecture search [C] // Proc of the 15th European Conf on Computer Vision. Berlin: Springer, 2018: 19−34
[14] Kandasamy K, Neiswanger W, Schneider J, et al. Neural architecture search with bayesian optimisation and optimal transport [C/OL] // Proc of the 32nd Advances in Neural Information Processing Systems, 2018[2023-10-01]. https://proceedings.neurips.cc/paper_files/paper/2018/hash/f33ba15effa5c10e873bf3842afb46a6-Abstract.html
[15] Liu Hanxiao, Simonyan K, Yang Yiming. Darts: Differentiable architecture search[J]. arXiv preprint, arXiv: 1806.09055, 2018
[16] Poliakov E, Hung Weijie, Huang Chingchun. Efficient constraint-aware neural architecture search for object detection [C] // Proc of the 15th Asia Pacific Signal and Information Processing Association Annual Summit and Conf. Piscataway, NJ: IEEE, 2023: 733−740
[17] Ozaeta M A A, Fajardo A C, Brazas F P, et al. Seagrass classification using differentiable architecture search [C] // Proc of the 26th Int Joint Conf on Computer Science and Software Engineering (JCSSE). Piscataway, NJ: IEEE, 2023: 123−128
[18] Howard Andrew G, Zhu Menglong, Chen Bo, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint, arXiv: 1704.04861, 2017
[19] Zhang Xiangyu, Zhou Xinyu, Lin Mengxiao, et al. Shufflenet: An extremely efficient convolutional neural network for mobile devices [C] // Proc of the 31st IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 6848−6856
[20] Zoph B, Vasudevan V, Shlens J, et al. Learning transferable architectures for scalable image recognition[C]// Proc of the 31st IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 8697−8710
[21] Tong Zhan, Song Yibing, Wang Jue, et al. Videomae: Masked autoencoders are data-efficient learners for self-supervised video pre-training [C/OL] //Proc of the 36th Advances in Neural Information Processing Systems, 2022[2023-08-17]. https://proceedings.neurips.cc/paper_files/paper/2022/hash/416f9cb3276121c42eebb86352a4354a-Abstract-Conference.html
[22] Zisserman A, Carreira J, Simonyan K, et al. The kinetics human action video dataset[J]. arXiv preprint, arXiv: 1705.06950, 2017
[23] Goyal R, Ebrahimi Kahou S, Michalski V, et al. The "something something" video database for learning and evaluating visual common sense [C] // Proc of the 30th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE. 2017: 5842−5850
[24] Soomro K, Zamair A R, Shah M. UCF101: A dataset of 101 human actions classes from videos in the wild[J]. arXiv preprint, arXiv: 1212.0402, 2012
[25] Kuehne H, Jhuang H, Garrote E, et al. HMDB: A large video database for human motion recognition [C] // Proc of the 24th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2011: 2556−2563
[26] Schindler K, Van Gool L. Action snippets: How many frames does human action recognition require? [C/OL] //Proc of the 21st IEEE/CVF Conf on Computer Vision and Pattern Recognition, 2008[2023-10-15]. https://ieeexplore.ieee.org/document/4587730
[27] Hussein N, Gavves E, Smeulders A W. Timeception for complex action recognition [C] // Proc of the 32nd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2019: 254−263
[28] Hilde K, Ali A, Thomas S. The language of actions: Recovering the syntax and semantics of goal-directed human activities [C] // Proc of the 27th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2014: 780−787
[29] Yeung S, Russakovsky O, Jin N, et al. Every moment counts: Dense detailed labeling of actions in complex videos[J]. International Journal of Computer Vision, 2018, 126: 375−389
[30] Zhou Jiaming, Li Hanjun, Lin Kunyu, et al. Adafocus: Towards end-to-end weakly supervised learning for long-video action understanding[J]. arXiv preprint, arXiv: 2311.17118, 2023
[31] Vaswani A, Shazeer N, Parmar N. Attention is all you need [C/OL] //Proc of the 31st Advances in Neural Information Processing Systems, 2017[2023-10-15]. https://www.semanticscholar.org/reader/204e3073870fae3d05bcbc2f6a8e263d9b72e776
[32] Bertasius G, Wang H, Torresani L. Is space-time attention all you need for video understanding? [C/OL] //Proc of the 38th Int Conf on Machine Learning, 2021[2024-01-01]. https://proceedings.mlr.press/v139/bertasius21a/bertasius21a-supp.pdf
[33] Tong Zhan, Song Yibing, Wang Jue, et al. Videomae: Masked autoencoders are data-efficient learners for self-supervised video pre-training [C] // Proc of the 36th Advances in Neural Information Processing Systems, 2022[2023-12-10]. https://proceedings.neurips.cc/paper_files/paper/2022/hash/416f9cb3276121c42eebb86352a4354a-Abstract-Conference.html
[34] He Kaiming, Chen Xinlei, Xie Saining, et al. Masked autoencoders are scalable vision learners [C] // Proc of the 35th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2022: 16000−16009
[35] Ji Shuiwang, Xu Wei, Yang Ming, et al. 3D convolutional neural networks for human action recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 35(1): 221−231
[36] Li Chao, Zhong Qiaoyong, Xie Di, et al. Collaborative spatiotemporal feature learning for video action recognition [C]//Proc of the 32nd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2019: 7872−7881
[37] Xie Saining, Sun Chen, Huang Jonathan, et al. Rethinking spatiotemporal feature learning: speed-accuracy trade-offs in video classification [C] //Proc of the 15th European Conf on Computer Vision. Berlin: Springer, 2018: 305−321
[38] Wu Chaoyuan, Feichtenhofer C, Fan Haoqi, et al. Long-term feature banks for detailed video understanding [C]// Proc of the 32nd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2019: 284−293
[39] Wu Chaoyuan, Li Yanghao, Mangalam K, et al. Memvit: Memory-augmented multiscale vision transformer for efficient long-term video Recognition [C] // Proc of the 35th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2022: 13587−13597
[40] Zoph B. Neural architecture search with reinforcement learning[J]. arXiv preprint, arXiv: 1611.01578, 2016
[41] Cai Han, Yang Jiacheng, Zhang Weinan, et al. Path-level network transformation for efficient architecture search [C/OL] //Proc of the 35th Int Conf on Machine Learning, 2018[2023-11-14]. https://proceedings.mlr.press/v80/cai18a.html
[42] Real E, Moore S, Selle A, et al. Large-scale evolution of image classifiers [C/OL] //Proc of the 34th Int Conf on Machine Learning, 2017[2023-10-08]. https://proceedings.mlr.press/v70/real17a.html
[43] Hussein N, Gavves E, Smeulders A W. Unified embedding and metric learning for zero-exemplar event detection [C] //Proc of the 30th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 1096−1105
[44] Habibian A, Mensink T, Snoek C GM. Video2vec embeddings recognize events when examples are scarce[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 39(10): 2089−2103
[45] Girdhar R, Ramanan D. Attentional pooling for action recognition [C/OL] // Proc of the 31st Advances in Neural Information Processing Systems, 2017[2023-10-13]. https://proceedings.neurips.cc/paper/2017/hash/67c6a1e7ce56d3d6fa748ab6d9af3fd7-Abstract.html
[46] Fernando B, Gavves E, Oramas J, et al. Rank pooling for action recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 39(4): 773−787
[47] Oneata D, Verbeek J, Schmid C. Action and event recognition with fisher vectors on a compact feature set [C] //Proc of the 26th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2013: 1817−1824
[48] Cosmin DI, Ionescu B, Aizawa K, et al. Spatio-temporal vector of locally max pooled features for action recognition in videos [C] //Proc of the 30th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 3097−3106
[49] Donahue J, Anne HL, Guadarrama S, et al. Long-term recurrent convolutional networks for visual recognition and description [C] //Proc of the 28th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 2625−2634
[50] Ghodrati A, Gavves E, Snoek C G M. Video time: Properties, encoders and evaluation[J]. arXiv preprint, arXiv: 1807.06980, 2018
[51] Huang Gao, Liu Zhuang, Van DML, et al. Densely connected convolutional networks [C] //Proc of the 30th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 4700−4708
[52] Shi Wuzhen, Liu Shaohui, Jiang Feng, et al. Video compressed sensing using a convolutional neural network[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, 31(2): 425−438
[53] Song Xue, Xu Baohan, Jiang Yugang, et al. Predicting content similarity via multimodal modeling for video-in-video advertising[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, 31(2): 569−581
[54] Simonyan K, Zisserman A. Two-stream convolutional networks for action recognition in videos [C/OL] //Proc of the 28th Advances in Neural Information Processing Systems. 2014[2024-01-19]. https:// proceedings.neurips.cc/paper_files/paper/2014/hash/00ec53c4682d36f5c4359f4ae7bd7ba1-Abstract.html
[55] Bilen H, Fernando B, Gavves E, et al. Action recognition with dynamic image networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 40(12): 2799−2813
[56] Ji Shuiwang, Xu Wei, Yang Ming, et al. 3D convolutional neural networks for human action recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 35(1): 221−231
[57] Tran D, Bourdev L, Fergus R, et al. Learning spatiotemporal features with 3d convolutional networks [C] //Proc of the 28th IEEE/CVF Conf on Computer Vision and Pattern Recognition, Piscataway, NJ: IEEE. 2015: 4489−4497
[58] Carreira J, Zisserman A. Quo vadis, action recognition? A new model and the kinetics dataset [C] //Proc of the 30th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 6299−6308
[59] Zhou Bolei, Andonian A, Oliva A, et al. Temporal relational reasoning in videos [C] //Proc of the 15th European Conf on Computer Vision. Berlin: Springer, 2018: 803−818
[60] Wang Limin, Xiong Yuanjun, Wang, Zhe, et al. Temporal segment networks: Towards good practices for deep action recognition [C] //Proc of the 14th European Conf on Computer Vision. Berlin: Springer, 2016: 20−36
[61] Wang Limin, Xiong Yuanjun, Wang Zhe, et al. Temporal segment networks for action recognition in videos[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 41(11): 2740−2755
[62] Wang Xiaolong, Girshick R, Gupta A, et al. Non-local neural networks [C] //Proc of the 31st IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 7794−7803
[63] Sigurdsson G A, Divvala S, Farhadi A, et al. Asynchronous temporal fields for action recognition[C] //Proc of the 30th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 585−594
[64] Varol G, Ivan L, Cordelia S, et al. Long-term temporal convolutions for action recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 40(6): 1510−1517
[65] Zoph B, Vasudevan V, Shlens J, et al. Learning transferable architectures for scalable image recognition [C] //Proc of the 31st IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 8697−8710
[66] Zhang Xiangyu, Zhou Xinyu, Lin Mengxiao, et al. Shufflenet: An extremely efficient convolutional neural network for mobile devices [C] //Proc of the 31st IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 6848−6856
[67] Li Guihong, Duc H, Kartikeya B, et al. Zero-Shot neural architecture search: Challenges, solutions, and opportunities[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024, 46(12): 7618−7635
[68] Haroon I, Amir R Z, Jiang Yugang, et al. The thumos challenge on action recognition for videos “in the wild”[J]. Computer Vision and Image Understanding, 2017, 155(1): 1−23
[69] Girdhar R, Ramanan D, Gupta A, et al. Actionvlad: Learning spatio-temporal aggregation for action classification [C] //Proc of the 30th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 971−980
[70] Hussein N, Gavves E, Smeulders A W M. Videograph: Recognizing minutes-long human activities in videos[J]. arXiv preprint, arXiv: 1905.05143, 2019
[71] Piergiovanni A, Angelova A, Toshev A, et al. Evolving space-time neural architectures for videos [C] //Proc of the 17th IEEE/CVF Int Conf on Computer Vision. Piscataway, NJ: IEEE, 2019: 1793−1802
[72] Xu Huijuan, Das A, Saenko K. R-c3d: Region convolutional 3d network for temporal activity detection [C] //Proc of the 30th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 5783−5792
[73] Dai Xiyang, Singh B, Ng J Y H, et al. Tan: temporal aggregation network for dense multi-label action recognition [C] //Proc of the 6th IEEE Winter Conf on Applications of Computer Vision. Piscataway, NJ: IEEE, 2019: 151−160
[74] Piergiovanni A, Ryoo M S. Learning latent super-events to detect multiple activities in videos [C] //Proc of the 31st IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 5304−5313
[75] Piergiovanni A, Ryoo M. Temporal gaussian mixture layer for videos [C/OL] //Proc of the 36th Int Conf on Machine Learning, 2019[2023-12-16]. https://proceedings.mlr.press/v97/piergiovanni19a.html
[76] Tirupattur P, Duarte K, Rawat Y S, et al. Modeling multi-label action dependencies for temporal action localization [C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 1460−1470
[77] Dai R, Das S, Minciullo L, et al. Pdan: pyramid dilated attention network for action detection [C] //Proc of the 8th IEEE/CVF Winter Conf on Applications of Computer Vision. Piscataway, NJ: IEEE, 2021: 2970−2979
[78] Dai Rui, Das S, Bremond F. Ctrn: Class-temporal relational network for action detection[J]. arXiv preprint, arXiv: 2110.13473, 2021
[79] Wu Yuankai, Su Xin, Salihu D, et al. Modeling action spatiotemporal relationships using graph-based class-level attention network for long-term action detection [C] //Proc of the 36th IEEE/RSJ Int Conf on Intelligent Robots and Systems (IROS). Piscataway, NJ: IEEE, 2023: 6719−6726
[80] Zhou Jiaming, Lin Kunyu, Li Haoxin, et al. Graph-based high-order relation modeling for long-term action recognition [C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 8984−8993
[81] Guo Hongji, Wang Hanjing, Ji Qiang. Uncertainty-guided probabilistic transformer for complex action recognition[C]// Proc of the 35th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2022: 20052−20061
计量
- 文章访问数: 26
- HTML全文浏览量: 10
- PDF下载量: 15
