Loading [MathJax]/jax/output/SVG/jax.js
  • 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

基于摄像头域内域间合并的无监督行人重识别方法

陈利文, 叶锋, 黄添强, 黄丽清, 翁彬, 徐超, 胡杰

陈利文, 叶锋, 黄添强, 黄丽清, 翁彬, 徐超, 胡杰. 基于摄像头域内域间合并的无监督行人重识别方法[J]. 计算机研究与发展, 2023, 60(2): 415-425. DOI: 10.7544/issn1000-1239.202110732
引用本文: 陈利文, 叶锋, 黄添强, 黄丽清, 翁彬, 徐超, 胡杰. 基于摄像头域内域间合并的无监督行人重识别方法[J]. 计算机研究与发展, 2023, 60(2): 415-425. DOI: 10.7544/issn1000-1239.202110732
Chen Liwen, Ye Feng, Huang Tianqiang, Huang Liqing, Weng Bin, Xu Chao, Hu Jie. An Unsupervised Person Re-Identification Method Based on Intra-/Inter-Camera Merger[J]. Journal of Computer Research and Development, 2023, 60(2): 415-425. DOI: 10.7544/issn1000-1239.202110732
Citation: Chen Liwen, Ye Feng, Huang Tianqiang, Huang Liqing, Weng Bin, Xu Chao, Hu Jie. An Unsupervised Person Re-Identification Method Based on Intra-/Inter-Camera Merger[J]. Journal of Computer Research and Development, 2023, 60(2): 415-425. DOI: 10.7544/issn1000-1239.202110732
陈利文, 叶锋, 黄添强, 黄丽清, 翁彬, 徐超, 胡杰. 基于摄像头域内域间合并的无监督行人重识别方法[J]. 计算机研究与发展, 2023, 60(2): 415-425. CSTR: 32373.14.issn1000-1239.202110732
引用本文: 陈利文, 叶锋, 黄添强, 黄丽清, 翁彬, 徐超, 胡杰. 基于摄像头域内域间合并的无监督行人重识别方法[J]. 计算机研究与发展, 2023, 60(2): 415-425. CSTR: 32373.14.issn1000-1239.202110732
Chen Liwen, Ye Feng, Huang Tianqiang, Huang Liqing, Weng Bin, Xu Chao, Hu Jie. An Unsupervised Person Re-Identification Method Based on Intra-/Inter-Camera Merger[J]. Journal of Computer Research and Development, 2023, 60(2): 415-425. CSTR: 32373.14.issn1000-1239.202110732
Citation: Chen Liwen, Ye Feng, Huang Tianqiang, Huang Liqing, Weng Bin, Xu Chao, Hu Jie. An Unsupervised Person Re-Identification Method Based on Intra-/Inter-Camera Merger[J]. Journal of Computer Research and Development, 2023, 60(2): 415-425. CSTR: 32373.14.issn1000-1239.202110732

基于摄像头域内域间合并的无监督行人重识别方法

基金项目: 国家自然科学基金项目(62072106,61070062);福建省自然科学基金项目(2020J01168);福建省科技厅创新战略研究项目(2020R0178);福建省教育厅项目(JT180078)
详细信息
    作者简介:

    陈利文: 1996年生.硕士研究生.主要研究方向为行人重识别

    叶锋: 1978年生.博士,副教授.主要研究方向为计算机视觉、视频图像处理

    黄添强: 1971年生.博士,教授.主要研究方向为多媒体信息安全、大数据决策分析

    黄丽清: 1991年生.博士.主要研究方向为图像视频的超分辨率、重建和检测

    翁彬: 1981年生.博士.主要研究方向为机器学习和机器应用

    徐超: 1981年生. 硕士. 主要研究方向为多媒体安全、机器学习

    胡杰: 1995年生. 硕士研究生. 主要研究方向为机器学习和机器应用

  • 中图分类号: TP391

An Unsupervised Person Re-Identification Method Based on Intra-/Inter-Camera Merger

Funds: This work was supported by the National Natural Science Foundation of China (62072106, 61070062), the Natural Science Foundation in Fujian Province (2020J01168), the Innovation Strategy Research Project of Science and Technology Department of Fujian Province (2020R0178), and the Project of Fujian Provincial Education Department (JT180078).
  • 摘要:

    在刑事侦查、智能监控、图像检索等领域,行人重识别一直是研究的热点.由于现有的大部分方法依赖有标注数据集,因此标签的缺乏使得无监督的行人重识别技术变得更具挑战性.为了克服这一问题,提出了一个用于生成可靠伪标签的框架,这些生成标签可以为现有监督行人重识别模型提供监督信号.假设数据集内的大部分图片都满足同一个摄像头拍摄的图片差异主要在于前景(行人)、同一个行人被不同摄像头拍摄到的图片差异主要在于背景.为了消除图片背景带来的差异,首先把数据集中的图片依据摄像头编号分成若干个域,通过计算每个域内的图片间的欧式距离,建立图模型,执行最大团算法寻找最相似的若干个图片并认为它们属于同一个行人;紧接着计算不同摄像头域间的团的相似度,据此进行合并;最终给出全局伪标签.所提的框架无需人为标注数据,以一种无监督的方式运行,并在Market1501和DukeMTMC-ReID数据集上进行实验,实验发现所提方法比其他相关方法具有更高的精度,从而进一步证明了所提方法的有效性.

    Abstract:

    In criminal investigation, intelligent monitoring, image retrieval and other fields, person re-identification has always been a hot and significant research topic. Since most of the existing methods rely on labeled datasets, the lack of labels makes unsupervised person re-identification technology more challenging. In order to overcome the problem of the lack of labels, a new framework to generate reliable pseudo labels is proposed as supervision information for existing supervised person re-identification models. Assuming that images taken by the same camera mainly vary in pedestrian’s physical appearances rather than backgrounds, then images taken by different cameras vary in backgrounds. To eliminate effects brought by the differences in image background, images are divided into several domains by camera Serial numbers as the first step. Then we construct undirected graphs for each camera with Euclidean distance of image pairs, and there will be an edge only when two images are close enough. The images in one maximum analogous set are regarded as the same person. Then we merge maximum cliques from different cameras simply with their cosine distance and assign pseudo labels. The proposed framework runs in an unsupervised manner, and the proposed method can obtain higher accuracy than the other related methods on Market1501 and DukeMTMC-ReID datasets, which further shows the effectiveness of the proposed method.

  • 国密SM4算法[1]是一种常用的分组密码算法,广泛应用于数据保护、加密通信等领域. SM4算法常见工作模式有ECB(electronic codebook),CBC(cipher block chaining)等,对于相同的明文块,ECB模式下会产生完全相同的密文,而在CBC模式下,当前的明文块会与前一块的密文异或后进行运算. 因此,即使是完全相同的明文输入也可能会有完全不同的密文输出. 相比于ECB模式,CBC模式提供了更高的安全性和抵抗攻击的能力,有着更高的应用需求. 提高SM4算法在CBC模式下的性能,对于在边缘设备中使用SM4算法是至关重要的. 但是,在CBC模式下存在着难以提高吞吐率的问题:每组的输入必须等待前一组运算结束后才能获得,因而难以使用流水线方法提升吞吐率.

    文献[2]中提到了一种改进方法,将电路中的S盒以外的其他逻辑结构进行预计算,并把预计算的结果与S盒进行融合构成新的查找表,从而提高SM4算法在CBC模式下吞吐率. 本文基于此工作进一步优化了S盒的表示,并针对轮函数的迭代过程进行了优化,最终减少了轮函数关键路径上的2次异或运算,有效提高了算法的性能.

    本文的设计针对CBC模式下的SM4算法,在TSMC 40 nm,SMIC 55 nm工艺下,使用Synopsys Design Compiler分别进行了ASIC综合. 综合结果显示,本文所提出的设计在CBC模式下的吞吐率达到了4.2 Gb/s,同时单位面积吞吐量达到了129.4 Gb·s−1·mm−2,明显优于已发表的类似设计. 这些结果表明本文所提出的化简方法在改进SM4算法性能方面具有很大的潜力.

    本文的结构为:首先介绍了SM4算法及其在CBC模式下存在的性能瓶颈问题. 然后,详细描述了本文提出的2个化简方法,并解释了它们在轮函数迭代和S盒置换过程中的作用. 接下来,介绍了实验设计并给出了实验结果分析和对比. 最后,对进一步改进和应用的方向进行了展望.

    SM4算法是一种对称密钥密码算法,被广泛应用于数据加密和保护领域,它是中国密码算法的标准之一,具有较高的安全性和良好的性能.

    SM4采用了分组密码的设计思想,将明文数据划分为128 b的数据块,并通过密钥对每个数据块进行加密和解密操作. 对单组数据进行加解密的流程如图1所示,分为密钥扩展算法和加解密算法2部分. 图1中的FK是系统预设的参数,与用户密钥进行异或运算后作为密钥扩展算法的输入. 加解密算法接受密钥扩展算法产生的32轮轮密钥rki对明文进行加解密,最后经反序变换输出. 加解密使用的是同一套计算流程,唯一的区别是解密时使用轮密钥的顺序与加密过程相反.

    图  1  SM4算法工作流程
    Figure  1.  Workflow of SM4 algorithm

    密钥扩展算法和加解密算法2部分均由32次轮函数迭代构成,整体结构均采用4路并行的Feistel结构,在计算过程中,以128 b数据为输入、128 b数据为输出,其内部的运算逻辑如图2所示. 输出中的前96 b数据等于输入中的后96 b数据,输出后的32 b数据通过轮函数运算产生.

    图  2  4路并行的Feistel结构
    Figure  2.  Four parallel Feistel structure

    在密钥扩展算法中使用的密钥是算法给定的固定密钥,记作cki. 在加解密算法中使用的密钥是由密钥扩展算法通过用户给的密钥扩展出来的轮密钥,记作rki.

    SM4密钥扩展算法结构如图3所示,密钥扩展的主要过程包括32轮密钥扩展的轮函数,其中,密钥为128 b,FK为SM4标准中规定的一个128 b常数. 二者异或后的值将会作为密钥扩展轮函数的首轮输入,并通过一个选择器进行循环迭代,总计迭代32轮产生32个轮密钥.

    图  3  SM4的密钥扩展算法结构
    Figure  3.  Key expansion algorithm structure of SM4

    设用户输入的密钥为MK,则该密钥对应的32轮轮密钥可以按照式(1)求出:

    {(k0,k1,k2,k3)=MKFK,ki+4=kiF(ki+1ki+2ki+3cki),rki=ki+4, (1)

    其中,cki是系统预设的32 b参数,rki代表第i轮的轮密钥,F代表密钥扩展轮函数,其由S盒置换算法τ:Z322Z322和线性变换算法L(x)=x(x<<<13)(x<<<23)组成,其中<<<表示循环左移运算.

    SM4算法的加解密算法的整体结构与密钥扩展算法类似,均包含32轮的轮函数迭代,区别在于加解密算法中额外包含1次反序变换.

    SM4算法的轮函数迭代流程如图4所示,X1~X4为第1轮的输入,X2~X5为第1轮的输出,同时也是第2轮的输入. rk1为第1轮的轮密钥,T函数代表加解密模块的轮函数. 与密钥扩展部分的轮函数F类似,由S盒置换算法τ和一个线性变换算法L(x)=x(x<<<2)(x<<<10) (x<<<18)(x<<<24)组成.

    图  4  SM4加解密模块轮函数结构
    Figure  4.  Round function structure of SM4 encryption and decryption modules

    通过多轮的迭代过程,SM4算法能够实现高强度的数据加密和解密. 然而,在CBC模式下,由于相邻数据之间的依赖关系,传统的流水线技术难以提高算法的吞吐率. 因此,针对这一问题,本文提出了2种化简方法,以减少关键路径上的运算,从而提高SM4算法在CBC模式下的性能.

    加解密模块的轮函数的结构如图4所示,若不考虑T函数带来的时序延迟,单次轮函数迭代的关键路径上共包含3次异或运算. 以公式的形式描述SM4算法加解密轮函数的迭代关系可得到式(2):

    Xi+4=Xi(Xi+1Xi+2Xi+3rki). (2)

    若考虑相邻的2次轮函数迭代,则有:

    {Xi+4=XiT(Xi+1Xi+2Xi+3rki),Xi+5=XiT(Xi+2Xi+3Xi+4rki+1). (3)

    观察式(1)~(3)不难发现,由于SM4采用了4条数据线路的Feistel结构进行设计,在相邻的2次轮函数迭代过程中,均有96 b的输入是完全一致的,在式(3)的计算过程中,相邻2轮的轮函数将Xi+2Xi+3计算了2次.

    因此,一个简单的优化思路便是,我们在轮函数之间传递数据时,额外传递Xi+2Xi+3rki+1的运算结果,并作用于下一次计算,得到的流程图如图5所示.

    图  5  优化的轮函数结构
    Figure  5.  Optimized round function structure

    相比于图4的运算流程,在计算当前轮次的输出时,二次优化过后的轮函数通过提前获取下一轮次使用的密钥,并利用2轮之间相同的数据提前计算,可以使得在加解密的流程中总计节省32次异或运算的时间.

    S盒是密码学领域的一个基本组件,其功能是实现数据的非线性变换,在DES,AES,SM1,SM4等算法中均有应用. 在SM4算法中,其提供了一个8 b到8 b的非线性变换.

    在SM4算法中,S盒模块通常与另一个线性变换函数L组合使用,即图4图5中的T函数,其位于加解密算法轮函数的关键路径上,因此,如果能找到优化T函数关键路径的方法延时,也可以使得整个加解密模块的延时变小,进而提高运算效率.T函数的内部结构如图6所示,图中的<<<表示对32 b数据进行循环左移,关键路径包括1个S盒和3次异或运算. 在硬件实现中,循环移位可以通过硬件连线来实现,不会带来额外的路径延时.

    图  6  SM4加解密模块T函数结构
    Figure  6.  T function structure of SM4 encryption and decryption modules

    T函数中包含4次异或运算,反映到电路设计中,其关键路径上至少存在3次异或运算. 因此,一个优化思路便是,将算法中的S盒的输入输出修改为8 b输入、32 b输出[2-3] ,并提前将L函数作用于图中的4个S盒,如图7所示. 图7中,通过编码的形式保存其运行结果,将图6中的SBox与后续的线性变换L组合形成exSBox,之后仅需要将4个exSBox的输出异或即可,从而减少了1次异或运算.

    图  7  优化的T函数结构
    Figure  7.  Optimized T-function structure

    虽然修改后的S盒比原先的S盒输出了更多的数据,但在硬件实现中,仍然是通过相同数量的多路选择器查表输出. 因此修改前后的S盒的路径延时及其安全性并未改变.

    图7中的exSBox1为例,使用0xff作为输入展示exSBox1的构造方式,首先获得0xff作用于S盒后的运行结果0x48. 由于exSBox1的输入对应最高四位,因此,将其拓展为32 b数据为0x48000000. 在经过L函数后,得到的值是0x68492121. 如表1所示,表中前5行加粗部分表示传入的数据及其循环移位后所处位置,其余位置在任意输入下都恒等于0.

    表  1  搜索空间降低比率和命中率
    Table  1.  Search Space Reduction Rate and Hit Rate
    原数据 01001000 00000000 00000000 00000000
    <<<2 00100000 00000000 00000000 00000001
    <<<10 00000000 00000000 00000001 00100000
    <<<18 00000000 00000001 00100000 00000000
    <<<24 00000000 01001000 00000000 00000000
    异或和 01101000 01001001 00100001 00100001
    注:加粗部分表示传入的数据及其循环移位后所处位置.
    下载: 导出CSV 
    | 显示表格

    观察表1的运算结果不难发现,除最后一行加粗数字表示的第0~5位,第14,15位由异或运算产生,其余的24位均是输入的8位数据的排列组合,因此在硬件设计时,可以仅使用8 b输入、16 b输出的S盒实现. 对于图7中剩余的3个exSBox,在相同的输入下,可以通过对表1中的数据进行循环移位,得到对应的输出. 上述结论对4个位于不同部位的S盒均成立.

    具体而言,令p为输入的8 b数据,τ(p)为标准SM4算法中S盒的输出. X=(x0,x1,,x15)为exSBox1中存储的16 b数据,Y=(y0,y1,,y31)为优化后的T函数中需要的32 b输出. τ为SM4算法标准中使用的S盒置换函数,其对于8 b输入,产生对应的8 b输出,则X可以由式(4)产生:

    {(x0,x1,,x7)=τ(p),(x8,x9,,x15)=τ(p)(τ(p)<<<2). (4)

    表1可知,Y的取值实际上可以由X经过排列组合得到,对于exSBox2,exSBox3,exSBox4的取值,可以通过Y循环移位得到,且由于该过程中仅包含赋值运算,在电路设计中可以通过物理连线完成. 相比于文献[2]中的设计,节约了1/3的面积消耗. 具体的计算方式如式(5)所示.

    {(y0,y1,,y5)=(x8,x9,,x13)(y6,y7=(x6,x7)(y8,y9,,y13)=(x0,x1,,x5)(y14,y15=(x14,x15)(y16,y17,,y21)=(x2,x3,,x7)(y22,y23=(x0,x1)(y24,y25,,y29)=(x2,x3,,x7)(y30,y31=(x0,x1). (5)

    现场可编程逻辑门阵列(FPGA)和专用集成电路(ASIC)是目前主流使用硬件电路实现密码算法的2个方式. FPGA虽然具有可编程性、灵活性和快速设计等优势,但ASIC相较于FPGA拥有更高的性能,与本文设计追求的高效率目标相符,所以选择在ASIC下实现.

    SM4硬件系统的整体结构设计如图8所示,包括密钥扩展模块、加解密模块和适配CBC工作模式的组合逻辑. 对于单个加解密任务,若明文被分为n组,会执行1次密钥扩展和n次加解密. 因此,优化加解密算法的执行效率是优化SM4硬件设计的重点. 本文所提出的2种化简方法,对于每一组明文输入,可以减少64级异或门的延时,极大地提升了运算效率.

    图  8  SM4硬件整体架构
    Figure  8.  Overall architecture of SM4 hardware

    SM4算法的硬件实现主要有2种方案:一种方案是流水线结构,即通过寄存器连接多个加解密模块同时工作以提高加解密的效率,如图9(a)所示;另一种方案是使用循环迭代的方式. 即一次性提取32个轮函数中的n轮组合成一个组合电路,称为n合1电路,如图9(b)所示. 流水线结构的优势是可以充分利用n个加密核心的性能,在不影响整体工作频率的情况下加速运算. 对于SM4算法而言,在合理范围内堆叠流水线可以实现极高的吞吐量.

    图  9  流水线结构与循环迭代结构
    Figure  9.  Pipeline architecture and loop iteration architecture

    然而,流水线结构仅适用于ECB等数据无前后依赖的工作模式. 在CBC工作模式下,由于需要将前一轮的输出与本轮的输入进行异或运算,相邻的数据存在依赖,故而无法使用流水线加速运算. 因此,在本设计中没有选用流水线结构.

    虽然循环迭代结构会降低整体模块的工作频率,对吞吐量的提升较为有限,但可以同时兼容 ECB,CBC这 2种工作模式. 本设计最终选择了循环迭代的设计方式.

    在SM4算法中,密钥扩展与加解密算法类似,均包含32轮迭代. 密钥扩展模块采用图2所示的单轮组合逻辑电路循环32次来实现32轮迭代.

    在密钥扩展模块的输出端,使用寄存器存放每一轮电路的轮密钥,标号为0~31,如图10所示. 标号从0开始的好处是:在解密时,使用到的密钥顺序相反的,加密的第k轮使用的是第k1号密钥,解密的第k轮使用的是第32k号密钥. 在二进制下,二者的标号可以通过取反操作相互转化.

    图  10  轮密钥的存储与使用
    Figure  10.  Storage and usage of round keys

    为了保证运算结果的准确性,密钥扩展模块还 会向加解密模块发出控制信号表明自己的工作状态,以避免在轮密钥尚未完全更新时使用错误的轮密钥进行加解密.

    在国家标准文档[1]中,并没有针对CBC工作模式给出具体的测试用例. 因此,本文设计方案通过完整的Verilog HDL语言实现,通过在FPGA平台进行综合、仿真和上板验证,以确保功能正确并进行相关性能分析,如图11所示. 具体而言,通过PCIE上位机下发随机的明文数据到FPGA开发板,开发板完成加密后传回上位机,通过与软件对比实现功能验证. 若在循环验证多次后二者的输出均完全相同,则认为设计的SM4电路的功能正确.

    图  11  测试流程
    Figure  11.  Testing procedures

    最终,本文的设计在Zynq 7020 FPGA开发板上完成了上板验证,确保了功能的正确性,工作频率最高可达95 MHz,吞吐量约为1.5 Gb/s.

    ASIC上主要针对2种工艺SMIC 55 nm与 TSMC 40 nm进行了测试、通过Synopsys公司的EDA工具DesignCompiler进行时序等综合约束,我们选择了芯片面积和芯片使用的逻辑门数量(gates)作为评估指标,其结果如表2表3所示,在CBC模式下,本文的设计在3.97 mW的功耗下,单位面积吞吐率达129.4 Gb·s−1·mm−2,明显优于同类设计. 此外,以使用逻辑门的数量为评估标准,本文提出的设计在该指标上也明显优于同类设计,单位面积吞吐率为0.205×10−3 Gb·s−1·gates−1.

    表  2  SM4综合结果与面积效率对比
    Table  2.  Comparison of SM4 Synthesis Results and Area Efficiency
    工艺节点 芯片面积/mm2 吞吐率/(Gb·s−1 单位面积吞吐率/
    (Gb·s−1·mm−2
    功耗/mW
    40 nm* 0.0335 4.34 129.40 3.97
    55 nm* 0.0877 4.41 50.30 10.88
    65 nm[2] 0.1260 5.24 41.59
    180 nm[4] 0.0790 0.10 1.27 5.31
    55 nm[5] 0.0870 0.40 4.59 4.35
    350 nm[6] 0.0270 0.412 15.26
    注:*标注的表示本文的结果.
    下载: 导出CSV 
    | 显示表格
    表  3  SM4综合结果与门效率对比
    Table  3.  Comparison of SM4 Synthesis Results and Gates Efficiency
    工艺节点 gates 吞吐率/(Gb·s−1 单位面积吞吐率/
    (Gb·s−1·gates−1
    40 nm* 21.2×103 4.34 0.205×10−3
    55 nm* 21.1×103 4.41 0.209×10−3
    180 nm[6] 32.0×103 0.80 0.025×10−3
    65 nm[7] 31.0×103 1.23 0.040×10−3
    55 nm[8] 22.0×103 0.27 0.012×10−3
    130 nm[9] 22.0×103 0.80 0.036×10−3
    注:*标注的表示本文的结果.
    下载: 导出CSV 
    | 显示表格

    在不同工艺、电压下对该设计进行综合,可以得到本文设计在不同使用场景下的吞吐率. 在TSMC 40 nm、SMIC 55 nm、SMIC 130 nm下使用不同的工艺角分别对本文的设计进行综合,结果如表4所示.

    表  4  不同工艺角下的SM4综合结果与效率对比
    Table  4.  Comparison of SM4 Synthesis Results and Efficiency with Different Process Corners
    工艺节点 工艺角 面积/gates 吞吐率/(Gb·s−1 功耗/mW
    40 nm 0.99V/125°C/SS 21.0×103 2.40 2.55
    1.1V/25°C/TT 21.2×103 4.34 3.97
    1.21V/0°C/FF 20.9×103 6.96 8.35
    55 nm 1V/25°C/TT 20.0×103 2.78 4.10
    1.2V/25°C/TT 21.1×103 4.41 10.88
    1.32V/0°C/FF 17.8×103 6.84 33.59
    130 nm 1.08V/125°C/SS 20.8×103 1.11 6.86
    1.2V/25°C/TT 21.0×103 1.75 15.70
    1.32V/0°C/FF 21.8×103 2.45 23.03
    下载: 导出CSV 
    | 显示表格

    根据本文提出的2种对SM4加解密模块关键路径进行化简以及降低面积的方法,实现了4合1的SM4电路,并基于Zynq7020开发板进行了功能验证. 此外,ASIC综合结果表明本文的SM4电路相比于其他方案有更高的单位面积吞吐率和更低的功耗. 因此,这种对SM4算法进行的优化是有效的,并且对其他分组算法提高CBC模式下的单位面积吞吐率具有参考价值.

    作者贡献声明:郝泽钰提出研究方案并完成了论文的撰写;代天傲、黄亦成、段岑林协助完成了ASIC平台上的验证实验;董进、吴世勇、张博、王雪岩、贾小涛提出指导意见并修改论文;杨建磊提出指导意见并讨论定稿.

  • 图  1   在Market1501数据集上的标签样本实验结果

    Figure  1.   Experimental results on Market1501 with labeled samples

    图  2   本文算法框架

    Figure  2.   The proposed algorithm framework

    图  3   Market1501数据集中由同一个摄像头拍摄到的样本图片

    Figure  3.   Some samples captured by the same camera in Market1501

    图  4   某摄像头域内合并时的部分样本

    Figure  4.   Partial samples for intra-camera merger procedure

    图  5   样本清洗后的结果

    Figure  5.   The result after sample cleaning

    图  6   行人2和22在摄像头2和5下的样本

    Figure  6.   Samples of person 2 and 22 under camera 2 and 5.

    图  7   本文方法在Market1501和DukeMTMC-ReID数据集上的性能

    Figure  7.   The performance of our proposed method on Market1501 and DukeMTMC-ReID

    图  8   Market1501数据集中随机选择的64个样本的可视化图

    Figure  8.   Visualization of 64 randomly selected samples in Market1501.

    图  9   r2对Market1501数据集性能的影响

    Figure  9.   The effects of r2 on the performance of Market1501

    图  10   本文方法在MSMT17数据集上的性能

    Figure  10.   The performance of our proposed method on MSMT17

    图  11   清洗比例对Market1501数据集性能的影响

    Figure  11.   The effects of clean ratios on the performance of Market1501

    图  12   TransReID模型在Market1501数据集上的表现

    Figure  12.   The performance of TransReID on Market1501

    表  1   Market1501和DukeMTMC-ReID数据集中各个摄像头下的行人个数和图片张数

    Table  1   Person Numbers and Image Numbers Under Each Camera in Market1501 and DukeMTMC-ReID

    摄像头编号Market1501DukeMTMC-ReID
    行人个数图片张数行人个数图片张数
    165220174042809
    254117093783009
    369427072011088
    42419201651395
    557623382181685
    655832453483700
    72171330
    82651506
    下载: 导出CSV

    表  2   本文方法和当前方法在Market1501数据集上的比较

    Table  2   Comparison of Our Proposed Method and the State-of-The-Art Methods on Market1501

    方法类别Rank-1/%mAP/%
    BOW无监督35.814.8
    BUC无监督66.238.3
    SSL无监督71.737.8
    MAR域自适应67.740.0
    MMT域自适应87.771.2
    ECN域自适应75.143.0
    SSG域自适应86.268.7
    MATEICS85.365.2
    UGAICS63.741.2
    本文方法无监督89.074.9
    注:黑体数字表示最优结果
    下载: 导出CSV

    表  3   本文方法和当前方法在DukeMTMC-ReID数据集上的比较

    Table  3   Comparison of Our Proposed Method and the State-of-The-Art Methods on DukeMTMC-ReID

    方法类别Rank-1/%mAP/%
    BOW无监督17.18.3
    BUC无监督47.427.5
    SSL无监督52.528.6
    MAR域自适应67.148.0
    MMT域自适应78.065.1
    ECN域自适应63.340.4
    SSG域自适应76.060.3
    MATEICS71.750.7
    UGAICS75.053.3
    本文方法无监督76.961.9
    注:黑体数字表示最优结果
    下载: 导出CSV

    表  4   本文方法和基于聚类的方法的比较

    Table  4   Comparison of Our Proposed Method and the Clustering-Based Method

    数据集方法Rank-1 /%mAP /%运行时间 /s
    Market1501聚类方法5434.1630
    本文方法60.738.11.8
    DukeMTMC-ReID聚类方法46.736.0513
    本文方法53.439.22.9
    下载: 导出CSV

    表  5   本文方法和当前方法在MSMT17数据集上的比较

    Table  5   Comparison of Our Proposed Methods and the State-of-The-Art Methods on MSMT17

    方法类别Rank-1 /%mAP /%
    MMT域自适应58.829.7
    ECN域自适应30.210.2
    SSG++域自适应41.619.3
    UGAICS49.521.7
    本文方法1无监督47.925.5
    本文方法2无监督52.327.2
    注:本文方法1使用在3.4节设置的参数,本文方法2使用在3.6节设置的参数.
    下载: 导出CSV
  • [1]

    Wang Guanshuo, Yuan Yufeng, Chen Xiong, et al. Learning discriminative features with multiple granularities for person re-identification[C] //Proc of the 26th ACM Int Conf on Multimedia. New York: ACM, 2018: 274−282

    [2]

    Sun Yifan, Zheng Liang, Yang Yi, et al. Beyond part models: Person retrieval with refined part pooling (and a strong convolutional baseline)[C] //Proc of the 16th European Confon Computer Vision. Berlin: Springer, 2018: 480−496

    [3]

    Zhang Xuan, Luo Hao, Fan Xing, et al. AlignedReID: Surpassing human-level performance in person re-identification[EB/OL]. 2017 [2021-10-26]. https://arxiv.org/pdf/1711.08184.pdf

    [4] 戴臣超,王洪元,倪彤光,等. 基于深度卷积生成对抗网络和拓展近邻重排序的行人重识别[J]. 计算机研究与发展,2019,56(8):1632−1641 doi: 10.7544/issn1000-1239.2019.20190195

    Dai Chenchao, Wang Hongyuan, Ni Tongguang, et al. Person re-identification based on deep convolutional generative adversarial network and expanded neighbor reranking[J]. Journal of Computer Research and Development, 2019, 56(8): 1632−1641 (in Chinese) doi: 10.7544/issn1000-1239.2019.20190195

    [5]

    Zheng Liang, Shen Liyue, Tian Lu, et al. Scalable person re-identification: A benchmark[C] //Proc of the 15th Int Conf on Computer Vision (ICCV). Piscataway, NJ: IEEE, 2015: 1116−1124

    [6]

    Wei Longhui, Zhang Shiliang, Gao Wen, et al. Person transfer GAN to bridge domain gap for person re-identification[C] //Proc of the 34th Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 79−88

    [7]

    Luo Hao, Gu Youzhi, Liao Xingyu, et al. Bag of tricks and a strong baseline for deep person re-identification[C] //Proc of the 35th Conf on Computer Vision and Pattern Recognition Workshops (CVPRW). Piscataway, NJ: IEEE, 2019: 1487−1495

    [8]

    Zheng Zhedong, Zheng Liang, Yang Yi. Unlabeled samples generated by gan improve the person re-identification baseline in Vitro[C] //Proc of the 16th Int Conf on Computer Vision (ICCV). Piscataway, NJ: IEEE, 2017: 3774−3782

    [9]

    Liao Shengcai, Hu Yang, Zhu Xiangyu, et al. Person re-identification by local maximal occurrence representation and metric learning[C] //Proc of the 31st Conf on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE, 2015: 2197−2206

    [10]

    Wang Hanxiao, Gong Shaogang, Xiang Tao. Unsupervised learning of generative topic saliency for person re-identification[EB/OL]. 2014 [2021-10-26]. http://www.bmva.org/bmvc/2014/files/paper019.pdf

    [11]

    Lin Yutian, Dong Xuanyi, Zheng Liang, et al. A bottom-up clustering approach to unsupervised person re-identification[C] //Proc of the 33rd Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2019: 8738−8745

    [12]

    Lin Yutian, Xie Lingxi, Wu Yu, et al. Unsupervised person re-identification via softened similarity learning[C] //Proc of the 36th Conf on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE, 2020: 3390−3399

    [13]

    Ganin Y, Lempitsky V. Unsupervised domain adaptation by backpropagation[C] //Proc of the 32nd Int Conf on Machine Learning. New York: ACM, 2015: 1180−1189

    [14]

    Sun Baochen, Saenko K. Deep coral: Correlation alignment for deep domain adaptation[C] //Proc of the 15th European Conf on Computer Vision. Berlin: Springer, 2016: 443−450

    [15]

    Fu Yang, Wei Yunchao, Wang Guanshuo, et al. Self-similarity grouping: A simple unsupervised cross domain adaptation approach for person re-identification[C] //Proc of the 17th Int Conf on Computer Vision (ICCV). Piscataway, NJ: IEEE, 2019: 6112−6121

    [16]

    Zhu Xiangping, Zhu Xiatian, Li Minxian, et al. Intra-camera supervised person re-identification: A new benchmark[C] //Proc of the 17th Int Conf on Computer Vision Workshop (ICCVW). Piscataway, NJ: IEEE, 2019: 1079−1087

    [17] Qi Lei, Wang Lei, Huo Jing, et al. Adversarial camera alignment network for unsupervised cross-camera person re-identification[J/OL]. IEEE Transactions on Circuits and Systems for Video Technology, 2021 [2021-06-12]. https://ieeexplore.ieee.org/document/9481292
    [18]

    Wu Yu, Lin Yutian, Dong Xuanyi, et al. Progressive learning for person re-identification with one example[J]. IEEE Transactions on Image Processing, 2019, 28(6): 2872−2881 doi: 10.1109/TIP.2019.2891895

    [19] Chang Xinyuan, Ma Zhiheng, Wei Xing, et al. Transductive semi-supervised metric learning for person re-identification[J]. Pattern Recognition, 2020, 108: 107569
    [20]

    Wu Zhirong, Xiong Yuanjun, Yu S, et al. Unsupervised feature learning via non-parametric instance discrimination[C] //Proc of the 34th Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 3733−3742

    [21]

    Deng Jia, Dong Wei, Socher R, et al. ImageNet: A large-scale hierarchical image database[C] //Proc of the 25th Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2009: 248−255

    [22]

    Yu Hongxing, Zheng Weishi, Wu Ancong, et al. Unsupervised person re-identification by soft multilabel learning[C] //Proc of the 35th Conf on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE, 2019: 2148−2157

    [23]

    Ge Yixiao, Chen Dapeng, Li Hongsheng. Mutual mean-teaching: Pseudo label refinery for unsupervised domain adaptation on person re-identification[EB/OL]. 2020 [2021-10-26]. https://arxiv.org/pdf/2001.01526.pdf

    [24]

    Zhong Zhun, Zheng Liang, Luo Zhiming, et al. Invariance matters: Exemplar memory for domain adaptive person re-identification[C] //Proc of the 35th Conf on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE, 2019: 598−607

    [25]

    Wu Jinlin, Liu Hao, Yang Yang, et al. Unsupervised graph association for person re-identification[C] //Proc of the 17th Int Conf on Computer Vision (ICCV). Piscataway, NJ: IEEE, 2019: 8320−8329

    [26]

    Zhong Zhun, Zheng Liang, Cao Donglin, et al. Re-ranking person re-identification with k-reciprocal encoding[C] //Proc of the 33rd Conf on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE, 2017: 3652−3661

    [27]

    He Shuting, Luo Hao, Wang Pichao, et al. TransReID: Transformer-based object re-identification[EB/OL]. 2021 [2021-10-26]. https://arxiv.org/pdf/2102.04378.pdf

  • 期刊类型引用(1)

    1. 石明丰,甘永根,赵玉珂,刘飞飞,何晓蓉. 智能量测开关与智能物联锁具信息交互设计. 中国新技术新产品. 2024(21): 137-139 . 百度学术

    其他类型引用(1)

图(12)  /  表(5)
计量
  • 文章访问数:  291
  • HTML全文浏览量:  37
  • PDF下载量:  159
  • 被引次数: 2
出版历程
  • 收稿日期:  2021-07-05
  • 修回日期:  2022-02-22
  • 网络出版日期:  2023-02-10
  • 刊出日期:  2023-01-31

目录

/

返回文章
返回