Processing math: 3%
  • 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

面向车联网数据持续共享的安全高效联邦学习

乐俊青, 谭州勇, 张迪, 刘高, 向涛, 廖晓峰

乐俊青, 谭州勇, 张迪, 刘高, 向涛, 廖晓峰. 面向车联网数据持续共享的安全高效联邦学习[J]. 计算机研究与发展, 2024, 61(9): 2199-2212. DOI: 10.7544/issn1000-1239.202330894
引用本文: 乐俊青, 谭州勇, 张迪, 刘高, 向涛, 廖晓峰. 面向车联网数据持续共享的安全高效联邦学习[J]. 计算机研究与发展, 2024, 61(9): 2199-2212. DOI: 10.7544/issn1000-1239.202330894
Le Junqing, Tan Zhouyong, Zhang Di, Liu Gao, Xiang Tao, Liao Xiaofeng. Secure and Efficient Federated Learning for Continuous IoV Data Sharing[J]. Journal of Computer Research and Development, 2024, 61(9): 2199-2212. DOI: 10.7544/issn1000-1239.202330894
Citation: Le Junqing, Tan Zhouyong, Zhang Di, Liu Gao, Xiang Tao, Liao Xiaofeng. Secure and Efficient Federated Learning for Continuous IoV Data Sharing[J]. Journal of Computer Research and Development, 2024, 61(9): 2199-2212. DOI: 10.7544/issn1000-1239.202330894
乐俊青, 谭州勇, 张迪, 刘高, 向涛, 廖晓峰. 面向车联网数据持续共享的安全高效联邦学习[J]. 计算机研究与发展, 2024, 61(9): 2199-2212. CSTR: 32373.14.issn1000-1239.202330894
引用本文: 乐俊青, 谭州勇, 张迪, 刘高, 向涛, 廖晓峰. 面向车联网数据持续共享的安全高效联邦学习[J]. 计算机研究与发展, 2024, 61(9): 2199-2212. CSTR: 32373.14.issn1000-1239.202330894
Le Junqing, Tan Zhouyong, Zhang Di, Liu Gao, Xiang Tao, Liao Xiaofeng. Secure and Efficient Federated Learning for Continuous IoV Data Sharing[J]. Journal of Computer Research and Development, 2024, 61(9): 2199-2212. CSTR: 32373.14.issn1000-1239.202330894
Citation: Le Junqing, Tan Zhouyong, Zhang Di, Liu Gao, Xiang Tao, Liao Xiaofeng. Secure and Efficient Federated Learning for Continuous IoV Data Sharing[J]. Journal of Computer Research and Development, 2024, 61(9): 2199-2212. CSTR: 32373.14.issn1000-1239.202330894

面向车联网数据持续共享的安全高效联邦学习

基金项目: 国家重点研发计划项目(2022YFB3103500);国家自然科学基金项目(61932006,62202071,62302072);中国博士后科学基金项目(2022M710518,2022M710520);重庆市自然科学基金项目(CSTB2022NSCQ-MSX0358,CSTB2022NSCQ-MSX1217)
详细信息
    作者简介:

    乐俊青: 1991年生. 博士,助理研究员. CCF会员. 主要研究方向为隐私保护、联邦学习、信息安全

    谭州勇: 1997年生. 硕士. 主要研究方向为隐私保护、联邦学习

    张迪: 1993年生. 博士,助理研究员. 主要研究方向为隐私保护、区块链、密码学

    刘高: 1991年生. 博士,助理研究员. 主要研究方向为车联网、区块链、隐私保护

    向涛: 1980年生. 博士,教授,博士生导师. CCF会员. 主要研究方向为隐私保护、信息安全、机器学习

    廖晓峰: 1964年生. 博士,教授,博士生导师. CCF会员. 主要研究方向为神经网络、隐私保护、密码学

    通讯作者:

    张迪(dizhang@cqu.edu.cn

  • 中图分类号: TP309;TP181

Secure and Efficient Federated Learning for Continuous IoV Data Sharing

Funds: The work was supported by the National Key Research and Development Program of China (2022YFB3103500), the National Natural Science Foundation of China (61932006, 62202071, 62302072), the China Postdoctoral Science Foundation (2022M710518, 2022M710520), and the Natural Science Foundation of Chongqing (CSTB2022NSCQ-MSX0358, CSTB2022NSCQ-MSX1217).
More Information
    Author Bio:

    Le Junqing: born in 1991. PhD, research assistant. Member of CCF. His main research interests include privacy protection, federated learning, and information security

    Tan Zhouyong: born in 1997. Master. His main research interests include privacy protection and federated learning

    Zhang Di: born in 1993. PhD, research assistant. Her main research interests include privacy protection, blockchain, and cryptography

    Liu Gao: born in 1991. PhD, research assistant. His main research interests include Internet of vehicles, blockchain, and privacy protection

    Xiang Tao: born in 1980. PhD, professor, PhD supervisor. Member of CCF. His main research interests include privacy protection, information security, and machine learning

    Liao Xiaofeng: born in 1964. PhD, professor, PhD supervisor. Member of CCF. His main research interests include neural network, privacy protection, and cryptography

  • 摘要:

    车联网与人工智能结合推动了自动驾驶汽车的快速发展. 分散于不同车辆中的车联网数据共享并用于训练人工智能模型可实现更高效、更可靠的智能驾驶服务. 自动驾驶汽车可通过车载摄像头、传感器等持续采集车辆实时信息、道路图像和视频等车联网数据,并用于优化更新智能交通模型,弥补车联网数据变化导致的模型准确度下降问题. 提出面向车联网环境下数据持续共享的高效安全联邦学习方案SEFL,以解决车联网数据采集低效、数据动态更新导致的灾难性遗忘、模型训练参数导致的隐私泄露等问题. 在方案SEFL中,车辆基于全局模型,只采集模型识别率较低的车联网数据,并以最大概率对应的输出作为该样本的标签,完成训练样本自动采集. 由于车辆存储空间有限,采集的新样本会覆盖旧样本,导致车辆上数据是动态变化的,传统微调训练方式容易引起灾难性遗忘问题. 为此,方案中设计了一种基于双重知识蒸馏的训练算法,确保模型学习到每个样本的知识,使模型保持较高的准确度. 此外,为了防止车辆与服务器之间传播的模型参数泄露用户隐私,提出了一种自适应的差分隐私策略来实现客户端级的强隐私保护,同时该方案能最大限度地减少差分隐私噪声对全局模型准确度的负面影响. 最后,进行了安全性分析并结合交通标志数据集GTSRB和车辆识别数据集对SEFL方案进行了性能评估. 实验结果表明所提出的SEFL方案能提供可靠的强隐私保护和高效的采集策略,并且在模型准确度方面要优于现有基于联邦学习的算法.

    Abstract:

    The combination of the Internet of vehicles (IoV) and artificial intelligence (AI) has driven the rapid development of autonomous vehicles. Sharing IoV data distributed across different vehicles for training AI models enables more efficient and reliable intelligent driving services. Autonomous vehicles can continuously gather real-time vehicle information, road images and videos among other IoV data, through onboard cameras and sensors. This data are then utilized to optimize and update intelligent traffic models, addressing issues where changes in IoV data result in decreased model accuracy. We propose an efficient and secure federated learning scheme (named as SEFL) for continuous data sharing in an IoV environment to address the problems related to inefficient data collection, catastrophic forgetting problems due to dynamic data updates and privacy leakage from model training parameters. In SEFL, to enable the automatic collection of training samples, each vehicle is based on the global model to only collect IoV data with lower recognition accuracy, and the output with the highest probability is used as the label for that sample. Since vehicle storage space is limited and new samples can overwrite old ones, the data on vehicles are dynamically changing, making traditional fine-tuning training methods prone to catastrophic forgetting. Thus, a dual-knowledge distillation-based training algorithm is proposed in SEFL to ensure that the model learns the knowledge of each sample, maintaining high accuracy. Besides, to prevent privacy leakage from the model parameters between vehicles and servers, an adaptive differential privacy strategy is proposed to achieve client-level privacy protection. Simultaneously, this strategy minimizes the negative impact of differential privacy noise on the accuracy of the global model. Finally, a security analysis and performance evaluation of SEFL scheme are conducted using the GTSRB dataset and vehicle identification dataset. The analysis and experimental results indicate that the proposed SEFL scheme can provide strong privacy protection and efficient data collection. Furthermore, SEFL outperforms existing federated learning-based algorithms in terms of model accuracy.

  • 随着电子技术、网络技术以及信息技术的发展,视频已成为网络承载的主要流量[1]. 尤其在近几年,受新型冠状病毒肺炎(corona virus disease 2019,COVID-19)疫情的影响,线上办公、视频会议已成为人们工作的常态. 短视频业务、视频广告、视频游戏等也已渗透入人们生活的方方面面. 正在涌现的自动驾驶、远程手术、虚拟现实(virtual reality,VR)、增强现实(augmented reality,AR)、混合现实(mixed reality,MR)等应用均离不开高质量视频通信的技术加持. 毫不夸张地说,5G赋能下的视频通信技术已经改变了人类社会.

    现如今,视频通信的发展呈现3个特点:

    1)视频质量大幅提升,视频数据量呈指数级增长. 720p,1080p,4K分辨率的视频服务已经普及,8K及以上分辨率视频通信技术也早已实现. 视频帧率也从满足人类最基本视觉暂留效应的30 fps提升至60 fps,90 fps乃至120 fps,以提供更加优质的视频交互体验,如大型视频游戏、多视点赛事直播、VR、AR交互等. 据统计,一场多视点的体育赛事直播每小时会产生超过7 GB的数据量,VR或AR应用所需的带宽预计超过25 Mbps,8K UHD超高清流媒体对单个用户的容量要求更是高达100 Mbps[2]. 如此庞大的视频数据量无疑会急剧加重网络的传输负担,仅通过传统方式提供视频服务将使核心网无法承载.

    2)视频服务更加多元化,视频形式更加多样化. 除了传统不同质量的视频并存于网络之外,新兴的360°全景视频[3]、多视点视频[4]涌现,并可用于支持AR,VR,MR类应用. 此外,同一视频内容支持多种视频呈现形式,以满足不同用户的不同服务需求. 例如一场体育赛事直播,既要向上支持360°全景、多视点等形式的沉浸式体验服务,又要向下兼容不同分辨率的视频流媒体服务,以适应不同用户的差异化观看场景.

    3)视频服务趋于泛在化,视频内容提供商趋向“草根”化. 网络技术的发展和智能终端的普及,推动了多媒体业务的广泛推广. 近年来,视频已成为人们获取信息的主要载体. 尤其是抖音、腾讯、Instagram等短视频应用的高度流行[5],为人们提供随时随地视频服务接入的同时,用户本身也成为了视频内容的创作者和提供商. 这一方面导致移动数据流量的爆炸式增长,给底层移动网络带来了巨大的压力. 另一方面,这对传统集中式的网络构架提出了挑战. 如果集中式地处理泛在化的视频内容,不仅会导致庞大的用户接入量难以协调的问题,而且会引入额外的回程延时,降低视频应用的服务质量.

    在此激励下,算力网络(computing power network)[6]应运而生. 为应对无处不在的网络连接,算力网络将动态分布的计算与存储资源互联,通过网络、存储、算力等多维度资源的统一协同调度,使海量应用能够按需、实时调用泛在分布的计算资源,实现连接和算力在网络的全局优化,提供一致的用户体验[7]. 总体而言,算力网络旨在将网络中动态分布的计算、存储、通信等网络资源统一管理并充分利用,将服务的提供方式由集中式的统一供应转换为分布式的云、边、端协作. 这一方面可以提升网络可用资源的总量,卸载核心网的负载,另一方面可以使“服务提供商”更靠近用户,降低服务延时. 因此算力网络适用于对网络资源需求大的业务,如超算和大型渲染、人工智能、自动驾驶、和区块链应用等. 尤其是高质量、泛在化的视频业务,如智能安防、云VR/AR、超高清视频、云游戏、元宇宙等.

    然而,将算力网络应用于泛在化视频业务中仍然面临挑战:算力网络试图开发动态分布的网络资源以提升网络性能,然而“碎片化”是这类网络资源的主要特征之一. 例如,智能终端和多接入边缘计算(multi-access edge computing,MEC)服务器中的计算和存储资源,虽分布广泛,但其密集程度仍无法与云中心相比. 当处理资源密集型的视频业务时,资源分布“碎片化”与资源需求“密集型”之间的矛盾存在如何协调的问题. 为了解决这个问题,本文提出一种算力网络支撑下的视频传输调度方案,如图1所示. 具体包含3个主要贡献:

    图  1  算力网络支撑下的泛在化视频通信模型
    Figure  1.  Ubiquitous video communication model supported by the computing power network

    1) 提出了一种层次化视频编解码模型,通过视频主成分提取和消除,提供一种独立-可伸缩的视频解构和重构方案,便于在算力网络中灵活传输;

    2) 基于内容分布的全局观测和最大化内容部署的增益度,设计视频内容的按需部署策略,提升视频内容的命中率从而提升碎片化网络资源的利用率;

    3) 基于业务的差异化指标约束,设计传输链路的有效吞吐量模型,并设计基于有效吞吐量的链路选择算法,提升视频传输效率.

    无线网络中的视频传输需要传输码流具有对无线信道的适应性. 由于易于部署和扩展,目前流行的流媒体业务大都基于超文本传输协议(Hyper Text Transfer Protocol,HTTP)的自适应流媒体[8](HTTP adaptive streaming,HAS)进行视频传输. HAS的基本思想是通过存储若干个不同质量的视频版本来适应网络环境. 客户端依据网络环境和自身需求,自主选择合适的视频码率版本进行传输,从而达到网络自适应的目的. 诸如Adobe公司的Adobe HTTP Dynamic Streaming、苹果公司的Apple HTTP Live Streaming、微软公司的Microsoft Smooth Streaming,以及HTTP动态自适应流(dynamic adaptive streaming over HTTP,DASH)都是流行的HAS协议. 以DASH[9]为例,它支持不可伸缩的或可伸缩的视频表征方法. 不可伸缩的方法即预先存储或实时地将视频转码为多种质量的视频码流,然后根据需要发送合适的版本给客户端. 显然,这种方法依赖视频转码或者视频联播技术的支持. 实时的视频转码需要视频服务器强大的计算能力支持,而预先存储多个视频质量版本的视频联播技术显然会耗费视频服务器大量的存储空间. 因此这种方案的部署依赖强大的计算、存储中心支持,无法从根本上缓解算力网络资源“碎片化”与视频业务资源需求“密集型”之间的矛盾.

    从码流结构上入手,将资源需求“密集型”的视频业务解构为多任务协作是一种提升“碎片化”网络资源的有效方法. 例如通过利用可伸缩视频编码(scalable video coding, SVC)技术来适配网络资源和业务需求,便可提升视频传输的灵活性. DASH中的可伸缩方法[10]即为一种典型的应用. 该方法通过预先将视频编码为若干个视频层,视频服务器依据网络条件发送给客户端不同数量的视频层数据以实现视频恢复质量的可伸缩性和对网络的适应性. 由于SVC可以通过分层编码实现一次编码、多种解码,从而无需服务器存储多个视频质量副本或转码,很大程度上降低了承担视频服务器的负担(例如一些智能终端设备就可以为其它设备提供视频内容). 此外,不仅仅是DASH方案支持可伸缩的视频表征,基于SVC的可伸缩视频流在异构网络(heterogeneous networks, HetNets)[11-13]、设备到设备(device-to-device, D2D)网络[14-16]、MEC支持的蜂窝网络[17-18]中的传输问题也引起了广泛关注. 此类研究中,为了发挥SVC在灵活传输中的优势,一个核心问题是如何部署视频的缓存副本提升用户设备请求视频的命中概率. 根据相关研究,视频的受欢迎程度通常在很大程度上影响视频的部署,例如基于视频内容的受欢迎程度通常呈现Zipf[19]分布的现实,在网络中缓存Zipf偏度参数较高(代表了视频请求的集中程度高)的视频内容,会使得视频内容的命中率得以提升. 但这种方法同时也会导致无效缓存的问题,亟待进一步研究解决.

    借鉴以上研究的经验,本文着重研究算力网络中的泛在化视频调度问题. 但不得不解决2个问题:1)SVC的天生属性使得其上层数据的解码严重依赖底层数据,这种设计的初衷是提升视频编码的效率,但却也使得其码流结构不够灵活,将其直接应用于资源碎片化分布的算力网络中时,其性能优势难免受到抑制;2)基于Zipf分布的视频内容部署是从概率角度缓存可能会被请求的视频内容,难免与用户的实际请求不符,造成无效缓存的问题,进而浪费网络资源. 鉴于此,本文从层次化的视频编码入手,解决视频流对算力网络的适应性问题,促进网络资源的灵活调度. 在此基础之上,以视频内容的按需部署和网络资源的按需调度,提升视频业务的适应性和“碎片化”网络资源的利用率.

    综上所述,泛在化视频业务的高效调度一方面需要通过将资源“密集型”的视频传输任务分解,从而开发算力网络中碎片化的网络资源,缓解爆炸式增长的视频流量对核心网的冲击;另一方面需要借助算力网络提供的算力支撑,实现视频内容的精准部署和网络资源的高效调配,在确保视频业务服务质量的同时,兼顾视频业务的多样性特点和无线网络的动态性特征.

    本节主要介绍算力网络支撑下的泛在化视频通信模型,主要包括视频的层次化编解码模型、面向业务的有效吞吐量模型.

    为了应对泛视频业务的多样性、网络资源的碎片化和无线网络的动态性,本文提出一种层次化的视频编码模型如图2所示[20]. 以空间域为例,首先,视频信号被下采样为多路子信号,以提高码流的适应性,降低基本解码门限;其次,将下采样的若干路子信号中相关的“主成分”提取成一路主信号,并将该主成分从各个子路中去除,以避免各个子路相互依赖,提升传输和解码的灵活性;再次,按照传统视频编码的方法,对主路信号及各个子路信号进行时—空相关性编码和熵编码,以去除视频信号的时—空冗余和统计冗余. 其中,各子路信号可参考主路信号进行参考编码,进一步去除层间冗余. 最后,经过本文提出的编码模型,视频信号被编码成一路主描述层和若干路增强描述层. 主描述层可以以基本的视频质量单独解码,增强描述层则用于提升视频质量,且解码的增强描述层数越多,视频质量越高. 但不同于SVC或H.265高效可伸缩视频编码(scalable high-efficiency video coding,SHVC)的是,经过本文提出的编码模型生成的增强描述层信号只参考主描述解码而不相互依赖,即解码质量只与解码层数有关,与顺序无关. 且不同于多描述编码(multiple description coding,MDC),各个增强描述之间的相关成分被提取到主描述中,因此视频编码效率得以提升.

    图  2  适用于泛视频业务的层次化编码模型(以空间域为例)
    Figure  2.  Hierarchical coding model for ubiquitous video services (take spatial domain as an example)

    以空间域为例阐述本文提出的层次化视频编码模型具体技术实现:

    1)将原始视频信号以Po表示,其每一帧的分辨率为(X,Y),总帧数为K.

    2)将Po间隔地进行空间域下采样,得到L路子信号以Pl表示,则子路信号空间分辨率为(I,J),其中I·J=X·YL,如遇不能整除的情况,可用超分辨率技术转换Po的分辨率.则视频第l路信号的第k帧中的任意像素可以记为

    Plk,i,j,1 (1)

    3)将L路子信号进行主成分提取,子路信号主成分提取的方法可以表示为

    P_{k,i,j}^{{\rm{Main}}} = \frac{1}{L}\sum\limits_{l = 1}^L {P_{k,i,j}^l} ,\forall k,i,j, (2)

    其中{P^{{\rm{Main}}}}表示提取的主路信号.

    4)各子路信号利用残差器通过对应元素相减法将主成分去除,此过程可表示为

    P_{k,i,j}^{l*} = P_{k,i,j}^l - P_{k,i,j}^{{\rm{Main}}},\forall k,i,j,l. (3)

    相应地,视频解码为编码的逆过程,如图3所示. 其中,主描述层的编解码可以兼容H. 265高效视频编码(high efficient video coding,HEVC)、H. 264高级视频编码(advanced video coding,AVC),增强描述层编解码可以兼容SHVC,SVC编解码器,但与之不同的是,增强描述层之间不相互参考,而是仅参考主描述层,如此以提升视频编解码的灵活性.

    图  3  层次化视频解码器框图
    Figure  3.  Hierarchical video decoder block diagram

    考虑到算力网络的特性和泛在化视频业务传输约束的差异性,本文提出面向业务的有效吞吐量模型. 首先,将一个传输链路记为一个由源m到目的n的信道(m−n),其中源m只标记为可以提供服务的云中心、MEC服务器,或者任何一种网络设备,但不指定其类型. 即,在算力网络中,不特定服务的提供者,而关注如何聚合足够的网络资源来提供服务. 然后,定义信道质量信息(channel quality information,CQI): RT{T_{mn}} 为从源到目的的往返时延, {\mu _{mn}} 为信道(m−n)的可用信道容量, {\gamma\, }_{mn}^c 为该信道的信道丢包率,为独立、同分布的(i. i. d)过程,可通过链路状态估计得出. 本文采用Gilbert信道模型[21]来描述信道丢包率:

    {\gamma }_{mn}^{c}=\frac{{\rho }_{mn}^{{\rm{B}},{\rm{G}}}}{{\rho }_{mn}^{{\rm{G}},{\rm{B}}}+{\rho }_{mn}^{{\rm{B}},{\rm{G}}}} \text{,} \forall m,n, (4)

    其中,\rho _{mn}^{{\rm{B}},{\rm{G}}}为信道由好(G)到坏(B)的状态转移概率,\rho _{mn}^{{\rm{G}},{\rm{B}}}反之.

    此外,不同于其他类型的业务,视频服务需要考虑数据包的时延约束. 即,实时的视频通信业务,如果一个数据包在到达之前,其从属的视频图像组(group of pictures,GoP)已经解码并播放完毕,则该数据包已无效,当以丢包处理. 通常,将这种在规定时间内成功到达接收端的数据量定义为有效吞吐量(good-put),并且考虑到不同类型视频业务对延时约束的差异化需求,本文定义这种因未在指定到达时间内到达的数据丢包为超时丢包\gamma _{mn}^{\rm{o}},可通过M/G/1排队模型来近似[17,20-21],即:

    \gamma _{mn}^{\rm{o}} = P({T_{mn}} > {\tau ^{\text{α}}}) = \exp ( - {\lambda _{mn}} \times {\tau ^{\text{α}}}), (5)

    其中, {T_{mn}} 为链路的端到端延时, {\tau ^\alpha } 为不同业务要求的传输截止时间, {\lambda _{mn}} 为到达率, {\lambda _{mn}} = 1/E({T_{mn}}) E({T_{mn}})为延时的期望值. 实际应用中, E({T_{mn}}) 可通过历史观测获得,但考虑到该过程较为复杂,本文引入分数函数来近似:

    E(T_{mn}^l) = \frac{{r_{mn}^l}}{{\omega _{mn}^l}} + \frac{{RT{T_{mn}}}}{2} , (6)

    其中, r_{mn}^l 为第l层视频信号的码率, \omega _{mn}^l 为在链路(m-n)上为其分配的传输速率. 由式(5)和式(6)可得超时丢包率为

    \gamma _{mn}^{\rm{o}} = \exp \left( - \frac{{2{\tau ^\alpha } \times \omega _{mn}^l}}{{2r_{mn}^l + \omega _{mn}^l \times RT{T_{mn}}}}\right) , (7)

    进一步,总丢包率为

    \begin{gathered} {\varPsi _{mn}} = \gamma _{mn}^c + (1 - \gamma _{mn}^c) \times \gamma _{mn}^o = \frac{{\rho _{mn}^{{\rm{B}},{\rm{G}}}}}{{\rho _{mn}^{{\rm{G}},{\rm{B}}} + \rho _{mn}^{{\rm{B}},{\rm{G}}}}} +\\ \frac{{\rho _{mn}^{{\rm{G}},{\rm{B}}}}}{{\rho _{mn}^{{\rm{G}},{\rm{B}}} + \rho _{mn}^{{\rm{B}},{\rm{G}}}}} \times \exp \left( - \frac{{2{\tau ^\alpha } \times \displaystyle\sum\limits_l {\omega _{mn}^l} }}{{2 \times \displaystyle\sum\limits_l {r_{mn}^l} + RT{T_{mn}} \times \sum\limits_l {\omega _{mn}^l} }}\right), \\ \end{gathered} (8)

    其次,视频在信道(m−n)上传输的总有效吞吐量为

    {\Theta }_{mn}={\displaystyle \sum _{l}{r}_{mn}^{l}}\times ({1-}{\varPsi }_{mn}) . (9)

    基于本文提出的视频编解码模型和有效吞吐量模型,本节介绍如何根据算力网络中网络资源的分布情况以及用户对视频业务的请求情况对视频的传输进行合理的调度,以提升视频业务的服务质量.

    为了保证视频传输的稳定性,在某一链路(mn)上分配的视频流总速率之和不应超过其实际可用容量,即

    {\displaystyle \sum _{l}{\omega }_{mn}^{l}\le {\mu }_{mn}}\text{,} (10)

    其中, \omega _{mn}^l 为在信道(m−n)上为第l层视频分配的传输速率, {\mu _{mn}} 为信道(m−n)的实际可用容量.

    为方便陈述,首先声明如下参数:记{{{{\mathcal{M}}}}}(D \times D)为算力网络中的可用传输链路矩阵,其中的元素标定了对应链路的可用容量,如 {\mu _{mn}} ;以0-1矩阵{{\mathcal{C}}}(D \times D)表示网络中的供需关系,例如若 {c_{mn}} = 1 ,则表示网络中的设施m可为设施n提供所需的视频内容资源;本文假设一个视频被编码为L个视频层,并将视频层的速率分配方案用矩阵{{\boldsymbol{\varOmega}} _n}(L \times D)表示,例如如果其中元素 \omega _{mn}^l \ne {\text{0}} ,则表示在信道(m−n)上分配了第l层的视频数据,且分配速率为 \omega _{mn}^l ;对于一个设备(设施)的存储状态,则以0-1矩阵{\mathcal{H}}\left( {L \times D} \right)表示,其中如果 {h_{ln}}{\text{ = 1}} 则代表设备(设施n)中已经存储了视频第l层的数据. 矩阵{{ \mathcal{M} }}{\mathcal{C}}{{\boldsymbol{\varOmega }}_n}{{\mathcal{H} }}的形式如式(11)所示:

    \begin{array}{l}{\boldsymbol{\mathcal{M}}}= \left(\begin{array}{cccc} {\mu }_{11} & {\mu }_{12} & … & {\mu }_{1D}\\ {\mu }_{21} & \ddots & \ddots & \vdots\\ \vdots & {\mu }_{mn} & \ddots & \vdots\\ {\mu }_{D1} & … & … & {\mu }_{DD}\end{array}\right), {{\mathcal{C}}}= \left(\begin{array}{cccc}{c}_{11} & {c}_{12} & … & {c}_{1D}\\ {c}_{21} & {c}_{22} & \ddots & \vdots\\ \vdots & {c}_{mn} & \ddots & \vdots \\ {c}_{D1} & … & … & {c}_{DD}\end{array}\right),\\ {{\boldsymbol{\varOmega }}}_{n}=\left(\begin{array}{cccc}{\omega }_{1n}^{1} & {\omega }_{2n}^{1} & … & {\omega }_{Dn}^{1}\\ {\omega }_{1n}^{2} & {\omega }_{2n}^{2} & \ddots & \vdots\\ \vdots & {\omega }_{mn}^{l} & \ddots & \vdots\\ {\omega }_{1n}^{L} & … & … & {\omega }_{Dn}^{L}\end{array}\right), {{\mathcal{H}}}=\left(\begin{array}{cccc}{h}_{11} & {h}_{12} & … & {h}_{1D}\\ {h}_{21} & {h}_{22} & \ddots & \vdots\\ \vdots & {h}_{ln} & \text{}\ddots & \vdots\\ {h}_{L1} & … & … & {h}_{LD}\end{array}\right).\end{array} (11)

    进一步地,鉴于视频的主描述层与增强描述层具有不同的性质,{\boldsymbol{ \mathcal{H} }}矩阵可记为如式(12)所示的2种形式:

    \left\{ \begin{gathered} {\boldsymbol{\mathcal{H}}} = \left[ \begin{gathered} {{{\mathcal{H}}}^B} \\ {{{\mathcal{H}}}^E} \\ \end{gathered} \right],\;{{{\mathcal{H}}}^B} = \left( {{h_{11}},{h_{12}}, … {h_{1D}}} \right),\;{{{\mathcal{H}}}^E} = \left(\begin{gathered} \begin{array}{*{20}{c}} {{h_{21}}} & … &{{h_{2D}}} \end{array} \\ \begin{array}{*{20}{c}} {\; \vdots }&{\;\; \ddots }&{\; \vdots } \end{array} \\ \begin{array}{*{20}{c}} {{h_{L1}}}& …&{{h_{LD}}} \end{array} \\ \end{gathered} \right) \\ {{\mathcal{H}}} = \left( {\begin{array}{*{20}{c}} {{{\boldsymbol{H}}_1},}&{{{\boldsymbol{H}}_2}}& … &{{{\boldsymbol{H}}_D}} \end{array}} \right),\;{{\boldsymbol{H}}_n} = \left( {\begin{array}{*{20}{c}} {{h_{1n}}} \\ \vdots \\ {{h_{Ln}}} \end{array}} \right),\;\forall n \in \mathcal{D}=\{1,2,…,D\}, \\ \end{gathered} \right. (12)

    其中,{{{\mathcal{H}}}^B}{{{\mathcal{H}}}^E}用以表示网络中主描述层和增强描述层的分布,{{\boldsymbol{H}}_n}则进一步表示n中视频层的具体存储状态.

    本文假设从属于同一算力网络中的D个设备以不同分辨率、不同类型(如2D视频、3D视频、全景视频等)同时请求同一个视频内容,并组成集合 \mathcal{D} . 基于本文提出的视频编码模型,将视频内容的分发分为3个阶段,如图4所示.

    图  4  视频内容分发模型
    Figure  4.  Video content distribution model

    第一阶段为视频主描述层的分发阶段,此时所有设备中没有缓存任何视频数据包,所有视频的数据包都是被需要的. 为了保证视频服务的流畅性,所有发起请求的设备将被分配恰当的内容“源”,以广播、多播或点对点形式传输视频的主描述层数据包(B),此过程结束时,式(13)将被满足.

    {\left\| {{{{\mathcal{H}}}^B}} \right\|_1} = \left| \mathcal{D} \right| . (13)

    第二阶段为视频的增强描述层的分发阶段,此时所有设备中均没有缓存增强层数据,任意增强层数据均可以为设备提升视频的播放质量,但为了提升算力网络中“碎片化”网络资源的利用率,还需对增强层数据包的部署进行统一规划. 因此该阶段的主要目的有2个:一是为了尽力提升视频业务的服务质量,为服务的请求者分配恰当的“源”来提供其所需的视频增强描述层数据包(如E1,E2,E3),二是为了提升算力网络中分布的碎片化网络资源,当前阶段对视频内容的部署应该便于下一阶段的视频内容分享. 例如,在图4中,当设备③请求一个增强描述层数据包时,无论算力中心将哪一个增强层数据包分配给设备③都可以提升其视频业务质量. 但考虑到在设备③的连接范围内,设备①和设备②缺失的数据包是E3,因此将E3分配给设备③最能促进设备③的资源分享. 记 f(n,l) 为视频内容分发增益度函数,其代表了给设备n分配第l层数据能够产生的资源分享增益. 例如 f(3,{\text{E}}3) = 2 . 则该过程可以用最优化函数来表示:

    \max \sum\limits_{n \in \mathcal{D},l \in {\varDelta _n}} {f(n,l)} , (14)

    其中, {\varDelta _n} 为设备n缺失的视频层集合,可通过查询{{\boldsymbol{H}}_n}获得. 式(14)所示的最优化过程可以通过算法1来实现.

    算法1. 最优视频层分配算法.

    输入:\mathcal{H} \mathcal{D} {\Delta _n},n \in \mathcal{D} ,视频所有L层数据;

    输出: {\mathcal{S}^{\text{E}}} .

    {\mathcal{S}^{\text{E}}} = [0]

    ② while \mathcal{D} \ne\varnothing do

    ③ 随机选择一个 n \in \mathcal{D}

    ④ for all l \in {\varDelta _n} do

    ⑤  初始化 f(n,l) = 0

    ⑥  将在n的一跳范围之内的设备记为n'

    ⑦  for all n' do /* 计算 f(n,l) */

    ⑧   if l \in {\varDelta _{n'}}

    ⑨     f(n,l) = f(n,l) + 1

    ⑩   end if

    ⑪  end for

    ⑫  输出 f(n,l)

    ⑬ end for

    ⑭ 在所有 f(n,l) 中查询l^* ,使得f(n,l^*)的值在     所有f(n,l),l \in {\varDelta _n}中最大;

    ⑮ 选择l^* 分配给设备n

    ⑯  {s_{l*n}} \leftarrow 1

    /* 将 {\mathcal{S}^{\text{E}}} 中对应元素更新为1,以记录分配策     略 */

    ⑰ 将l^*发送给n,更新{{\boldsymbol{H}}_n}

    ⑱ 返回ACK,CQI,{{\boldsymbol{H}}_n}给计算中心,更新\mathcal{H}

    ⑲  \mathcal{D} \leftarrow \{ n\} /\mathcal{D}

    /* 将n从集合 \mathcal{D} 中移除 */

    ⑳ end while

    算法1的输出 {\mathcal{S}^{\text{E}}} 即为视频层的最优分配方案. {\mathcal{S}^{\text{E}}}(L \times D) 为0-1矩阵,其形式为:

    {\mathcal{S}}^{\text{E}}=\left(\begin{array}{cccc}{s}_{11}& 0& … & {s}_{1D}\\ 1& 0& \ddots & \vdots \\ \vdots & {s}_{ln}& 1& \vdots \\ {s}_{1L}& … & … & {s}_{LD}\end{array}\right). (15)

    第三阶段为协作式的视频内容分享阶段,此时不同设备中可能存储了不同的视频增强描述层数据包,不同设备之间彼此分享,在为其它设备提供已有数据包的同时,从其它设备中获取缺失的数据包,共同提升视频的播放质量. 该阶段可视为将存储了一定内容的视频业务请求者加入了提供者的集合. 只要某一些设备被算法1或算法2选择,则这些设备将同时扮演请求者和服务提供者的身份,分享自身的网络资源.

    经过视频内容的分发后,视频以一定的形式分布于网络中,例如一些设备、设施中存储了视频的若干层或者若干视频片段,接下来便是如何有效地利用这些分散的视频内容,在提升视频业务质量的同时,提高碎片化网络资源的利用率. 由于本文提出的视频编码模型中,增强描述层是同等重要的,因此设备n并不指定增强描述层编号,而由计算中心根据全局调度来决定具体发送给设备n哪一个增强描述层. 当一个设备n请求一个视频增强描述层时,首先需要确定的是能为设备n提供增强描述层的设备(设施)的集合. 记{\boldsymbol{H}}_{{m}}m中存储的视频层集合,即存储状态向量{{\boldsymbol{H}}_{{m}}}中所有1元素对应位置的坐标. 记 \mathcal{P}_n^{'} 为存储了n所需视频层的设备(设施)的集合,即 \mathcal{P}_n^{'} 为那些使得\boldsymbol{H}_m \cap {\varDelta _n} \ne\varnothing的设备(设施)的集合. 除此之外,考虑到网络中单个设备(设施)的有限能力,在为设备n提供服务之前,还需确定该设备是否“空闲”,例如是否具有足够的可用带宽、是否电量充足等. 因此,实际的内容提供者集合定义为{\mathcal{P}_n} = \mathcal{P}_n^{'} \cap \varXi,其中\varXi为“空闲”设备(设施)的集合.

    接下来便是如何选择一个合适的提供者并发送合适的视频层给设备n. 考虑到不同类型的视频业务的不同性质(例如对延时约束的不同要求),本文基于提出的有效吞吐量模型提出业务需求约束下的链路选择策略,如图5所示. 得益于算力网络的支撑,本文提出的链路选择算法可以基于对全局的观测实现最优的视频传输调度. 首先,当一个设备请求一个视频层时,它将自己缺失的视频层集合以及具体的业务约束( {\tau ^\alpha } )发送给计算中心. 其次,计算中心综合全局的\mathcal{M}\mathcal{C}{{\boldsymbol{\Omega}} _n}\mathcal{H}\varXi以及个体的{\varDelta _n} {\tau ^{\,\alpha }} 生成最优的调度策略,该调度策略主要有2个功能:1)根据网络中视频内容的分布情况,决定发送给n的视频层编号l*,使得视频内容的分布更利于碎片化网络资源的利用. 2)根据n的视频业务约束和有效吞吐量模型,为n分配合适的传输链路,保证视频业务质量. 最后,依照最优化的调度决策,由计算中心指导网络中的设备或设施开展视频数据传输,一方面,将复杂的计算和决策工作分配给计算中心执行,实现全局最优;另一方面,数据的传输以分布式的方式进行,便于网络中碎片化的网络资源灵活利用. 本文提出的基于有效吞吐量的链路选择算法伪代码如算法2所示.

    图  5  业务需求约束下的链路选择策略
    Figure  5.  Link selection strategy under service requirement constraints

    算法2. 基于有效吞吐量的链路选择算法.

    输入:{\boldsymbol{\mathcal{M}}}{{\boldsymbol{\varOmega}} _n}\mathcal{H} \Xi

    输出:{\boldsymbol{\mathcal{S} }}.

    ① while 设备n发起一个请求,发送{\varDelta _n} {\tau ^\alpha } do

    ② t=0;

    ③ while t < {\tau ^\alpha } 或者{\left\| {{{\boldsymbol{H}}_n}} \right\|_1} = L

    ④  根据\mathcal{H} \varXi {\varDelta _n} 计算{\mathcal{P}_n} = \mathcal{P}_n^{'} \cap \varXi

    /* 即通过查询供需关系、空闲状态确定n      的提供者集合 */

    ⑤  for all m \in {\mathcal{P}_n} do

    ⑥   根据\mathcal{M}{{\boldsymbol{\Omega}} _n},由式(8)和式(9)计算 {\Theta _{mn}} ;       /* 即通过信道状态预测有效吞吐量 */

    ⑦  end for

    ⑧  求出最大 {\Theta _{mn}} 对应的m*

    ⑨  调用算法1求出l*,生成调度方案       \mathcal{S} = (m*,n,l*)

    /* 由m*n提供l* */

    ⑩  令m*发送l*n,将l*{\varDelta _n}中移除,更      新{{\boldsymbol{H}}_n}\mathcal{H}\varXit

    ⑪ end while

    ⑫ end while

    为了衡量本文提出方案的性能,本节从核心网负载、有效吞吐量、碎片化网络资源利用率等3个方面将本文方案与DASH方案[9]、基于MEC的有效吞吐量方案(MEC-enabled goodput-aware,MEGA)[17]、基于本文编码模型的随机调度方案以及基于SVC编码的全局调度方案等4种方案进行了仿真比较.仿真环境为:操作系统(Windows 10 Enterprise 64 b),CPU(英特尔 Core i7-8700 @ 3.20 GHz 6核),内存(8 GB DDR4 2666MHz),GPU(Nvidia Quadro K4000 3 GB),仿真软件(MATLAB R2020a-academic use). 如无特殊说明,本节中的仿真参数默认如表1所示.

    表  1  仿真参数值设置
    Table  1.  Simulation Parameter Values Setting
    参数数值
    视频层数L10
    请求设备数D200
    业务类型数10
    RTT/ms50
    视频码率/Mbps1
    信道带宽/MHz1
    信道丢包率/%5
    下载: 导出CSV 
    | 显示表格

    图6所示,网络中的设备从不同时间开始,随机地发起视频服务请求. 请求的类型数为10种,即不同的质量(层数L)和不同的延时约束( {\tau ^\alpha } ). 由于DASH方案为集中式的视频服务模式,核心网承载了所有的流量负担,因此随着时间的变化,网络中请求视频的设备数目逐渐增多,核心网的流量负载基本上呈线性提升. 其余的4种方案均可以支持分布式的视频传输模式,因此均可以有效降低核心网的负载. 但在起始阶段,由于网络中还不存在可用的视频数据包,因此核心网仍然承载了全部流量负担. 随着时间的推移,越来越多的网络设备(设施)中存储了可用的视频内容,因此利用这些设备(设施)中的碎片化网络资源来分享自身存储的视频内容,便有效降低了核心网的流量负担.

    图  6  核心网负载随时间的变化
    Figure  6.  Changes of core network load with time

    值得注意的是,在传输的起始阶段,由于网络中分布的视频内容有限,核心网需要分发更多的视频数据包到网络中. 而由于本文提出的视频编码模型为了提升码流的灵活性,相对SVC而言牺牲了部分编码效率(为进行增强描述层之间的参考编码),因此在这个过程中,核心网负载相对较高. 随着网络中分布的视频数据包越多,本文提出的方案的优势也越明显. 本文提出的方案优于其它3种分布式方案的主要原因:1)全局的最优化调度利于碎片化资源的有效利用,因为设备所需的资源更容易在网络设备而非核心网设施中获得. 因此本文方案优于随机调度方案和MEGA方案. 2)本文提出的视频编码模型更具灵活性,当设备需要提升视频质量时,是请求了一个增强层的集合而非特定的某一层,使得其更容易在网络设备中获得. 因此本文方案可以优于基于SVC的全局调度方案.

    图7展示了本文方案与对比方案在不同码率下,核心网稳定负载(传输进行10s以后)的对比情况. 5种方案核心网负载均基本上与视频码率呈线性正相关关系,且由于本文方案更容易进行分布式视频分享,因此在卸载核心网负载方面更有效.

    图  7  核心网负载随视频码率的变化
    Figure  7.  Change of core network load with video bit rate

    图8展示了有效吞吐量指标随时间的变化情况对比. 由于本文方案与先前工作中(MEGA方案)使用了相似的有效吞吐量模型,因此二者在有效吞吐量方面差别不大. 基于SVC的全局调度方案由于仅从网络设备中获取视频内容的概率稍低,因此在有效吞吐量方面稍逊于本文方案和MEGA方案. 集中式的DASH方案由于只支持核心网络设施到设备的链接,因此有效吞吐量指标表现较差,但仍优于随机的调度方案. 这是因为随机的调度方案容易使得设备所需内容被分配到不稳定的信道,使得有效吞吐量指标波动剧烈.

    图  8  有效吞吐量随时间的变化
    Figure  8.  Changes of good-put with time

    图9展示了有效吞吐量指标在不同视频码率下的对比,变化的原因与图8类似. 受用户请求的随机性、无线信道的动态性的影响,视频内容的部署仍具有随机特征,因此有效吞吐量指标不可避免出现波动特征,但总体而言,本文算法可以取得最好的性能.

    图  9  有效吞吐量随视频码率的变化
    Figure  9.  Changes of good-put with video bit rate

    图10展示了本文算法在提升碎片化网络资源利用率方面的性能,对比仿真在4种分布式的视频内容分享方案. 该仿真中,本文主要统计了网络设备(如智能终端)中碎片化网络资源的利用情况. 只要某一设备分享了其中的视频内容,则视为该设备的碎片化资源得到了有效利用,核心网设施(如基站、MEC服务器)不计入其内. 由仿真结果可以看出,在视频层数为1(即不分层)时,4种方案对碎片化网络资源的利用率一致且较低,因为视频内容的分布和有限的终端设备能力使得设备间的协作共享较难进行. 随着视频层数的提升,视频内容较容易从邻居设备中获得,因此碎片化的网络资源利用率得以有效提升. 得益于本文提出的灵活的视频编码模型和全局最优的视频调度,本文方案使得设备间的协作容易开展,对比其它3种方案,本文方案能使碎片化网络资源利用率最高.

    图  10  碎片化网络资源利用率情况对比
    Figure  10.  Comparison of utilization rates of fragmented network resources

    本文提出了一种算力网络支撑下的泛在化视频业务调度方案,以缓解爆炸式增长的泛在化视频业务数据量对核心网承载能力的挑战. 具体而言,本文首先通过提出一种适用于泛视频业务的层次化视频编码模型,可以在适应无线网络动态性、用户和业务需求多样性的同时,使得视频内容便于灵活地传输;其次通过提出一种基于全局观测和有效吞吐量模型的视频调度策略,本文方案可以有效提升碎片化网络资源的利用率,从而卸载核心网负载. 仿真结果表明了本文方案的有效性.

    未来的工作包括2个方面:1)发掘用户行为习惯特征,利用人工智能和大数据方法实现对视频内容的智能部署;2)发掘泛在化视频应用中用户体验与网络资源配置的潜在联系,实现网络资源的自适应配置.

    作者贡献声明:张旭光负责完成实验并撰写论文;陈鸣锴提出指导意见并修改论文;魏昕提出了算法思路和实验方案.

  • 图  1   高效安全的联邦学习架构

    Figure  1.   Architecture of efficient and secure federated learning

    图  2   车辆基于全局模型自动采集

    Figure  2.   Vehicles automatically collecting based on the global model

    图  3   基于知识蒸馏的本地独立训练

    Figure  3.   Local independent training based on knowledge distillation

    图  4   在车辆客户端基于知识蒸馏进行全局模型更新

    Figure  4.   Global model updates on vehicle clients based on knowledge distillation

    图  5   模型反转攻击

    Figure  5.   Model inversion attack

    图  6   模型超参数设置

    Figure  6.   Model hyperparameter configuration

    图  7   GTSRB上的样本采集方式对比及采集范围变化

    Figure  7.   Comparison of collecting methods and changes in collecting range on GTSRB

    图  8   本地独立训练和基于双重知识蒸馏训练

    Figure  8.   Local independent training and training based on dual knowledge distillation

    图  9   不同本地训练方式的对比

    Figure  9.   Comparison of different local training methods

    图  10   相同隐私保护程度下的准确度与信息损失对比

    Figure  10.   Comparison of accuracy and information loss with the same privacy protection

    图  11   训练过程中的模型参数替换

    Figure  11.   Model parameter replacement during training

    表  1   相关工作对比

    Table  1   Comparison of Related Work

    性能 文献 SEFL
    (本文)
    [1115] [1618] [2325] [2628]
    强隐私保护 × ×
    高效学习 ×
    高准确度 × ×
    注:×表示不支持,√表示支持.
    下载: 导出CSV
  • [1]

    Yang Fangchun, Wang Shangguang, Li Jinglin, et al. An overview of Internet of vehicles[J]. China Communications, 2014, 11(10): 1−15

    [2]

    Muhammad K, Ullah A, Lloret J, et al. Deep learning for safe autonomous driving: Current challenges and future directions[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 22(7): 4316−4336

    [3] 刘占文,赵祥模,李强,等. 基于图模型与卷积神经网络的交通标志识别方法[J]. 交通运输工程学报,2016,16(5):122−131 doi: 10.3969/j.issn.1671-1637.2016.05.014

    Liu Zhanwen, Zhao Xiangmo, Li Qiang, et al. A traffic sign recognition method based on graph models and convolutional neural networks[J]. Journal of Transportation Engineering, 2016, 16(5): 122−131 (in Chinese) doi: 10.3969/j.issn.1671-1637.2016.05.014

    [4]

    Konečný J, McMahan H B, Ramage D, et al. Federated optimization: Distributed machine learning for on-device intelligence[J]. arXiv preprint, arXiv: 1610.02527, 2016

    [5]

    McMahan B, Moore E, Ramage D, et al. Communication-efficient learning of deep networks from decentralized data[C]//Proc of the 20th Int Conf on Artificial Intelligence and Statistics. Cambridge, MA: MIT, 2017: 1273−1282

    [6]

    Zhao Yue, Li Meng, Lai Liangzhen, et al. Federated learning with non-IID data[J]. arXiv preprint, arXiv: 1806.00582, 2018

    [7]

    Bonawitz K, Eichner H, Grieskamp W, et al. Towards federated learning at scale: System design[C/OL]//Proc of the 2nd Conf on Machine Learning and Systems. 2019[2024-03-12].https://proceedings.mlsys.org/paper_files/ paper/2019/file/7b770da633baf74895be22a8807f1a8f-Paper.pdf

    [8] 刘飚,张方佼,王文鑫,等. 基于矩阵映射的拜占庭鲁棒联邦学习算法[J]. 计算机研究与发展,2021,58(11):2416−2429 doi: 10.7544/issn1000-1239.2021.20210633

    Liu Biao, Zhang Fangjiao, Wang Wenxin, et al. Byzantine-robust federated learning algorithm based on matrix mapping[J]. Journal of Computer Research and Development, 2021, 58(11): 2416−2429 (in Chinese) doi: 10.7544/issn1000-1239.2021.20210633

    [9]

    Manias M D, Shami A. Making a case for federated learning in the Internet of vehicles and intelligent transportation systems[J]. IEEE Network, 2021, 35(3): 88−94 doi: 10.1109/MNET.011.2000552

    [10]

    Xing Ling, Zhao Pengcheng, Gao Jianping, et al. A survey of the social Internet of vehicles: Secure data issues, solutions, and federated learning[J]. IEEE Intelligent Transportation Systems Magazine, 2022, 15(2): 70−84

    [11]

    Xie Kan, Zhang Zhe, Li Bo, et al. Efficient federated learning with spike neural networks for traffic sign recognition[J]. IEEE Transactions on Vehicular Technology, 2022, 71(9): 9980−9992 doi: 10.1109/TVT.2022.3178808

    [12]

    Stergiou K D, Psannis K E, Vitsas V, et al. A federated learning approach for enhancing autonomous vehicles image recognition[C]//Proc of the 4th Int Conf on Computer Communication and the Internet. Berlin: Springer, 2022: 87−90

    [13]

    Liang Feiyuan, Yang Qinglin, Liu Ruiqi, et al. Semi-synchronous federated learning protocol with dynamic aggregation in Internet of vehicles[J]. IEEE Transactions on Vehicular Technology, 2022, 71(5): 4677−4691 doi: 10.1109/TVT.2022.3148872

    [14]

    Zhou Xiaokang, Liang Wei, She Jinhua, et al. Two-layer federated learning with heterogeneous model aggregation for 6G supported Internet of vehicles[J]. IEEE Transactions on Vehicular Technology, 2021, 70(6): 5308−5317 doi: 10.1109/TVT.2021.3077893

    [15]

    Zhou Hongliang, Zheng Yifeng, Huang Hejiao, et al. Toward robust hierarchical federated learning in Internet of vehicles[J]. IEEE Transactions on Intelligent Transportation Systems, 2023, 24(5): 5600−5614 doi: 10.1109/TITS.2023.3243003

    [16]

    Li Zhizhon, Hoiem D. Learning without forgetting[J]. IEEE Transactions on Pattern Analysis and Aachine Intelligence, 2017, 40(12): 2935−2947

    [17]

    Kirkpatrick J, Pascanu R, Rabinowitz N, et al. Overcoming catastrophic forgetting in neural networks[J]. Proceedings of the National Academy of Sciences, 2017, 114(13): 3521−3526 doi: 10.1073/pnas.1611835114

    [18]

    Rebuffi S A, Kolesnikov A, Sperl G, et al. iCaRL: Incremental classifier and representation learning[C]//Proc of the 30th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 2001−2010

    [19]

    Fredrikson M, Jha S, Ristenpart T. Model inversion attacks that exploit confidence information and basic countermeasures[C]//Proc of the 22nd ACM SIGSAC Conf on Computer and Communications Security. New York: ACM, 2015: 1322−1333

    [20]

    Shokri R, Stronati M, Song Congzheng, et al. Membership inference attacks against machine learning models[C]//Proc of the 38th IEEE Symp on Security and Privacy. Piscataway, NJ: IEEE, 2017: 3−18

    [21]

    He Zecheng, Zhang Tianwei, Lee R B. Model inversion attacks against collaborative inference[C]//Proc of the 35th Annual Computer Security Applications Conf. New York: ACM, 2019: 148−162

    [22] 周纯毅,陈大卫,王尚,等. 分布式深度学习隐私与安全攻击研究进展与挑战[J]. 计算机研究与发展,2021,58(5):927−943 doi: 10.7544/issn1000-1239.2021.20200966

    Zhou Chunyi, Chen Dawei, Wang Shang, et al. Research progress and challenges in privacy and security attacks on distributed deep learning[J]. Journal of Computer Research and Development, 2021, 58(5): 927−943 (in Chinese) doi: 10.7544/issn1000-1239.2021.20200966

    [23]

    Bonawitz K, Ivanov V, Kreuter B, et al. Practical secure aggregation for privacy-preserving machine learning[C]//Proc of the 24th ACM SIGSAC Conf on Computer and Communications Security. New York: ACM, 2017: 1175−1191

    [24]

    Fang Chen, Guo Yuanbo, Wang Na, et al. Highly efficient federated learning with strong privacy preservation in cloud computing[J]. Computers & Security, 2020, 96: 101889

    [25]

    Lu Yunlong, Huang Xiaohong, Zhang Ke, et al. Blockchain empowered asynchronous federated learning for secure data sharing in Internet of vehicles[J]. IEEE Transactions on Vehicular Technology, 2020, 69(4): 4298−4311 doi: 10.1109/TVT.2020.2973651

    [26]

    Shokri R, Shmatikov V. Privacy-preserving deep learning[C]//Proc of the 22nd ACM SIGSAC Conf on Computer and Communications Security. New York: ACM, 2015: 1310−1321

    [27]

    McMahan H B, Ramage D, Talwar K, et al. Learning differentially private recurrent language models[J]. arXiv preprint, arXiv: 1710.06963, 2017

    [28]

    Wei Kang, Li Jun, Ding Ming, et al. Federated learning with differential privacy: Algorithms and performance analysis[J]. IEEE Transactions on Information Forensics and Security, 2020, 15: 3454−3469 doi: 10.1109/TIFS.2020.2988575

    [29]

    Kairouz P, McMahan H B, Avent B, et al. Advances and open problems in federated learning[J]. Foundations and Trends® in Machine Learning, 2021, 14(1/2): 1−210

    [30]

    Dwork C, Roth A. The algorithmic foundations of differential privacy[J]. Foundations and Trends® in Theoretical Computer Science, 2014, 9(3/4): 211−407

    [31]

    Dwork C. Differential privacy: A survey of results[C]//Proc of the 5th Int Conf on Theory and Applications of Models of Computation. Berlin: Springer, 2008: 1−19

    [32]

    Abadi M, Chu A, Goodfellow I, et al. Deep learning with differential privacy[C]//Proc of the 23rd ACM SIGSAC Conf on Computer and Communications Security. New York: ACM, 2016: 308−318

    [33]

    Amin K, Kulesza A, Munoz A, et al. Bounding user contributions: A bias-variance trade-off in differential privacy[C]//Proc of the 36th Int Conf on Machine Learning. New York: ACM, 2019: 263−271

    [34]

    Andrew G, Thakkar O, McMahan B, et al. Differentially private learning with adaptive clipping[J]. Advances in Neural Information Processing Systems, 2021, 34: 17455−17466

    [35]

    Le Junqing, Zhang Di, Lei Xinyu, et al. Privacy-preserving federated learning with malicious clients and honest-but-curious servers[J]. IEEE Transactions on Information Forensics and Security, 2023, 18: 4329−4344 doi: 10.1109/TIFS.2023.3295949

    [36]

    Dwork C, Lei Jing. Differential privacy and robust statistics[C]//Proc of the 41st Annual ACM Symp on Theory of Computing. New York: ACM, 2009: 371−380

    [37]

    Gou Jianping, Yu Baosheng, Maybank S J, et al. Knowledge distillation: A survey[J]. International Journal of Computer Vision, 2021, 129(6): 1789−1819 doi: 10.1007/s11263-021-01453-z

    [38]

    Fan Liyue, Li Xiong. An adaptive approach to real-time aggregate monitoring with differential privacy[J]. IEEE Transactions on Knowledge and Data Engineering, 2014, 26(9): 2094−2106 doi: 10.1109/TKDE.2013.96

  • 期刊类型引用(4)

    1. 鲍兴川,刘世栋,张宁. 基于改进蚁群算法的算力灵活迁移优化算法. 电力信息与通信技术. 2024(03): 1-8 . 百度学术
    2. 郝聪妙,孟晓丽,王辉. 低时延网络多路通信数据无冲突调度仿真. 计算机仿真. 2024(09): 526-531 . 百度学术
    3. 潘洁,叶兰,张鹏飞,卜忠贵. 基于国密算法的算力网络安全研究. 电信科学. 2023(08): 157-166 . 百度学术
    4. 陈晓娜. 基于改进粒子群算法的无线网络节点安全传输链路调度方法. 信息与电脑(理论版). 2023(14): 106-108 . 百度学术

    其他类型引用(0)

图(11)  /  表(1)
计量
  • 文章访问数:  302
  • HTML全文浏览量:  59
  • PDF下载量:  110
  • 被引次数: 4
出版历程
  • 收稿日期:  2023-10-31
  • 修回日期:  2024-05-19
  • 网络出版日期:  2024-06-12
  • 刊出日期:  2024-08-31

目录

/

返回文章
返回