(hejh9@mail2.sysu.edu.cn)
优化(optimization)是计算机科学与数学领域十分重要的基础研究之一,同时也是机器学习的核心工具[1].相关理论与方法广泛应用于各类工业生产[2]、工程设计与管理[3-5]、交通运输[6]、经济决策[7]、市场管理[8]等关乎国计民生的重要领域.一个具体的优化问题由3个基本要素组成:1)目标函数(或损失函数),即决策者需要优化的指标,如总消耗、总收益等,数学形式表现为由优化变量到指标的函数/映射.2)优化变量,即决策者可以调整且会影响到目标函数的变量,如产品工艺、资金分配等.3)约束条件,即在决策过程中必须遵守的限制,如安全标准、资源储备总量等.优化过程就是在约束条件的限制下,寻找能最小化或最大化目标函数的优化变量的赋值.优化有时候也被称为数学规划,下文中优化与规划意义等价,具体使用的词汇将根据该细分方向的用词习惯决定.
根据优化问题的变量是否连续,优化技术可以分为离散变量优化(也称为组合优化)和连续变量优化两大类.其中,根据目标函数是否是凸的,连续变量优化又可分为凸优化和非凸优化.凸优化主要研究的是目标函数为凸函数且优化变量可行域为凸集的优化问题,由于凸集凸函数有许多优秀的性质(例如极小值即最小值),使得凸优化问题有很多高效的解法,在应用迭代方法求解时也能获得良好的收敛速度.因此,凸优化技术方面已有成体系的方法且有广泛的应用.相对而言,非凸优化还有很大的发展空间.另外,许多非凸优化问题,目前有效的办法仍然是转化为凸优化问题求解.
与此同时,自从Shor快速整数分解量子算法[9]、Grover量子搜索算法[10]以及HHL量子解线性方程算法[11]的提出,量子计算就因其与生俱来的并行性而受到广泛关注,近年来量子计算理论方面的研究进展可参考文献[12-13].因此,如何利用量子计算技术来加速优化问题的求解、提高优化效果成为受关注的问题,逐渐形成了量子优化这一研究方向.量子优化算法的研究从时间上大致分为1996—2015年和2015—2021年这2个阶段.
1)1996—2015年.此阶段的量子优化算法主要是针对离散变量优化问题而设计,且有较多的启发式算法.此阶段的量子算法主要得益于当时3类基础离散量子技术:
① Grover算法以及量子随机游走.这2个基础算法后续还有不少改进与扩展,多被用于加速搜索过程.
② 量子退火法.量子退火法无需使用纠缠态,实现较简单,因此已经有了D-Wave这样的大型专用量子计算机可供实验研究.
③ 量子近似优化技术.量子近似优化算法虽然还没有关于理论优势的严格分析,但被认为适合近期的含噪中等规模量子(noisy intermediate-scale quantum,NISQ)计算设备,因此得到不少关注.
2)2015—2021年.此阶段的量子优化算法主要针对连续变量优化问题而设计.连续变量优化问题的解法以迭代算法为主,迭代开销以及收敛速度是影响算法效率的主要因素.此阶段的量子算法主要得益于4类量子技术的发展:
① 解线性方程量子算法的设计思想.此类方法可用于加速与矩阵操作相关问题的求解.
② 哈密顿模拟技术.此类方法的发展为量子态演化提供了高效的实现方案.
③ 量子随机存储器.借助量子随机存储技术对数据进行预处理,可以使算法的效率得到提升,不过量子随机存储的搭建仍然需要进一步的优化来保证整体的优势.
④ 量子梯度估计法.计算梯度是许多优化问题的核心步骤,量子梯度估计法的提出为此提供了便利.
连续变量量子优化算法是近年的研究趋势,研究内容涵盖了优化领域中梯度下降、牛顿法、内点法等常用的传统迭代方法,也有针对具体优化问题的持续研究,因此本文将重点介绍连续变量量子优化算法,该方向的研究目前主要集中在量子凸优化方面.
本节介绍在量子优化算法中使用频率较高的基本量子算法/技术.关于量子计算的基本知识以及更全面的介绍可参考文献[14-16].本节主要介绍一些相对底层的核心算法/技术,它们最初设计时并不是为了优化算法,可广泛应用于不同的领域,其中当然也包括优化领域.
Grover算法与量子随机游走已经被应用在许多领域,其中就有离散优化领域.Grover算法于1996年被提出[10],用于无序数据库搜索,其方法是通过迭代利用一个可识别搜索目标的黑盒来提高搜索目标在量子叠加态中的振幅,从而提高测量获得搜索目标的概率.后续有多个相关的改进结果,如由清华大学的Long提出的Grover算法的精确版本[17].原始的Grover算法需要确切知道搜索空间中目标的数量才能确定最优的迭代次数,过少的迭代次数达不到效果,过多的迭代也会降低搜索的成功率,迭代次数增多并不能保证一直趋向搜索目标.该问题在文献[18]中被称为“soufflé problem”.因此,对于搜索空间中目标数量未知的情形,算法需要改进,Grover和Mizel先后对此作过讨论,并给出了随着迭代次数增加能一直增加搜索成功率的改进版本[19-21],但这几项工作都一定程度上牺牲了算法效率.最终Yoder等人给出了进一步改进[22],既保留了平方加速,也保证了迭代最终会一直趋向搜索目标.此系列改进工作被称为固定点量子搜索(fixed-point quantum search).若搜索前对答案有一定的先验知识,He等人给出了相应最优算法[23].
量子随机游走于1993年由新墨西哥大学的Aharonov等3名学者提出[24].不同时期量子随机游走的工作梳理可参见文献[25-28].Grover算法可以看作是在一种特殊图上的量子随机游走,因此量子随机游走是一种更一般化的量子搜索技术,已经成为一类重要的量子算法设计模型.
作为量子算法里提供加速的最为核心的2个基本工具,量子傅里叶变换最早可追溯到1994年[29],而量子相位估计算法最早可追溯到1995年[30].利用量子解线性方程思想以及量子梯度估计法的量子优化算法都直接或间接地使用了量子傅里叶变换或量子相位估计算法.读者可以在任一量子计算教材中找到这2个基本工具的详细介绍[14-16].
2002年,Brassard等4名学者提出了量子振幅放大以及量子振幅估计算法[31].前者通过一系列的反射操作,达到放大所需结果概率的目的;而后者则是在前者的基础上结合量子相位估计算法,从而估计所需结果的概率.在量子优化算法中,不完美的演化产生的垃圾信息,以及算法本身产生的无用信息一般都通过振幅放大过滤掉.该工作与Grover算法[10]以及量子计数[32]有密切联系.Ambainis于2012年提出了量子振幅放大算法的时变版本[33],并用于求解线性代数问题.量子振幅估计算法近期还有针对非布尔函数的推广[34]以及无需使用量子相位估计算法的变种[35].
解线性方程量子算法最早在2009年由Harrow,Hassidim,Lloyd三名学者提出[11],所以也被称为HHL算法.解线性方程即给定矩阵A与向量b,求满足Ax=b的x.此类算法也可以用来处理矩阵与向量乘积、矩阵求逆等操作,因此也常见于量子优化技术的迭代算法中.需要注意的是,解线性方程量子算法求解的是量子版本的问题,即输入输出均为量子态,无法直接得到解的每一个分量,因此在进一步应用时需要经过巧妙设计,一般在利用方程解的全局信息时才能体现量子算法的加速效果.Ambainis于次年提出了改进版本,减少了算法复杂度对矩阵条件数的依赖[36].2017年,Childs等3名学者用其他思路给出了解线性方程量子算法[37],减少了计算复杂度中对精度的依赖.2018年,Wossnig等3名学者利用量子奇异值估计算法,去除了计算复杂度中对矩阵稀疏度的依赖[38].关于此系列工作的梳理可以参见文献[39].
要在经典问题上使用量子算法,经典数据编码成量子态是必不可少的重要步骤,量子随机存取存储(简称QRAM)则是这一过程的主要辅助技术.同为实现数据的存储和提取,QRAM与经典的随机存储器最大的区别是:QRAM可以被量子叠加态地址访问,返回与地址相纠缠的叠加态数据,这为量子优化算法以及量子机器学习的初态制备提供了有力工具.在量子优化中使用得较多的为2008年Lloyd等3名学者提出的Bucket-Brigade结构的QRAM[40-41],利用此结构在对数时间复杂度内可实现初态制备.值得注意的是搭建QRAM的时间复杂性仍然较高,整体上会抵消掉量子算法带来的加速,QRAM搭建技术仍然需要进一步优化.2018年,Chakraborty等3名学者提出了块编码技术,并证明与Bucket-Brigade结构在矩阵编码上等价[42].
哈密顿量是与量子系统总能量有关的运算符,根据薛定谔方程可知,它可用于描述量子系统随时间的演化,通过操作哈密顿量可以实现量子态的演化.在部分量子优化算法中(特别是用到解线性方程量子算法思想的算法),矩阵被编码成哈密顿量的形式,进而作用到量子态上.哈密顿量模拟就是寻找能高效逼近目标哈密顿演化的酉演化,从而在有效时间内完成演化(亦即实现了量子算法的过程).关于哈密顿量模拟的正式结果最早可追溯到1996年Lloyd发表在《Science》上的文章[43],并随后被推广到稀疏哈密顿量的模拟上[44-45],且效率得到逐步提升[46-49].以上的工作针对的都是时间无关哈密顿量,而其后还有针对时间相关哈密顿量的推广工作[50-51].除研究时间复杂度与查询复杂度外,近年也出现了研究哈密顿量模拟采样复杂度的工作[52].
本节简要介绍离散变量量子优化技术.主要离散变量量子优化技术的提出时间距今较长,因此本节只简单介绍各技术的历史以及给出重要工作的引文供读者进一步了解.
经典离散优化的算法往往离不开搜索,而Grover算法与量子随机游走则正是加速搜索的量子算法,因此十分适合用于加速离散优化问题的求解.用Grover算法解决的离散优化问题有:无序数据最小值寻找[53]、最小生成树与最短路问题[54]、最大整数网络流查找[55]等.作为Grover算法推广的振幅放大算法也有相应的离散优化应用[56].量子随机游走则被用于加速基于Markov链的技术[57]等.近年也有用连续时间量子随机游走解决组合优化问题的工作[58].
量子退火法于1989年由比勒费尔德大学的Carvalho等3位学者提出[59],也称为量子随机优化.如遗传算法、蚁群算法与模拟退火等仿生算法都是非常实用的启发式优化技术,其中模拟退火法是出现得较早的经典技术,研究较深入.1)量子退火法中使用隧道场强度作为经典模拟退火法的温度参数.由于量子隧穿效应的存在,使得量子退火法更容易跳出局部最优解,获得全局最优解,从而体现出超越经典模拟退火的优势.2)量子退火不需要运用量子纠缠,因此易于实现,D-Wave公司生产的专用量子计算机即可运行量子退火算法.关于量子退火的早期工作可参阅文献[60-61],关于D-Wave计算机与量子退火的综合介绍可参阅文献[62].
一般我们说的量子近似优化算法,都习惯特指本节所述的求解组合优化问题的量子近似优化算法,关于该算法的入门介绍可参照文献[63-64].
量子近似优化算法(简称QAOA)于2014年由麻省理工学院的Farhi等3位学者提出[65],最初的设计是用于求解组合优化问题.该工作的量子电路深度依赖于一个与精度有关的参数,最坏情况下电路深度随着该参数与约束条件数量的乘积呈线性增长.该工作给出了使用QAOA解决p-正则图最大割(Max-Cut)问题的例子(p≤3),而传统做法是把最大割问题转化为圆锥线性优化问题(conic linear optimization problem)解决.相较于经典算法,初期的QAOA并没有显示出明显的优势,直到2016年麻省理工学院的Harrow等2名学者指出QAOA是实现量子霸权(quantum supremacy)的方法之一[66],热度才有所上升,近年也有理论分析的尝试[67].另一方面,QAOA算法实现时对相干时长要求低,或许是现有的小规模量子计算机理想的实验内容之一,因此受到了量子计算实验研究者的关注,陆续有实验文章出现[68].另外,近年也出现了用QAOA算法解决连续优化问题的研究,见3.5节.
本节将详细介绍连续变量量子优化技术.连续变量量子优化技术是近5年的研究热点,因此本节将详细给出各工作所针对的具体问题、算法复杂度,以及所采用技术的直观描述.对于与经典模型有关的量子算法,本文还会给出该经典模型的框架介绍以便读者理解.问题和模型都将列在方框内.
在许多优化方法中,特别是迭代方法的梯度下降法与牛顿法,都需要目标函数的梯度信息,因此梯度估计是这类方法的核心技术之一.量子梯度估计法于2005年由麻省理工学院的Jordan提出[69].
梯度估计问题(查询模型):
给定:函数f:Rd→R的查询黑盒Of(查询返回询问点的函数值),点x=(x1,x2,…,xd)∈
d.
求:函数f的梯度
f(x),其中
![]()
![]()
该工作研究的是查询模型,在给定目标函数黑盒的情况下,量子梯度估计算法只需要调用O(1)次查询黑盒,即可近似计算出目标函数在某点的梯度,与优化变量的维度无关.当目标函数估值较困难、优化变量维度较大时,量子梯度估计法有一定的优势.美中不足的是,该算法无法通过递归求解目标函数的高阶导数,求n阶导数需要额外的2n次查询来计算所需要的相位信息,因而失去了量子优势.此工作主要使用了量子相位估计技术.2019年,来自荷兰国家数学与计算机中心与微软研究院的研究人员合作改进了量子梯度估计法[70],并指出原有的量子梯度估计法采取的黑盒输入模型过强,实际上难以达到所需精度,因此改而研究相位黑盒输入模型与概率输入模型,并给出了这2种输入模型的转化关系.在该输入模型下,改进算法估计平滑函数的梯度时在查询复杂度上有二次(quadratic)加速,并且证明了量子优化产生的大多数目标函数会满足必要的平滑条件.
迭代方法在无闭式解的优化问题中有非常广泛的应用,梯度下降法就是其中一种迭代方法.梯度下降法从初始的、未经优化的解开始,每轮根据与目标函数的梯度有关的更新规则迭代更新解.由于梯度方向是函数增长速度最快的方向,梯度的反方向是函数下降速度最快的方向,因此参照梯度信息进行迭代,能更快地获得满足要求的近似最优解.
由于量子计算的特性,运用迭代方法时一旦其中一步失败,输入就损毁了,一切就要重头再来,这使得若要达到迭代τ次的效果,往往需要远多于τ次实现迭代操作的量子演化.
梯度下降法:
猜测初始解θ0;
根据迭代规则θt+1=θt-α
f(θt)迭代更新解,直到收敛或出现满意的解,其中α为步长,
f(θt)为目标函数在点θt处的梯度.
针对单位范数(unit norm)约束多项式优化(polynomial optimization)的量子梯度下降法于2019年由MIT的Lloyd等学者提出[71].该方法对数据维度较大的情况有优势,且把量子计算技术推进到了非二次优化甚至非凸优化问题上.
多项式优化(带单位范数约束)问题:
给定:N2p个系数Ai1…i2p∈
,其中p为正整数.
求:![]()
该工作为了解决每一步由于不完美设备带来的潜在演化失败,算法从一开始就需要准备多个副本一起迭代计算,过程中舍弃掉演化失败的副本,这导致了一个明显的不足:算法的运行消耗随迭代次数的增加呈指数增长,迭代T*次共需要
组初始态的拷贝,以及相应的
个量子门,其中sA为A的稀疏度,ΛA为A的范数上界,δ为最终误差.因此,该算法需要很好地对初始解的猜测以减少所需迭代次数.该工作的主要技术遵循经典的投影梯度下降法的思路,采用可查询矩阵指定位置元素的黑盒模型,使用哈密顿模拟技术实现梯度算子的量子化.
针对线性系统与最小二乘问题的量子梯度下降法于2020年由巴黎第七大学的2名学者Kerenidis与Prakash提出[72].该文主要研究的是目标函数的梯度为仿射函数的无约束优化问题,即梯度具有如下形式:
f(x)=L(x)+b,其中L(x)是关于x的线性函数.二次优化(quadratic optimization)则是一个典型的符合此条件的优化问题.
二次优化问题:
给定:A∈
n×n,b∈
n,c∈
.
求:![]()
通过设计,对该类问题实现迭代τ次的梯度下降法仅需要O(τ C*)的时间,其中C*是用量子计算实现一次迭代的消耗,这在量子迭代方法中是一个进步.而该工作的缺点是目前尚局限于目标函数的梯度为仿射函数的无约束优化问题,且依赖于QRAM的预处理.此方法可以具体运用在带权最小二乘问题上,能在期望时间
内求得与最优值误差不超过2δ的近似解,其中κ为条件数函数,函数μ与自变量矩阵的范数有关.
带权最小二乘问题:
给定:样例矩阵X、对应的标签向量y以及权重向量w.
求:θ,使得
最小,其中wi为w的第i个分量,yi为y的第i个分量,xi是X的第i个列向量.
此工作运用的技术为量子奇异值估计算法(包含了量子振幅放大、量子振幅估计以及量子相位估计算法).该工作在原有QRAM的算法设计模型上作了一些改进,使得量子奇异值估计算法的时间复杂度由原来的与待分解矩阵的F范数有关,改进为与最大行范数与F范数两者之间的较小者有关.由于有不少现实问题待分解的矩阵的行范数都是有界的(bounded l1norm),这一改进是有应用价值的,而且该改进也可以运用在量子解线性方程上.
在线凸优化是在线学习中的一个重要的框架,是凸优化与博弈论的交叉领域,在决策问题中有非常广泛的应用,如在线路由问题、投资组合问题以及推荐系统等,都可以用在线凸优化的框架建模,并用相关技术解决.
在线凸优化模型:
给定凸集K⊆
n,凸函数族F:
n→
.
决策者依序进行T*轮决策,在第t∈{1,2,…,T*}轮时:
1)在凸集K中做出决策xt;
2)遭受损失ft(xt),其中ft∈F由对手选取或者由环境生成;
3)使用策略(算法)
预测下一轮的决策xt+1.
决策者(策略
的目标是让累积损失尽可能小.
在线凸优化的框架可以描述为一系列的决策过程,一个算法依序地进行预测,并在每次预测后受到一个损失,而该算法的目的是使得持续决策过程的累积损失尽可能小.衡量在线凸优化算法的好坏有2方面标准:1)每次决策所需的计算资源消耗,用时间复杂度或查询复杂度作为指标;2)所有决策损失收敛到全局最优固定决策的速度,用博弈论中的遗憾函数(regret)作为指标.最近,本文作者及合作者针对一般在线凸优化问题,在只有零阶估值黑盒的情况提出量子在线梯度下降算法[73],每轮决策仅需查询O(1)次黑盒就能达到
的遗憾,而目前最好的零阶经典算法每轮查询O(1)次黑盒仅能达到
的遗憾,这显示出了潜在的量子优势.并且该量子算法查询O(1)次零阶黑盒就已经达到了使用经典一阶黑盒算法的遗憾下界,因此可以得出量子的零阶(估值)黑盒与经典的一阶(梯度)黑盒一样强大.该算法运用的主要技术是量子梯度估计法.
牛顿法是一种处理无约束优化问题的迭代方法,相比每次迭代沿着梯度方向移动的梯度下降法,牛顿法把曲率也考虑在内,因此往往能加快收敛速度.梯度下降法与牛顿法之间是迭代复杂度与迭代次数之间的相互转化,每次迭代考虑更多信息的牛顿法自然单次迭代计算复杂度会更高,但由于收敛更快,因此迭代次数相应下降.2种方法不能简单说孰优孰劣,各有不同的适应场景.
牛顿法:
猜测解θ0;
根据迭代规则θt+1=θt-αH-1
f(θt)迭代更新解,直到收敛或出现满意的解,其中α为步长,H为目标函数在点θt的黑塞矩阵,
f(θt)为目标函数在点θt处的梯度.
针对单位范数(unit norm)约束多项式优化(polynomial optimization),在量子梯度下降法一节提到的文献同时也给出了量子牛顿法[71],使用了量子态指数化(quantum state exponentiation)技术把目标函数的梯度和黑塞矩阵编码成算子.但同样地,其算法的运行消耗随迭代次数的增加呈指数增长,迭代T*次仍然需要
组初始态的拷贝以及
个量子门,其中sA为A的稀疏度,ΛA为A的范数上界,δ为最终误差.不过由于牛顿法一般能达到指数收敛速度,所需迭代次数一般要比梯度下降法少得多,因此该文的算法思想在量子牛顿法上有更好的效果.
针对连续优化问题的量子近似优化算法于2019年由滑铁卢大学的Killoran等学者提出[74].该工作参考了离散版本QAOA的思路,并用量子粒子势能动力学(quantum dynamics of particles in energy potentials)的技术编码目标函数.该算法适用于有约束与无约束优化,稍加修改也可以解决离散优化问题.文章作者给出了使用此算法最小化非凸Styblinski-Tang函数的数值模拟实验.
同样地,该工作相对现存经典技术的优势仍待进一步论证,且此版本的实现难度要比离散版本高,超出了目前量子计算机可实验的范围.
内点法是处理有约束优化问题的迭代方法之一,常用于线性规划与二次规划,实际应用面与著名的单纯形法分庭抗礼,而且相较于非多项式算法的单纯形法,内点法是多项式算法,因此在大规模的线性规划问题中有更大的用武之地.
内点法:
松弛变量,把待优化问题的不等式约束条件转化为线性不等式约束;
目标函数中引入不等式约束条件的屏障函数(barrier function),构造中央路径(central path)函数;
用牛顿法沿着中央路径寻找最优解.
量子内点法于2018年由巴黎第七大学的2名学者Kerenidis与Prakash提出[75],并用之设计针对半正定规划与线性规划的量子算法,最坏情况运行时间分别为
与
其中n是优化变量维度,κ是中间矩阵的条件数上界,ξ为优化结果误差,ε为约束条件误差.2个问题的量子内点法相比于目前已知最好的经典算法都有多项式加速.
在内点法中,计算牛顿线性系统矩阵(Newton linear system matrix)是非常花时间的,而该文提出了构造牛顿线性系统矩阵块编码的量子技术,加速了这一过程,主要运用的是量子态层析技术.该文作者同时证明了算法的收敛速度与经典方法一致,因此量子内点法所需的迭代次数与经典算法一致.综合每次迭代的加速而言,量子内点法是一个理论突破.
2019年,文献[75]的2名学者与Szilágyi合作先后发表3篇文章,分别把量子内点法扩展到解决二阶锥规划[76],以及应用到投资组合问题[77]与支持向量机[78]上.
二阶锥规划问题:给定:A(i)∈RRm×ni,ci∈RRni,i∈[r],b∈RRm.求:minx1,…,xr{∑ri=1cTixi∑ri=1A(i)xi=b,xi∈Lni},其中Lni=x=x0;x~ ∈RRni x~≤x0}为洛伦兹锥(Lorentz cones),∀i=[r]. 投资组合问题:投资者需要对m只投资产品的资金分配做T轮决策,每轮结算后根据之前的投资决策进行下一轮的分配计划,最终目的是使得总收益最大化.
半正定规划是凸优化问题的一个分支,针对的是目标函数为线性函数、优化变量约束在光谱面上(半正定矩阵构成的锥体与仿射空间的交集)的优化问题,存在多项式时间的经典算法.由于半正定规划在现实中应用面广,输入规模大,因此多项式时间仍然不能满足发展需要.2017—2019年,量子半正定规划法经过了多次迭代,并得到了快速发展.
半正定规划问题(原始形式):给定:A1,A2,…,Am,C∈RRn×n,b1,b2,…,bm∈RR.求:max{tr(CX)|∀j∈[m],tr(AjX)≤bj,X≥0}. 半正定规划问题(对偶形式):给定:A1,A2,…,Am,C∈RRn×n,b∈RRm.求:miny∈RRm{bTx|∑k∈[m]ykAk≥C}.
量子半正定规划方法于2017年由加州理工学院的Brandão与微软研究院的Svore提出[79],该算法比经典算法有着关于矩阵维度的平方级加速,且当矩阵越稀疏,优势越明显.量子吉布斯采样(quantum Gibbs sampling)与乘权法(the multiplicative weight method)是实现该算法的关键技术.
文献[79]的作者还与马里兰大学的研究人员合作,针对设备带误差的情况进一步优化了量子半正定规划算法[80],使得上界进一步逼近下界.与文献[79]不同的是,该算法使用的是量子态输入模型直接获得纯化的混合态,且采取的是零和游戏框架.该文核心技术是用快速放大算法(fast amplification algorithm)改进了量子OR引理,提高了算法速度.
van Apeldoorn等4名学者提出了对文献[79]的改进[81],降低了精度对算法上界的影响,并给出了所有线性规划算法的量子查询下界(因此包括了所有的半正定规划算法),该工作还把他们的改进版本应用在了实现给定哈密顿量平滑函数与函数广义最小值查找算法上.
2018年,van Apeldoorn等2名学者综合以上的几项工作的优点以及Gentle Quantum Search引理,提出了量子半正定规划的改进版本[82].该工作给出了更优的上下界,分别论证了在量子态输入、稀疏矩阵输入以及量子算子输入这3种不同输入模型下的算法效率,并应用到阴影层析问题、量子态区分问题以及E-最优设计上.
这4项工作的复杂度上下界详见表1.
Table 1 Main Results of Quantum Semi-Definite Programming
表1 主要量子半正定规划结果
参考文献上界下界[79]O(n0.5m0.5s2poly(log(n),log(m),R,1∕δ))Ω(n0.5+m0.5)[80]O((n0.5+m0.5)s2poly(log(n),log(m),R,1∕δ))[81] O(n0.5m0.5s2(Rr∕ε)8)Ω((max{n,m})0.5(min{n,m})1.5)[82] O((n0.5+m0.5γ)sγ4), O((n0.5+B2.5γ3.5)sγ4) Ω(m0.5B∕δ), Ω(m0.5a∕δ)
注:n为矩阵维度;m为约束条件数目;s为输入矩阵稀疏度;R为最优解的上界;δ,γ为与解的精度有关的参数;a,B为不同模型下的正则化因子.
需要注意的是,精度等参数对于量子半正定规划计算复杂度的影响仍然较大,因此要在实际问题上超越经典算法依然需要进一步的研究.
线性规划是半正定规划的一个特殊形式,从实用的角度比更一般的半正定规划应用更为广泛.除了3.6节提到的可用于解线性规划问题的内点法外,还有2项针对线性规划问题的量子工作.
线性规划问题(原始形式):给定:A∈RRn×m,b∈RRn,c∈RRm.求:minx∈RRm{cTx|Ax≥b,x≥0}. 线性规划问题(对偶形式):给定:A∈RRn×m,b∈RRn,c∈RRm.求:maxy∈RRn{bTy|ATy≤c,y≥0}.
2019年,van Apeldoorn等人把量子半正定规划算法的技术发展应用到矩阵零和游戏上,并且证明了一般线性规划问题可规约到矩阵零和游戏,从而间接地给出了量子线性规划算法[83].该算法对稠密矩阵查询模型(可查询任意矩阵元素)的复杂度是
对稀疏矩阵查询模型(查询返回第任意个非零元素的位置)的复杂度是
其中n,m是矩阵的行数与列数,s*是矩阵的稀疏度上界,γ是精度参数.
同年,马里兰大学的Li等人提出了训练线性分类器的量子算法[84].该算法同样可以应用在矩阵零和游戏上,因此也间接地给出了量子线性规划算法,且其查询复杂度与文献[83]对稠密矩阵查询模型的复杂度一致.此工作同时证明了该问题的量子查询下界为
从而证明了根号级别的算法已经是最优的算法.
针对一般的无约束凸优化问题,马里兰大学的Childs团队[85]与荷兰国家数学与计算机中心de Wolf团队[86]于2020年分别独立地提出了相应的量子算法.
一般凸优化问题(查询模型):
给定:凸集K⊆
n的成员黑盒OK(查询返回询问点是否在集合内),凸函数f:K→
的估值黑盒Of(查询返回询问点的函数值).
求:满足
的解
其中ε为精度.
文献[85-86]的2项工作结论一致,研究的均为黑盒查询模型,思路大致类似.在给定成员黑盒(用于查询优化变量给定取值是否在可行域中)与估值黑盒(用于计算目标函数在给定点的值)情况下,2项工作的结果由表2说明.我们可以从表中看到,在时间复杂度相同的情况下,量子算法的查询上界达到了经典算法的下界,这意味着该量子算法在理论上达到了经典算法潜在的最好情况.另外,量子算法上下界仍然未紧,这意味着量子算法仍然有提升空间.由于2项工作结论一致,以下主要介绍文献[85]的技术.
Table 2 Comparison of Quantum and Classical General Convex Optimization Algorithms
表2 量子与经典一般凸优化算法的对比
复杂度类型经典界量子界成员黑盒查询复杂度 O(n2),Ω(n) O(n),Ω(n)估值黑盒查询复杂度 O(n2),Ω(n) O(n),Ω(n)时间复杂度 O(n3) O(n3)
注:n为优化变量的维度.
针对一般凸优化问题的量子算法使用的主要是量子梯度估计技术,从估值黑盒出发通过量子梯度估计求得分离超平面,经由分离超平面再得出最小化线性函数的方法,最后得出一般凸优化问题的算法,这过程中综合运用工程中常见的误差缩小技术与函数缓和技术处理边界不光滑等会影响算法性能与误差的问题.
近期,Garg等人[87]认为对于一般凸优化问题,在同时拥有零阶(估值)和一阶黑盒(查询返回梯度或次梯度)的情况下,当目标函数是非平滑函数时,量子算法并不能做得比经典梯度下降更好.不过该文的正确性还有待验证.另外,最近Zhang等人[88]针对一般非凸优化问题给出了一个量子算法,查询
次量子零阶黑盒即可求得目标函数的ε近似最优解,其中n是优化变量的维度.而目前最好的经典工作达到同样的效果需要查询
次或
经典一阶黑盒.如果正确性能得到验证,此工作将再次显示出量子计算的加速优势.
优化问题在生产生活中无处不在,经典计算领域把优化作为一个正式的学科分支进行研究已经有一百多年的历史,而最优化方法的起源甚至可以追溯到三四百年前费马、拉格朗日、牛顿以及高斯的微积分时代.随后经历了高度依赖一阶、高阶导数的分析算法阶段、用准确度交换速度的启发式算法阶段,以及高度依赖数据的代理模型阶段.如今在工程实践中,各类方法高度融合,产生着巨大的经济社会效益.
但纵使已经研究了数百年,在优化领域还一直有许多难题尚未得到有效的解决,有如大部分的非凸优化问题、组合优化里的NP问题,以及许多规模极大的P问题,都还处于探索阶段.而量子计算的兴起为这些难题带来了新的希望和探索方向.量子算法已经在不少问题上相对于经典算法带来了加速优势,但由于中等规模量子计算机目前依然昂贵,大型的通用量子计算机难见踪迹,因此量子优化算法的设计目前依然处于理论分析难、实验成本高的阶段,学术界与工业界都迫切盼望量子计算能在基础理论与软硬件技术上有进一步的突破.
本文通过对量子优化算法研究方面的梳理观察得出4方面:
1)从时间上看,连续变量的量子优化算法是近年的趋势,也将会是未来短期内的研究热点.这并非说组合优化不重要,而是组合优化问题有很大一部分是NP问题,要找到高效的量子算法具有挑战性.已有的针对组合优化问题的量子算法要么是采用Grover算法,在某个子过程达到根号级别加速,要么就是采用无法在理论上分析复杂度的启发式算法,而目前的量子计算机规模还不足以验证启发式量子算法的应用价值.连续变量优化问题似乎更有希望获得更多的量子加速,而且其应用面也因人工智能的发展而日益广泛.
2)量子优化使用的基本量子技术的核心思想大多都是1995—2008年提出的,HHL算法以及Jordan量子梯度估计法均为1995年相位估计算法框架的延展,幅值放大技术为1996年Grover算法的延展,而哈密顿量模拟算法以及量子随机存储技术也已有10~20年的历史.若需要寻找新的方向,还需要在最为底层的算法上有突破.
3)除启发式算法外,主要的量子优化算法相对于经典算法都在理论上体现了一定的加速,既有体现在时间复杂度的加速,也有体现在查询复杂度上的加速.一般来说,问题的计算复杂度下界往往很难证明,但查询复杂度的下界证明有如对手法[89]等较成体系的方法.纵观现有工作,在一般凸优化问题的查询模型上[85-86]寻找量子优势是很有希望的,因为其量子上界已经达到经典下界,且量子上下界还未紧,还有改进空间.
4)目前获得量子加速的优化问题十分有限,优化领域依然存在许多值得量子计算科学家探索的问题,如优化领域的难题:非凸优化.对凸优化研究的深入是经典优化领域的一个分水岭[90],因为凸函数具有极小值即最小值等良好特性,使得凸优化问题大多都有可行、高效的算法,因此凸优化问题与能转化成凸优化问题的优化问题被认为是较易解决的.相对地,解决非凸优化则比较困难.现在的量子优化算法中,针对的线性规划、二次规划、半正定规划问题都是常见的特殊凸优化问题,都属于经典优化领域认为较易解决的部分,针对非凸优化的量子算法还很少.再者还有更多贴近实际应用的优化问题,如引入更多约束条件的约束优化、目标函数不单一的多目标规划、带有不确定性的不确定规划、问题随时间而变的动态规划、部分变量要求为整数的混合整数规划等.经典优化对于这些优化问题均有系统的研究,而量子计算目前依然缺席,均可进行探索.
[1]Sra S,Nowozin S,Wright S J.Optimization for Machine Learning[M].Cambridge,MA:MIT Press,2012
[2]Missbauer H,Uzsoy R.Optimization Models of Production Planning Problems[M].New York:Springer,2011,437-507
[3]Rao S S.Engineering Optimization:Theory and Practice[M].Hoboken,NJ:John Wiley &Sons,2019
[4]Belegundu A D,Chandrupatla T R.Optimization Concepts and Applications in Engineering[M].Cambridge,UK:Cambridge University Press,2019
[5]Deb K.Optimization for Engineering Design:Algorithms and Examples[M].Delhi,India:PHI Learning Pvt.Ltd,2012
[6]Agust
n A,Alonso-Ayuso A,Escudero L F,et al.Mathematical optimization models for air traffic flow management:A review[J].Studia Informatica Universalis,2010,8(2):141-184
[7]Intriligator M D.Mathematical Optimization and Economic Theory[M].Philadelphia,PA:SIAM,2002
[8]Vardakas J S,Zorba N,Verikoukis C V.A survey on demand response programs in smart grids:Pricing methods and optimization algorithms[J].IEEE Communications Surveys &Tutorials,2014,17(1):152-178
[9]Shor P W.Polynomial-time algorithms for prime factorization and discrete logarithms on a quantum computer[J].SIAM Review,1999,41(2):303-332
[10]Grover L K.A fast quantum mechanical algorithm for database search[C] //Proc of the 28th Annual ACM Symp on Theory of Computing.New York:ACM,1996:212-219
[11]Harrow A W,Hassidim A,Lloyd S.Quantum algorithm for linear systems of equations[J].Physical Review Letters,2009,103(15):150502
[12]Li Lüzhou,Gao Fei,Yao Penghui,et al.Overview of research progress on quantum algorithms and complexity[R].Beijing:China Machine Press,2020:1-59 (in Chinese)(李绿周,高飞,姚鹏晖,等.量子算法与复杂性研究进展概述[R].北京:机械工业出版社,2020:1-59)
[13]Sun Xiaoming.A survey of some frontier issues in quantum computing[J].SCIENTIA SINICA Informationis,2016,46(8):982-1002 (in Chinese)(孙晓明.量子计算若干前沿问题综述[J].中国科学:信息科学,2016,46(8):982-1002)
[14]Nielsen M A,Chuang I.Quantum Computation and Quantum Information[M].Cambridge,UK:Cambridge University Press,2002
[15]Rieffel E G,Polak W H.Quantum Computing:A Gentle Introduction[M].Cambridge,MA:MIT Press,2011
[16]Steeb W H,Hardy Y.Problems and Solutions in Quantum Computing and Quantum Information[M].Singapore:World Scientific Publishing Company,2018
[17]Long G L.Grover algorithm with zero theoretical failure rate[J].Physical Review A,2001,64(2):022307
[18]Brassard G.Searching a quantum phonebook[J].Science,1997,275(5300):627-628
[19]Grover L K.Fixed-point quantum search[J].Physical Review Letters,2005,95(15):150501
[20]Grover L K,Patel A,Tulsi T.Quantum algorithms with fixed points:The case of database search[J].arXiv preprint,quant-ph/0603132,2006
[21]Mizel A.Critically damped quantum search[J].Physical Review Letters,2009,102(15):150501
[22]Yoder T J,Low G H,Chuang I L.Fixed-point quantum search with an optimal number of queries[J].Physical Review Letters,2014,113(21):210501
[23]He Xiaoyu,Zhang Jialin,Sun Xiaomin.Quantum search with prior knowledge[J].arXiv preprint,arXiv:2009.08721,2020
[24]Aharonov Y,Davidovich L,Zagury N.Quantum random walks[J].Physical Review A,1993,48(2):1687
[25]Childs A M,Cleve R,Deotto E,et al.Exponential algorithmic speedup by a quantum walk[C] //Proc of the 35th Annual ACM Symp on Theory of Computing.New York:ACM,2003:59-68
[26]Ambainis A.Quantum walks and their algorithmic applications[J].International Journal of Quantum Information,2003,1(4):507-518
[27]Venegas-Andraca S E.Quantum walks:A comprehensive review[J].Quantum Information Processing.2012,11(5):1015-1106
[28]Zhou Wenda.Review on quantum walk algorithm[J].Journal of Physics:Conference Series,2021,1748(3):032022
[29]Coppersmith D.An approximate Fourier transform useful in quantum factoring[J].arXiv preprint,quant-ph/0201067,1994
[30]Kitaev A Y.Quantum measurements and the Abelian stabilizer problem[J].arXiv preprint,quant-ph/9511026,1995
[31]Brassard G,Hoyer P,Mosca M,et al.Quantum amplitude amplification and estimation[J].Contemporary Mathematics,2002,305:53-74
[32]Brassard G,Høyer P,Tapp A.Quantum counting[C] //Proc of Int Colloquium on Automata,Languages,and Programming.Berlin:Springer,1998:820-831
[33]Ambainis A.Variable time amplitude amplification and quantum algorithms for linear Algebra problems[C] //Proc of the 29th Symp on Theoretical Aspects of Computer Science.Berlin:Springer,2012,14:636-647
[34]Shyamsundar P.Non-Boolean quantum amplitude amplification and quantum mean estimation[J].arXiv preprint,arXiv:2102.04975,2021
[35]Suzuki Y,Uno S,Raymond R,et al.Amplitude estimation without phase estimation[J].Quantum Information Processing,2020,19(2):1-17
[36]Ambainis A.Variable time amplitude amplification and a faster quantum algorithm for solving systems of linear equations[J].arXiv preprint,arXiv:1010.4458,2010
[37]Childs A M,Kothari R,Somma R D.Quantum algorithm for systems of linear equations with exponentially improved dependence on precision[J].SIAM Journal on Computing,2017,46(6):1920-1950
[38]Wossnig L,Zhao Zhikuan,Prakash A.Quantum linear system algorithm for dense matrices[J].Physical Review Letters,2018,120(5):050502
[39]Dervovic D,Herbster M,Mountney P,et al.Quantum linear systems algorithms:A primer[J].arXiv,preprint,arXiv:1802.08227,2018
[40]Giovannetti V,Lloyd S,Maccone L.Quantum random access memory[J].Physical Review Letters,2008,100(16):160501
[41]Giovannetti V,Lloyd S,Maccone L.Architectures for a quantum random access memory[J].Physical Review A,2008,78(5):052310
[42]Chakraborty S,Gilyén A,Jeffery S.The power of block-encoded matrix powers:Improved regression techniques via faster Hamiltonian simulation[C] //Proc of the 46th Int Colloquium on Automata,Languages,and Programming.Berlin:Springer,2019,132:No.33
[43]Lloyd S.Universal quantum simulators[J].Science,1996,273(5278):1073-1078
[44]ChildsA M,Cleve R,Deotto E,et al.Exponential algorithmic speedup by a quantum walk[C] //Proc of the 35th Annual ACM Symp on Theory of Computing.New York:ACM,2003:59-68
[45]Aharonov D,Ta-Shma A.Adiabatic quantum state generation and statistical zero knowledge[C] //Proc of the 35th Annual ACM Symp on Theory of Computing.New York:ACM,2003:20-29
[46]Childs A M.Quantum information processing in continuous time[D].Cambridge,MA:MIT Press,2004
[47]Berry D W,Ahokas G,Cleve R,et al.Efficient quantum algorithms for simulating sparse Hamiltonians[J].Communications in Mathematical Physics,2007,270(2):359-371
[48]Papageorgiou A,Zhang Chi.On the efficiency of quantum algorithms for Hamiltonian simulation[J].Quantum Information Processing,2012,11(2):541-561
[49]Childs A M,Kothari R.Simulating sparse Hamiltonians with star decompositions[C] //Proc of Conf on Quantum Computation,Communication,and Cryptography.Berlin:Springer,2010:94-103
[50]Wiebe N,Berry D W,Høyer P,et al.Simulating quantum dynamics on a quantum computer[J].Journal of Physics A:Mathematical and Theoretical,2011,44(44):445308
[51]Poulin D,Qarry A,Somma R,et al.Quantum simulation of time-dependent Hamiltonians and the convenient illusion of Hilbert space[J].Physical Review Letters,2011,106(17):170501
[52]Kimmel S,Lin C Y Y,Low G H,et al.Hamiltonian simulation with optimal sample complexity[J].npj Quantum Information,2017,3(1):1-7
[53]Durr C,Hoyer P.A quantum algorithm for finding the minimum[J].arXiv preprint,quant-ph/9607014,1996
[54]Dürr C,Heiligman M,Hoyer P,et al.Quantum query complexity of some graph problems[J].SIAM Journal on Computing,2006,35(6):1310-1328
[55]Ambainis A,
palek R.Quantum algorithms for matching and network flows[C] //Proc of Annual Symp on Theoretical Aspects of Computer Science.Berlin:Springer,2006:172-183
[56]Hogg T,Portnov D.Quantum optimization[J].Information Sciences,2000,128(3-4):181-197
[57]Szegedy M.Quantum speed-up of Markov chain based algorithms[C] //Proc of the 45th Annual IEEE Symp on Foundations of Computer Science.Piscataway,NJ:IEEE,2004:32-41
[58]Marsh S,Wang Jingbo.Combinatorial optimization via highly efficient quantum walks[J].Physical Review Research,2020,2(2):023302
[59]Apolloni B,Carvalho C,De Falco D.Quantum stochastic optimization[J].Stochastic Processes and Their Applications,1989,33(2):233-244
[60]Das A.Quantum Annealing and Related Optimization Methods[M].Berlin:Springer Science &Business Media,2005
[61]deFalco D,Tamascelli D.An introduction to quantum annealing[J].RAIRO-Theoretical Informatics and Applications,2011,45(1):99-116
[62]Venegas-Andraca S E,Cruz-Santos W,McGeoch C,et al.A cross-disciplinary introduction to quantum annealing-based algorithms[J].Contemporary Physics,2018,59(2):174-197
[63]Choi J,Kim J.A tutorial on quantum approximate optimization algorithm(QAOA):Fundamentals and applications[C] //Proc of 2019 Int Conf on Information and Communication Technology Convergence.Piscataway,NJ:IEEE,2019:138-142
[64]Wang Qingfeng,Abdullah T.An introduction to quantum optimization approximation algorithm[OL].2018 [2021-02-19].https://www.cs.umd.edu/class/fall2018/cmsc657/projects/group_16.pdf
[65]Farhi E,Goldstone J,Gutmann S.A quantum approximate optimization algorithm[J].arXiv preprint,arXiv:1411.4028,2014
[66]Farhi E,Harrow A W.Quantum supremacy through the quantum approximate optimization algorithm[J].arXiv preprint,arXiv:1602.07674,2016
[67]Wang Zhihui,Hadfield S,Zhang Jiang,et al.Quantum approximate optimization algorithm for maxcut:A fermionic view[J].Physical Review A,2018,97(2):022304
[68]Zhou Leo,Wang Shengtao,Choi S,et al.Quantum approximate optimization algorithm:Performance,mechanism,and implementation on near-term devices[J].Physical Review X,2020,10(2):021067
[69]Jordan S P.Fast quantum algorithm for numerical gradient estimation[J].Physical Review Letters,2005,95(5):050501
[70]Gilyén A,Arunachalam S,Wiebe N.Optimizing quantum optimization algorithms via faster quantum gradient computation[C] //Proc of the 30th Annual ACM-SIAM Symp on Discrete Algorithms.New York:ACM,2019:1425-1444
[71]Rebentrost P,Schuld M,Wossnig L,et al.Quantum gradient descent and Newton’s method for constrained polynomial optimization[J].New Journal of Physics,2019,21(7):073023
[72]Kerenidis I,Prakash A.Quantum gradient descent for linear systems and least squares[J].Physical Review A,2020,101(2):022316
[73]He Jianhao,Yang Feidiao,Zhang Jialin,et al.Quantum algorithm for online convex optimization[J].arXiv preprint,arXiv:2007.15046,2020
[74]Verdon G,Arrazola J M,Brádler K,et al.A quantum approximate optimization algorithm for continuous problems[J].arXiv preprint,arXiv:1902.00409,2019
[75]Kerenidis I,Prakash A.A quantum interior point method for LPs and SDPs[J].ACM Transactions on Quantum Computing,2020,1(1):1-32
[76]Kerenidis I,Prakash A,Szilágyi D.A quantum interior-point method for second-order cone programming[D].Paris:CNRS,IRIF,Université Paris Diderot,2019
[77]Kerenidis I,Prakash A,Szilágyi D.Quantum algorithms for Portfolio optimization[C] //Proc of the 1st ACM Conf on Advances in Financial Technologies.New York:ACM,2019:147-155
[78]Kerenidis I,Prakash A,Szilágyi D.Quantum algorithms for second-order cone programming and support vector machines[J].arXiv preprint,arXiv:1908.06720,2019
[79]Brandão F G,Svore K M.Quantum speed-ups for solving semidefinite programs[C] //Proc of 2017 IEEE 58th Annual Symp on Foundations of Computer Science.Piscataway,NJ:IEEE,2017:415-426
[80]Brandão F G,Kalev A,Li Tongyang,et al.Quantum SDP solvers:Large speed-ups,optimality,and applications to quantum learning[C] //Proc of the 46th Int Colloquium on Automata,Languages,and Programming.Berlin:Springer,2019,132:No.27
[81]van Apeldoorn J,Gilyén A,Gribling S,et al.Quantum SDP-Solvers:Better upper and lower bounds[C] //Proc of 2017 IEEE 58th Annual Symp on Foundations of Computer Science.Piscataway,NJ:IEEE,2017:403-414
[82]van Apeldoorn J,Gilyén A.Improvements in quantum SDP-Solving with applications[C] //Proc of the 46th Int Colloquium on Automata,Languages,and Programming.Berlin:Springer,2019,132:No.99
[83]van Apeldoorn J,Gilyén A.Quantum algorithms for zero-sum games[J].arXiv preprint,arXiv:1904.03180,2019
[84]Li Tongyang,Chakrabarti S,Wu Xiaodi.Sublinear quantum algorithms for training linear and kernel-based classifiers[C] //Proc of Int Conf on Machine Learning.New York:ACM,2019:3815-3824
[85]Chakrabarti S,Childs A M,Li Tongyang,et al.Quantum algorithms and lower bounds for convex optimization[J].Quantum,2020,221(4):221
[86]van Apeldoorn J,Gilyén A,Gribling S,et al.Convex optimization using quantum oracles[J].Quantum,2020,220(4):220
[87]Garg A,Kothari R,Netrapalli P,et al.No quantum speedup over gradient descent for non-smooth convex optimization[J].arXiv preprint,arXiv:2010.01801,2020
[88]Zhang Chenyi,Leng Jiaqi,Li Tongyang.Quantum algorithms for escaping from saddle points[J].arXiv preprint,arXiv:2007.10253,2020
[89]Ambainis A.Quantum lower bounds by quantum arguments[J].Journal of Computer and System Sciences,2002,64(4):750-767
[90]Boyd S,Boyd S P,Vandenberghe L.Convex Optimization[M].Cambridge,UK:Cambridge University Press,2004
He Jianhao,born in 1993.PhD.Student member of CCF.His main research interests include quantum computing,quantum optimization.
何键浩,1993年生.博士,CCF学生会员.主要研究方向为量子计算、量子优化.
Li Lüzhou,born in 1981.PhD,professor,PhD supervisor.Distinguished member of CCF.His main research interests include quantum computing model,quantum algorithm and complexity,quantum machine learning.
李绿周,1981年生.博士,教授,博士生导师,CCF杰出会员.主要研究方向为量子计算模型、量子算法与复杂性、量子机器学习.