结构化稀疏线性判别分析

崔振; 山世光; 陈熙霖

doi:10.7544/issn1000-1239.2014.20130188

结构化稀疏线性判别分析

崔振^1,2,3,
山世光²,
陈熙霖²

¹(华侨大学计算机科学与技术学院福建厦门 361021)
²(中国科学院智能信息处理重点实验室(中国科学院计算技术研究所) 北京 100190)
³(中国科学院大学北京100049) (zhen.cui@vipl.ict.ac.cn)

基金项目: 国家自然科学基金项目(61100083)；国家“八六三”高技术研究发展计划基金项目(2012AA011003)

详细信息

中图分类号: TP391.4
计量
- 文章访问数: 1802
- HTML全文浏览量: 2
- PDF下载量: 919
出版历程
- 发布日期: 2014-09-30

Structured Sparse Linear Discriminant Analysis

¹(School of Computer Science and Technology, Huaqiao University, Xiamen, Fujian 361021)
²(Key Laboratory of Intelligent Information Processing (Institute of Computing Technology, Chinese Academy of Sciences), Beijing 100190)
³(University of Chinese Academy of Sciences, Beijing 100049)

摘要

摘要: 在监督场景下线性判别分析(linear discriminant analysis, LDA)是一种非常有效的特征提取方法.然而，LDA在小样本情况下通常会出现过拟合现象，并且学习的投影变换难以给出人类认知上的解释.针对这些问题，特别是可解释性结构的发现，借助于LDA的线性回归模型和结构化稀疏L\-{2,1}范数，提出了结构化稀疏线性判别分析(structured sparse LDA, SSLDA)方法.进一步，为了去除线性变换间的相关性，提出了正交化的SSLDA(orthogonalized SSLDA, OSSLDA)，它能更加有效地学习到细致的结构信息.为了求解这2个模型，引入了一个半二次的优化算法,它在投影变换和新引入的辅助变量之间采用交替优化的思想.为了验证所提出的方法，在AR、扩展的YaleB和MultiPIE 3个人脸数据库上对比了LDA及其变种方法，实验表明了所提出方法的有效性以及可解释性.
- 线性判别分析 /
- 正交化 /
- 人脸识别 /
- 最小二乘 /
- 结构化稀疏
Abstract: Linear discriminant analysis (LDA) is a very efficient image feature extraction technique in the supervised scenario. However, LDA often leads to over-fitting when using small scale training samples, and simultaneously might not show an intuitive explanation for the learnt projections from the view of human cognition. To handle these problems, especially for the discovery of those interpretability structures, a called structured sparse LDA (SSLDA) method is proposed by employing the linear regression model of LDA and the structured sparse L\-{2,1} mixed norm. Furthermore, to remove the correlations of the learnt linear transforms, the orthogonalized SSLDA (OSSLDA) is also proposed to learn more subtle textural structure information from face images. To solve both two proposed models: SSLDA and OSSLDA, we further introduce a simply and efficient half-quadratic optimization algorithm, which incorporates an auxiliary variable into the objective function and then alternately optimizes between the projecting variable and the auxiliary variable. To evaluate our proposed method, SSLDA and OSSLDA, we conduct extensive experiments on three public face datasets, AR, Extended Yale B and MultiPIE, for the face recognition task by comparing LDA and its several classical variants. The experimental results show the benefits of the proposed methods on both classification accuracy and interpretability.
- linear discriminant analysis (LDA) /
- orthogonalization /
- face recognition /
- least squares /
- structured sparse

HTML全文

参考文献(0)

施引文献(27)

期刊类型引用(15)

1.	吴佳青，任大鹏. 我国人工智能芯片发展探析. 中国工程科学. 2025(01): 133-141 . 百度学术
2.	仝杰，齐子豪，蒲天骄，宋睿，张鋆，谈元鹏，王晓飞. 电力物联网边缘智能：概念、架构、技术及应用. 中国电机工程学报. 2024(14): 5473-5496 . 百度学术
3.	万朵，胡谋法，肖山竹，张焱. 面向边缘智能计算的异构并行计算平台综述. 计算机工程与应用. 2023(01): 15-25 . 百度学术
4.	赵二虎，吴济文，肖思莹，晋振杰，徐勇军. 嵌入式异构智能计算系统并行多流水线设计. 电子学报. 2023(11): 3354-3364 . 百度学术
5.	李秀敏，陈梓烁，陈雅琪. 我国人工智能芯片产业协同创新网络时空演化特征分析. 科技管理研究. 2023(23): 142-153 . 百度学术
6.	赵一煊，刘飞阳，高晗，王建生. DNN加速器技术发展及航空计算系统应用展望. 航空计算技术. 2022(03): 130-134 . 百度学术
7.	谢坤鹏，卢冶，靳宗明，刘义情，龚成，陈新伟，李涛. FAQ-CNN:面向量化卷积神经网络的嵌入式FPGA可扩展加速框架. 计算机研究与发展. 2022(07): 1409-1427 . 本站查看
8.	蒲明博，李向平，张杨，郑美玲，粟雅娟，曹耀宇，曹暾，徐挺，段宣明，冯帅，孙玲. 芯片制造中的光学微纳加工技术前沿与挑战. 中国科学基金. 2022(03): 460-467 . 百度学术
9.	高原，杨娇，赵凌，温川飙，张艺凡，罗悦. 运用人工神经网络技术结合穴位敏化理论探索慢性稳定性心绞痛疾病辅助预测模型的构建思路. 世界科学技术-中医药现代化. 2021(02): 628-634 . 百度学术
10.	渠鹏，陈嘉杰，张悠慧，郑纬民. 实现软硬件解耦合的类脑计算硬件设计方法. 计算机研究与发展. 2021(06): 1146-1154 . 本站查看
11.	魏东，董博晨，刘亦青. 改进神经网络的图像识别系统设计与硬件实现. 电子与信息学报. 2021(07): 1828-1833 . 百度学术
12.	张雪怡，曹哲，刘宗宝. 智能芯片技术发展综述及医疗健康领域应用. 中国集成电路. 2021(09): 16-22+36 . 百度学术
13.	郭经红，梁云，陈川，陈硕，陆阳，黄辉. 电力智能传感技术挑战及应用展望. 电力信息与通信技术. 2020(04): 15-24 . 百度学术
14.	袁烨，张永，丁汉. 工业人工智能的关键技术及其在预测性维护中的应用现状. 自动化学报. 2020(10): 2013-2030 . 百度学术
15.	赵晨，周义明. 基于FPGA的模数转换芯片AD7705/AD7706控制电路设计. 北京石油化工学院学报. 2019(04): 54-58 . 百度学术