ISSN 1000-1239 CN 11-1777/TP

    2014深度学习

    默认 最新文章 浏览次数
    Please wait a minute...
    选择: 显示/隐藏图片
    1. 基于卷积神经网络的正则化方法
    吕国豪,罗四维, 黄雅平, 蒋欣兰
    计算机研究与发展    2014, 51 (9): 1891-1900.   doi: 10.7544/issn1000-1239.2014.20140266
    摘要3392)   HTML8)    PDF (3024KB)(2679)   
    正则化方法是逆问题求解中经常使用的方法.准确的正则化模型在逆问题求解中具有重要作用.对于不同类型的图像和图像的不同区域,正则化方法的能量约束形式应当不同,但传统的L1,L2正则化方法均基于单一先验假设,对所有图像使用同一能量约束形式.针对传统正则化模型中单一先验假设的缺陷,提出了基于卷积神经网络的正则化方法,并将其应用于图像复原问题.该方法的创新之处在于将图像复原看作一个分类问题,利用卷积神经网络对图像子块的特征进行提取和分类,然后针对不同特征区域采用不同的先验形式进行正则化约束,使正则化方法不再局限于单一的先验假设.实验表明基于卷积神经网络的正则化方法的图像复原结果优于传统的单一先验假设模型.
    相关文章 | 计量指标
    被引次数: Baidu(21)
    2. 一种具有O(1/T)收敛速率的稀疏随机算法
    姜纪远,夏良,章显,陶卿
    计算机研究与发展    2014, 51 (9): 1901-1910.   doi: 10.7544/issn1000-1239.2014.20140161
    摘要1497)   HTML1)    PDF (2898KB)(917)   
    随机梯度下降(stochastic gradient descent, SGD)是一种求解大规模优化问题的简单高效方法,近期的研究表明,在求解强凸优化问题时其收敛速率可通过α-suffix平均技巧得到有效的提升.但SGD属于黑箱方法,难以得到正则化优化问题所期望的实际结构效果.另一方面,COMID(composite objective mirror descent)是一种能保证L1正则化结构的稀疏随机算法,但对于强凸优化问题其收敛速率仅为O(logT/T).主要考虑“L1+Hinge”优化问题,首先引入L2强凸项将其转化为强凸优化问题,进而将COMID算法和α-suffix平均技巧结合得到L1MD-α算法.证明了L1MD-α具有O(1/T)的收敛速率,并且获得了比COMID更好的稀疏性.大规模数据库上的实验验证了理论分析的正确性和所提算法的有效性.
    相关文章 | 计量指标
    被引次数: Baidu(6)
    3. 基于DBN模型的遥感图像分类
    吕启, 窦勇,牛新, 徐佳庆, 夏飞
    计算机研究与发展    2014, 51 (9): 1911-1918.   doi: 10.7544/issn1000-1239.2014.20140199
    摘要2766)   HTML14)    PDF (3333KB)(2239)   
    遥感图像分类是地理信息系统(geographic information system, GIS)的关键技术,对城市规划与管理起到十分重要的作用.近年来,深度学习成为机器学习领域的一个新兴研究方向.深度学习采用模拟人脑多层结构的方式,对数据从低层到高层渐进地进行特征提取,从而发掘数据在时间与空间上的规律,进而提高分类的准确性.深度信念网络(deep belief network, DBN)是一种得到广泛研究与应用的深度学习模型,它结合了无监督学习和有监督学习的优点,对高维数据具有较好的分类能力.提出一种基于DBN模型的遥感图像分类方法,并利用RADARSAT-2卫星6d的极化合成孔径雷达(synthetic aperture radar, SAR)图像进行了验证.实验表明,与支持向量机(SVM)及传统的神经网络(NN)方法相比,基于DBN模型的方法可以取得更好的分类效果.
    相关文章 | 计量指标
    被引次数: Baidu(40)
    4. 融合显著信息的层次特征学习图像分类
    祝军,赵杰煜,董振宇
    计算机研究与发展    2014, 51 (9): 1919-1928.   doi: 10.7544/issn1000-1239.2014.20140138
    摘要1468)   HTML3)    PDF (3754KB)(1167)   
    高效的图像特征表示是计算机视觉的基础.基于图像的视觉显著性机制及深度学习模型的思想,提出一种融合图像显著性的层次稀疏特征表示用于图像分类.这种层次特征学习每一层都由3个部分组成:稀疏编码、显著性最大值汇聚(saliency max pooling)和对比度归一化.通过在图像层次稀疏表示中引入图像显著信息,加强了图像特征的语义信息,得到图像显著特征表示.相比于手工指定特征,该模型采用无监督数据驱动的方式直接从图像中学习到有效的图像特征描述.最后采用支持向量机(support vector machine, SVM)分类器进行监督学习,实现对图像进行分类.在2个常用的标准图像数据集(Caltech 101和Caltech 256)上进行的实验结果表明,结合图像显著性信息的层次特征表示,相比于基于局部特征的单层稀疏表示在分类性能上有了显著提升.
    相关文章 | 计量指标
    被引次数: Baidu(19)
    5. 缺陷检测的稀疏表示模型及应用
    李清勇,梁正平,黄雅平,史忠植
    计算机研究与发展    2014, 51 (9): 1929-1935.   doi: 10.7544/issn1000-1239.2014.20140153
    摘要1163)   HTML0)    PDF (1471KB)(1004)   
    基于缺陷检测应用中图像的稀疏特性,提出了缺陷图像的稀疏表示模型以及基于稀疏性的缺陷分解算法.在该模型中,缺陷图像表示为图像背景、缺陷目标和噪声3种成分的叠加,并且图像背景和缺陷目标可以分别由对应的冗余字典稀疏表示;然后借鉴盲源分离原理和块协调松弛方法,实现缺陷目标成分的有效分解;最后,在钢轨表面擦伤检测应用中验证了该算法的性能.
    相关文章 | 计量指标
    被引次数: Baidu(24)
    6. 基于RNN-RBM语言模型的语音识别研究
    黎亚雄,张坚强,潘登,胡惮
    计算机研究与发展    2014, 51 (9): 1936-1944.   doi: 10.7544/issn1000-1239.2014.20140211
    摘要2662)   HTML11)    PDF (1524KB)(1379)   
    近年来深度学习兴起,其在语言模型领域有着不错的成效,如受限玻尔兹曼机(restricted Boltz-mann machine, RBM)语言模型等.不同于N-gram语言模型,这些根植于神经网络的语言模型可以将词序列映射到连续空间来评估下一词出现的概率,以解决数据稀疏的问题.此外,也有学者使用递归神经网络来建构语言模型,期望由递归的方式充分利用所有上文信息来预测下一词,进而有效处理长距离语言约束.根据递归受限玻尔兹曼机神经网络(recurrent neural network-restricted Boltzmann machine, RNN-RBM)的基础来捕捉长距离信息;另外,也探讨了根据语言中语句的特性来动态地调整语言模型.实验结果显示,使用RNN-RBM语言模型对于大词汇连续语音识别的效能有相当程度的提升.
    相关文章 | 计量指标
    被引次数: Baidu(30)
    7. 基于深度学习的作曲家分类问题
    胡振, 傅昆, 张长水
    计算机研究与发展    2014, 51 (9): 1945-1954.   doi: 10.7544/issn1000-1239.2014.20140189
    摘要1808)   HTML6)    PDF (2371KB)(2039)   
    在音乐信息检索领域,作曲家分类是一个十分重要的问题,这一问题的目标是通过音频数据来识别相应的作曲家信息.传统的分类算法都是通过提取复杂的特征来进行分类的,而深层神经网络在特征学习上具有比较强的能力,因此提出用深层神经网络来解决这一问题.为了结合不同深层神经网络模型的优点,设计了一种混合模型,该模型基于深度置信网络(deep belief network, DBN)和级联去噪自编码器(stacked denoising autoencoder, SDA),可以较好地解决作曲家分类问题.实验表明,该模型取得了76.26%的正确率,这一结果比单纯用某一种模型搭建的深层神经网络以及支持向量机要好.和图像数据类似,人脑在提取音乐特征也是分层的,每一层对信号的处理不一样,因此混合模型在解决作曲家分类问题上具有一定的优势.
    相关文章 | 计量指标
    被引次数: Baidu(43)