ISSN 1000-1239 CN 11-1777/TP

    2018面向新型硬件的数据管理专题

    默认 最新文章 浏览次数
    Please wait a minute...
    选择: 显示/隐藏图片
    1. 2018面向新型硬件的数据管理专题前言
    孟小峰, 陈世敏, 罗琼
    计算机研究与发展    2018, 55 (2): 227-228.  
    摘要698)   HTML5)    PDF (418KB)(1058)   
    数据特性和硬件特征是高效数据管理的两个关键因素。一方面,随着大数据时代的到来,数据管理系统需要支持越来越海量、高速、多样的数据。各种新的数据管理技术纷纷涌现,不仅包括对传统的关系型数据库系统的扩展,而且包括多种新型的大数据系统,例如NoSQL系统,NewSQL系统等。数据的种类不仅有传统的关系型数据,而且有图类型、JSON树状数据等多种非传统数据类型。另一方面,计算机系统的硬件正在经历着深远的变化。更大容量的主存、NVM技术等正改变着存储系统的面貌。GPU、FPGA、专用加速硬件正逐渐由专用领域走向通用计算,对数据的运算和管理发挥着越来越重要的影响。因此,如何把这两者相结合,利用新型的存储和计算硬件高效地支持数据管理的需求成为一个重要的学术课题。许多基本问题还有待探索,包括系统架构、数据存储、索引、查询处理、能源效率等。鉴于此,本刊出版“面向新型硬件的数据管理”专题,侧重面向新硬件的数据库技术、面向新硬件的大数据系统、软硬件协同设计(Co-Design)的数据处理等方面,探讨面向新型硬件的数据管理基础理论研究及其应用,讨论该领域内最新的突破性进展,交流新的学术思想和新方法,展望未来的发展趋势。本专题出版7篇文章,内容涵盖面向新型非易失存储NVM的数据管理和面向新型加速硬件的数据管理两大方面,并反映了国内学术领域和阿里、华为等产业界在面向新型硬件的数据管理方面的主要工作。
    相关文章 | 计量指标
    2. NV-Shuffle:基于非易失内存的Shuffle机制
    潘锋烽, 熊劲
    计算机研究与发展    2018, 55 (2): 229-245.   doi: 10.7544/issn1000-1239.2018.20170742
    摘要796)   HTML1)    PDF (6147KB)(676)   
    Shuffle是大数据处理过程中一个极为重要的阶段.不同类型的Task(或者Stage)之间通过Shuffle进行数据交换.在Shuffle过程中数据需要进行持久化,以达到避免重计算和容错的目的.因此Shuffle的性能是决定大数据处理性能的关键因素之一.由于传统Shuffle阶段的数据通过磁盘文件系统进行持久化,所以影响Shuffle性能的一个重要因素是I/O开销,尤其是对基于内存计算的大数据处理平台,例如Spark,Shuffle阶段的磁盘I/O可能拖延数据处理的时间.而非易失内存(NVM)具有读写速度快、非易失性以及高密度性等诸多优点,它们为改变大数据处理过程中对磁盘I/O的依赖、克服目前基于内存计算的大数据处理中的I/O性能瓶颈提供了新机会.提出一种基于NVM的Shuffle优化策略——NV-Shuffle.NV-Shuffle摒弃了传统Shuffle阶段采用文件系统的存储方式,而使用类似于Memory访问的方式进行Shuffle数据的存储与管理,避免了文件系统的开销,并充分发挥NVM的优势,从而减少Shuffle阶段的耗时.在Spark平台上实现了NV-Shuffle,实验结果显示,对于Shuffle-heavy类型的负载,NV-Shuffle可节省大约10%~40%的执行时间.
    相关文章 | 计量指标
    3. 面向大数据处理的基于Spark的异质内存编程框架
    王晨曦, 吕方, 崔慧敏, 曹婷, JohnZigman, 庄良吉, 冯晓兵
    计算机研究与发展    2018, 55 (2): 246-264.   doi: 10.7544/issn1000-1239.2018.20170687
    摘要866)   HTML0)    PDF (5066KB)(624)   
    随着大数据应用的发展,需要处理的数据量急剧增长,企业为了保证数据的及时处理并快速响应客户,正在广泛部署以Apache Spark为代表的内存计算系统.然而TB级别的内存不但造成了服务器成本的上升,也促进了功耗的增长.由于DRAM的功耗、容量密度受限于工艺瓶颈,无法满足内存计算快速增长的内存需求,因此研发人员将目光逐渐移向了新型的非易失性内存(non-volatile memory, NVM).由DRAM和NVM共同构成的异质内存,具有低成本、低功耗、高容量密度等特点,但由于NVM读写性能较差,如何合理布局数据到异质内存是一个关键的研究问题.系统分析了Spark应用的访存特征,并结合OpenJDK的内存使用特点,提出了一套管理数据在DRAM和NVM之间布局的编程框架.应用开发者通过对本文提供接口的简单调用,便可将数据合理布局在异质内存之中.仅需20%~25%的DRAM和大量的NVM,便可以达到使用等量的DRAM时90%左右的性能.该框架可以通过有效利用异质内存来满足内存计算不断增长的计算规模.同时,“性能/价格”比仅用DRAM时提高了数倍.
    相关文章 | 计量指标
    4. 基于高性能SOC FPGA阵列的NVM验证架构设计与验证
    刘珂, 蔡晓军, 张志勇, 赵梦莹, 贾智平
    计算机研究与发展    2018, 55 (2): 265-272.   doi: 10.7544/issn1000-1239.2018.20170695
    摘要903)   HTML3)    PDF (3108KB)(522)   
    新型非易失性存储器(non-volatile memory, NVM)技术日渐成熟,延迟越来越低,带宽越来越高,未来将不仅有可能取代以动态随机存储器(dynamic random access memory, DRAM)为代表的易失型存储设备在主存中的垄断地位,还有可能取代传统Flash和机械硬盘作为外存服务未来的计算机系统.如何综合各类新型存储的特性,设计高能效的存储架构,实现可应对大数据、云计算所需求的新型主存系统已经成为工业界和学术界的研究热点.提出基于高性能SOC FPGA阵列的NVM验证架构,互联多级FPGA,利用多层次FPGA结构扩展链接多片NVM.依据所提出的验证架构,设计了基于多层次FPGA的主从式NVM控制器,并完成适用于该架构的硬件原型设计.该架构不仅可以实现测试同类型多片NVM协同工作,也可以进行混合NVM存储管理方案验证.
    相关文章 | 计量指标
    5. 基于Multi-GPU平台的大规模图数据处理
    张珩, 张立波, 武延军
    计算机研究与发展    2018, 55 (2): 273-288.   doi: 10.7544/issn1000-1239.2018.20170697
    摘要856)   HTML3)    PDF (5112KB)(928)   
    在GPU高性能节点上构建高效的大规模图数据的算法和系统已经日益成为研究热点,以GPU协处理器为计算核心不仅能够提供大规模线程的并行环境,也能提供高吞吐的内存和缓存访问机制.随着图的规模增大,相对大小局限的GPU的设备访存空间逐渐不能满足缓存整个图数据的应用需求,也催生了大量以单节点上外存I/O优化(out-of-core graph)为主要研究方向的大规模图数据处理系统.为了应对这一瓶颈,现有的算法和系统研究采用对图切分的压缩数据形式(即shards)用以数据传输和迭代计算.然而,这类研究扩展到Multi-GPU平台上往往性能的局限性表现在对PCI-E带宽的高依赖性,同时也由于Multi-GPU上任务负载不均衡而缺乏一定的可扩展性.为了应对上述挑战,提出并设计了基于Multi-GPU平台的支持高效、可扩展的大规模图数据处理系统GFlow.GFlow提出了全新的适用于Multi-GPU下的图数据Grid切分策略和双层滑动窗口算法,在将图的属性数据(点的状态集合、点/边权重值)缓存于各GPU设备之后,顺序加载图的拓扑结构数据(点/边集合)值各GPU中.通过双层滑动窗口,GFlow动态地加载数据分块从SSD存储至GPU设备内存,并顺序化聚合并应用处理过程中各GPU所生成的Updates.通过在9个现实图数据集上的实验结果可以看出,GFlow在Multi-GPU平台下相比其他支持外存图(out-of-core graph)处理的相关系统性能表现更为优异,对比CPU下的GraphChi和X-Stream分别提升25.6X和20.3X,对比GPU下支持外存图数据处理的GraphReduce系统单GPU提升1.3~2.5X.同时GFlow可扩展性在Multi-GPU上也表现良好.
    相关文章 | 计量指标
    6. CPU和DRAM加速任务划分方法:大数据处理中Hash Joins的加速实例
    吴林阳, 罗蓉, 郭雪婷, 郭崎
    计算机研究与发展    2018, 55 (2): 289-304.   doi: 10.7544/issn1000-1239.2018.20170842
    摘要952)   HTML4)    PDF (5194KB)(471)   
    硬件加速器能够有效地提高当前计算机系统的能效.然而,传统的硬件加速器(如GPU,FPGA和定制的加速器)和内存是相互分离的,加速器和内存之间的数据移动难以避免,这使得如何降低加速器和内存之间数据移动的开销成为极具挑战性的问题.随着靠近数据的处理技术(near-data processing)和3D堆叠DRAM的出现,我们能够将硬件加速器集成到3D堆叠DRAM中,使得数据移动的开销大大降低.然而,由于3D堆叠DRAM对面积、功耗和散热具有严格的限制,所以不可能将一个功能复杂的硬件加速器完整地集成到DRAM中.因此,在设计内存端的硬件加速器时,应该考虑将加速任务在CPU和加速器之间合理地进行划分.以加速大数据系统中的一个关键操作hash joins为例子,阐述了CPU和内存端加速任务划分的设计思想.以减少数据移动为出发点,设计了一个包含内存端定制加速器和处理器端SIMD加速单元的混合加速系统,并对应用进行分析,将加速任务划分到不同的加速器.其中,内存端的加速器用于加速数据移动受限的执行阶段,而处理器端SIMD加速单元则用于加速数据移动开销较低成本的执行阶段.实验结果表明:与英特尔的Haswell处理器和Xeon Phi相比,设计的混合加速系统的能效分别提升了47.52倍和19.81倍.此外,提出的以数据移动为驱动的方法很容易扩展于指导其他应用的加速设计.
    相关文章 | 计量指标
    7. 面向数据库的持久化事务内存
    HillelAvni, 王鹏
    计算机研究与发展    2018, 55 (2): 305-318.   doi: 10.7544/issn1000-1239.2018.20170863
    摘要893)   HTML4)    PDF (3702KB)(541)   
    硬件事务内存(hardware transactional memory, HTM)和可字节寻址的非易失性内存(nonvolatile memory, NVM)已经可以在新的计算机设备中使用.使用HTM确保一致性和隔离性,使用NVM确保持久性,组合使用两者可以实现满足原子性、一致性、隔离性和持久性(atomicity, consistency, isolation and durability, ACID)特性的事务.ACID事务在数据库中非常有价值,但由于数据库事务通常较大,其面临的挑战是HTM固有的容量限制和争用水平.首先提出了一种通过HTM进行ACID事务处理的软硬件解决方案——持久化HTM(persistent HTM, PHTM).使用2种方法来消除PHTM的局限性:1)持久化混合事务内存(persistent hybrid TM, PHyTM),允许PHTM事务与支持任意大小的纯软件事务(software transactional memory, STM)并发执行;2)分离事务执行(split transaction execution, STE)算法,该算法为关系数据库事务量身定制,解决了大多数事务超过PHTM的容量限制的问题.简而言之,讨论了利用NVM将HTM扩展到ACID数据库事务的问题.
    相关文章 | 计量指标
    被引次数: Baidu(1)
    8. X-DB:软硬一体的新型数据库系统
    张铁赢, 黄贵, 章颖强, 王剑英, 胡炜, 赵殿奎, 何登成
    计算机研究与发展    2018, 55 (2): 319-326.   doi: 10.7544/issn1000-1239.2018.20170868
    摘要3364)   HTML23)    PDF (2166KB)(1761)   
    数据库领域经历了3次发展时期:第1个时期起源于Codd提出的关系模型,奠定了数据库理论和系统的基础,并造就了早期的数据库商业巨头IBM DB2,Microsoft SQLServer和Oracle等;第2个时期由互联网的快速发展所推动,催生了NoSQL数据库系统,这一类数据库系统关注于系统可扩展性,但是牺牲了数据库的事务特性和SQL功能;第3个重要时期是以新硬件为基础的现代数据库时期,阿里巴巴数据库系统X-DB便属于这一时期的现代数据库.X-DB基于阿里巴巴大规模业务需求,充分利用新硬件的特性,围绕存储、网络、多核、并行和异构计算进行软硬一体协同设计,同时兼容MySQL生态,重塑关系型数据库体系结构.
    相关文章 | 计量指标