• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

一种正交分解大数据处理系统设计方法及实现

向小佳, 赵晓芳, 刘洋, 龚关俊, 张晗

向小佳, 赵晓芳, 刘洋, 龚关俊, 张晗. 一种正交分解大数据处理系统设计方法及实现[J]. 计算机研究与发展, 2017, 54(5): 1097-1108. DOI: 10.7544/issn1000-1239.2017.20151062
引用本文: 向小佳, 赵晓芳, 刘洋, 龚关俊, 张晗. 一种正交分解大数据处理系统设计方法及实现[J]. 计算机研究与发展, 2017, 54(5): 1097-1108. DOI: 10.7544/issn1000-1239.2017.20151062
shu
Xiang Xiaojia, Zhao Xiaofang, Liu Yang, Gong Guanjun, Zhang Han. An Orthogonal Decomposition Based Design Method and Implementation for Big Data Processing System[J]. Journal of Computer Research and Development, 2017, 54(5): 1097-1108. DOI: 10.7544/issn1000-1239.2017.20151062
Citation: Xiang Xiaojia, Zhao Xiaofang, Liu Yang, Gong Guanjun, Zhang Han. An Orthogonal Decomposition Based Design Method and Implementation for Big Data Processing System[J]. Journal of Computer Research and Development, 2017, 54(5): 1097-1108. DOI: 10.7544/issn1000-1239.2017.20151062
shu
向小佳, 赵晓芳, 刘洋, 龚关俊, 张晗. 一种正交分解大数据处理系统设计方法及实现[J]. 计算机研究与发展, 2017, 54(5): 1097-1108. CSTR: 32373.14.issn1000-1239.2017.20151062
引用本文: 向小佳, 赵晓芳, 刘洋, 龚关俊, 张晗. 一种正交分解大数据处理系统设计方法及实现[J]. 计算机研究与发展, 2017, 54(5): 1097-1108. CSTR: 32373.14.issn1000-1239.2017.20151062
shu
Xiang Xiaojia, Zhao Xiaofang, Liu Yang, Gong Guanjun, Zhang Han. An Orthogonal Decomposition Based Design Method and Implementation for Big Data Processing System[J]. Journal of Computer Research and Development, 2017, 54(5): 1097-1108. CSTR: 32373.14.issn1000-1239.2017.20151062
Citation: Xiang Xiaojia, Zhao Xiaofang, Liu Yang, Gong Guanjun, Zhang Han. An Orthogonal Decomposition Based Design Method and Implementation for Big Data Processing System[J]. Journal of Computer Research and Development, 2017, 54(5): 1097-1108. CSTR: 32373.14.issn1000-1239.2017.20151062
shu

一种正交分解大数据处理系统设计方法及实现

  • 1(中国科学院计算技术研究所 北京 100190)

  • 2(北方工业大学计算机学院 北京 100144) (xiangxiaojia@ncic.ac.cn)

基金项目: 国家自然科学基金项目(61202061,61202413)；中国科学院计算技术研究所创新课题项目(20146080)
详细信息

  • 中图分类号: TP391

An Orthogonal Decomposition Based Design Method and Implementation for Big Data Processing System

  • 1(Institute of Computing Technology, Chinese Academy of Science, Beijing 100190)

  • 2(School of Computer Science, North China University of Technology, Beijing 100144)

摘要

    摘要
  • 摘要: MapReduce等计算框架的出现开启了大数据处理新纪元，以Hadoop，Spark为代表的大数据处理系统具有大吞吐率、跨平台、高可扩展的优势，并得到广泛应用.然而，为避免与具体的操作系统、硬件平台绑定，这些系统的设计与优化集中在计算模型、调度算法等方面，无法充分利用底层平台的优势.提出了一种基于正交分解的大数据处理系统设计与优化方法，将系统分解为松耦合的多个功能正交的模块，使存储、处理功能分离出来，交给能够利用底层平台操作系统甚至硬件资源的存储、执行引擎，原大数据系统退化为调度平台；进而，提出基于锁无关机制的存储底层优化策略和基于指令超级优化的执行引擎底层优化策略.以此为指导，以Hadoop作为兼容和改进的对象，实现了原型大数据处理系统Arion.Arion既能保持Hadoop的跨平台、高可扩展的优势，又能消除任务执行的瓶颈，其本地化的设计与优化手段对非Hadoop平台同样有效.通过在原型系统上的实验证明，Arion能够提升大数据处理任务的执行效率，最高达7.7%.
    Abstract: Big data stimulates a revolution in data storage and processing field, resulting in the thriving of big data processing systems, such as Hadoop, Spark, etc, which build a brand new platform with platform independence, high throughput, and good scalability. On the other hand, substrate platform underpinning these systems are ignored because their designation and optimization mainly focus on the processing model and related frameworks & algorithms. We here present a new loose coupled, platform dependent big data processing system designation & optimization method which can exploit the power of underpinning platform, including OS and hardware, and get more benefit from these local infrastructures. Furthermore, based on local OS and hardware, two strategies, that is, lock-free based storage and super optimization based data processing execution engine, are proposed. Directed by the aforementioned methods and strategies, we present Arion, a modified version of vanilla Hadoop, which show us a new promising way for Hadoop optimization, meanwhile keeping its high scalability and upper layer platform independence. Our experiments prove that the prototype Arion can accelerate big data processing jobs up to 7.7%.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(49)

  • 期刊类型引用(20)

    1. 冉玲琴，彭长根，许德权，吴宁博. 基于区块链技术架构的隐私泄露风险评估方法. 计算机工程. 2023(01): 146-153 . 百度学术
    2. 张学旺，林金朝，黎志鸿，姚亚宁. 基于新型公平盲签名和属性基加密的食用农产品溯源方案. 电子与信息学报. 2023(03): 836-846 . 百度学术
    3. 俞惠芳，吕芝蕊. 基于联盟链的身份环签密方案. 电子与信息学报. 2023(03): 865-873 . 百度学术
    4. 陈亮，黄华威，吴嘉婧，郑子彬. 区块链原理与技术课程建设探索与实践. 计算机教育. 2023(04): 74-78 . 百度学术
    5. 宋露燕，刘雪凤. 区块链赋能海洋数据共享：技术路径与风险议题. 科技与经济. 2023(02): 66-70 . 百度学术
    6. 陈志刚. 论非同质化通证的数据财产属性. 政法论丛. 2023(05): 149-160 . 百度学术
    7. 邓崧，吕雨婷，杨迪. 数据垄断的演化与分类——基于国内公共数据与商业数据. 信息资源管理学报. 2022(01): 80-90 . 百度学术
    8. 陈丽莎，李雪莲，高军涛. 支持数据完整性验证的可问责数据交易方案. 系统工程与电子技术. 2022(04): 1364-1371 . 百度学术
    9. 乔鹏程，张岩松. 农业公司使用区块链技术能否提升营运效率？. 会计之友. 2022(12): 144-150 . 百度学术
    10. 袁冰. 智媒环境下个人信息保护的场域迁移与框架建构. 科技传播. 2022(10): 126-128 . 百度学术
    11. 钟锭，刘金红，夏新斌，周良荣. 基于区块链技术的湖南省道地药材全过程追溯体系构建. 中国医药导报. 2022(24): 194-197 . 百度学术
    12. 许思源，李畅，李贺鑫，谢沂伯，肖飞. 基于区块链的生物样本信息共享系统模型研究. 中国卫生信息管理杂志. 2022(04): 471-475+534 . 百度学术
    13. 宋晓玲，刘勇，董景楠，黄勇飞. 元宇宙中区块链的应用与展望. 网络与信息安全学报. 2022(04): 45-65 . 百度学术
    14. 周磊，陈珍珠，付安民，苏铓，俞研. 支持密钥更新与审计者更换的云安全审计方案. 计算机研究与发展. 2022(10): 2247-2260 . 本站查看
    15. 程晗蕾，鲁静. 区块链技术驱动融资租赁平台优化策略探究. 财会月刊. 2022(20): 154-160 . 百度学术
    16. 黄思云，齐金平. 云计算环境下基于XML的异构数据共享研究. 信息与电脑(理论版). 2022(19): 16-19 . 百度学术
    17. 岳增龙，陈海燕，张晓晶. NKN区块链技术在物联网中的应用. 中国新通信. 2021(10): 91-92 . 百度学术
    18. 张茹，曹佳远. 基于区块链技术的造纸绿色材料供应量控制技术. 造纸科学与技术. 2021(04): 53-57+76 . 百度学术
    19. 杨信廷，王杰伟，邢斌，罗娜，于华竟，孙传恒. 基于区块链的畜牧养殖资产监管身份认证研究. 农业机械学报. 2021(11): 170-180 . 百度学术
    20. 刘芬，朱壮友，许勇. 基于区块链的电子病历数据共享模型研究. 安徽师范大学学报(自然科学版). 2021(06): 536-544 . 百度学术

    其他类型引用(29)

    • 资源附件(0)
计量
  • 文章访问数:  1175
  • HTML全文浏览量:  3
  • PDF下载量:  604
  • 被引次数: 49
出版历程
  • 发布日期:  2017-04-30

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(49)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计