Skip to content

Latest commit

 

History

History
22 lines (18 loc) · 511 Bytes

hequan.md

File metadata and controls

22 lines (18 loc) · 511 Bytes

论文概要


需求

  • 数据量大,需要分布式
  • 数据批量写入和读取,在线更新删除
  • 一次写入,频繁访问,很少修改删除
  • IO带宽大
  • 成本可接受
  • 数据随机

数据

图像占大部分,ceph对象存储,100KB大小写入速度几十 Mb/s

  • 命名服务器
  • 随机处理层

    写入时随机, 读取时随机, 批量

  • 缓存处理层

    两个模块:数据缓存和元数据缓存

  • 数据处理层

    批量读取,归并写和元数据持久化