数据分布式存储原理

发布时间： 2022-07-07 10:53:00

数据分布式存储原理，数据分布式规则?就这?怎么就数据分布式了。现在我们把MDC对应OSD数量生成的数据分布式规则交给VBS模块。

VBS是安装在用户系统中的一个代理，当用户需要存放数据在分布式存储中时，VBS会先接收用户的数据，然后对用户数据进行切块分区(一般会把数据分成1MB大小的数据分片。

例如一个1GB的视频文件需要存放在分布式存储中，则会被VBS接收后分割为1024个1MB大小的数据分片)，接着对每个数据分片带有的SCSI标识进行格式转化，使之成为分布式存储系统使用的Key标识。然后对key进行哈希计算，算出每个数据分片的哈希值。

可以这样理解，其实每个数据在操作系统下发存储的时候都会带着一个介绍信(SCSI标识)，操作系统告诉数据拿着这个介绍信去找大V哥开房间存放数据。

分布式存储的VBS模块就是这个大V哥，当大V哥看到这个介绍信(SCSI标识)后就告诉数据，你的这个介绍信(SCSI标识)现在用不了了，必须重新登记一下，然后VBS就根据介绍信(SCSI标识)又开了一张票(Key)给数据，然后数据拿着这张票(Key)去找大V哥的小弟，小弟就根据票(key)来分配房卡(key带入哈希函数进行计算算出哈希值)，开房间存放数据(如图)。

(图数据分片逻辑图)

数据被VBS接收后，最终数据会变成多个1MB的小数据分片，并且每一个1MB的小数据块都会带着最终的哈希值。哈希值可以在0-2^32之间取整，很巧的是，MDC生成的哈希路由圆环也刚好是2^32份个分区，那么哈希值取整是多少，该1MB数据分片就归属于哪一个分区。

由于MDC通过对应OSD和哈希路由圆环的分区生成了一个分区对应磁盘的关系(数据分布式规则)，那么最终这个数据就存放在该分区对应的磁盘中，该磁盘的OSD会将数据持久化存放在磁盘介质中。(如图)若上文假设中提到分区1-分区3对应OSD1，刚好现在有一个数据分片对应的哈希值取整后为3，则该1MB数据归属在分区3，分区3对应OSD1，则由OSD1将该1MB数据存放到该OSD对应的磁盘中，完成数据落盘。