专栏中心

EEPW首页 > 专栏 > 浅谈HPC中的Lustre

浅谈HPC中的Lustre

发布人:天翼云开发者 时间:2023-06-16 来源:工程师 发布文章

本文分享自天翼云开发者社区《浅谈HPC中的Lustre》,作者:n****m

https://www.ctyun.cn/developer/article/423548282736709

1. 什么是 lustre?

Lustre 体系结构是一个为集群设计的存储体系结构。 其核心组件是运行在 Linux 操作系统上、 支持标准的 POSIX* UNIX 文件系统接口、 并遵循 GPL2.0 许可的 Lustre 文件系统。 据 IDC 的统计, Lustre 是在 HPC 领域应用最广的文件系统, 世界上最快的 50 个超算网站有 60%都使用 Lustre。

2. Lustre 的文件系统有哪些组件?

Lustre 文件系统的主要组件有: MDS、 MDT、 OSS、 OST、 Client。 各个组件间的关系如下图。

image.png 

3. MDS、 MDT、 OSS、 OST 是什么?

MDS(Metadata Server): MDS 负责管理 Lustre 文件系统的文件名、 目录、 权限、 文件结构等元数据信息, MDS 生成的元数据存储在一个或者多个 MDT 上, 并为每个 Client提供服务。 MDS 可以有多个, 但只有一个为主 MDS, 其余 MDS 工作在备份模式。

MDT(Metadata Target): 每个文件系统都有一个 MDT, MDT 可以是 MDS 本地硬盘(只有一个 MDS 时)、 也可以是远端存储的一个 LUN 设备。 一个 MDT 可以通过同时映射给两台主机, 供多个 MDS 进行访问, 但同一时刻只能有一个 MDS 进行访问, 通过这种方式可以实现 MDS 的高可用性。

OSS(Object Storage Servers): OSS 为 Client 提供文件 I/O 服务, 客户端从 MDS 获取元数据信息后, 从 OSS 访问文件数据, 文件数据最终存储在与 OSS 相连的 OST 上。

OST(Object Storage Target): 用户文件存储在一个或者多个对象中, 每个对象对应一个独立的 OST, 每个文件可以存储在一个 OST 上, 也可以跨越多个 OST 进行存储。 一个OST 可以通过同时映射给两台主机实现 OSS 的高可用性。

 


专栏文章内容及配图由作者撰写发布,仅供工程师学习之用,如有侵权或者其他违规问题,请联系本站处理。 联系我们

关键词: linux 架构 存储

相关推荐

linux入门精华

从小众架构走向战略基石的RISC‑V

ARM 开发板使用手册 在三星 S3C2410开发板上烧写linux

基于ARM的嵌入式Linux系统开发 上

视频 2009-10-22

实时Linux技术:如何在嵌入式LINUX中应用实时特性

视频 2009-10-22

U-BOOT 与 MontaVista Linux 的移植

FFT公司9200的板子的资料

弥合现实差距:面向 1.8Tb/s 芯粒治理的全新架构

智能计算 2026-04-27

存储危机降临 三星与工会谈判破裂 18天罢工恐成事实

网络与存储 2026-05-13

存储涨价推动电视规格下调,55寸FHD面板能否成市场新宠?

消费电子 2026-04-20

存储涨价冲击手机行业:Q1全球SoC出货量下降8%

移动端DRAM合约价格再上涨

2026-05-18

谷歌第八代TPU深度解析:架构细节全揭秘

智能计算 2026-04-23

基于ARM的嵌入式Linux系统开发 下

视频 2009-10-22

Arm遭遇监管危机:FTC针对其技术授权启动反垄断调查

2026-05-18

嵌入式Linux优化:加快系统起动和应用起动的过程

视频 2009-10-22

铠侠为AI寻找存储新方案

网络与存储 2026-04-28

全球存储巨头竞逐CXL技术:下一代内存互联新战场

基于ARM的嵌入式Linux系统开发 中

视频 2009-10-22
更多 培训课堂
更多 焦点
更多 视频

技术专区