新闻详情
新闻搜索
新一代分布式文件系统XGFS揭秘——多协议客户端XClient 科汇科技-四川 XSKY 虚拟化 分布式存储 软件定义存储 解决方案专家
随着5G、AI、云多种技术的快速普及,全行业的数字化转型正在火热进行中。数据作为一种新的资产越来越被重视,数据量也在飞速增长,XSKY XGFS新一代分布式文件系统不仅容量大、而且性能好,其中有一个核心的组件发挥了关键的作用,这就是面向各行业中不同场景,高适应性的多协议客户端XClient。
首先,我们先介绍XGFS的XClient。
XGFS的秘密武器:XClient
多样性的场景和需求,XGFS都可以通过XClient来满足。XClient是XGFS区别于业界分布式文件的主要特征之一。
XClient对上,承载多场景多协议的非结构化访问需求:
完全自研的用户态文件客户端XClient,支持在X86/ARM多体系架构、Linux/Windows 多操作系统、容器/虚拟机/物理机多环境中部署使用,满足更多非结构化场景中的文件存储需求。
XClient既提供Libxmds动态库支持完备的类文件语义直接供HPC MPI应用程度调用,又可与XSKY Hadoop Connector、XSKY CSI Driver组合使用。
XSKY统一运维管理界面中还针对网关节点、文件系统等资源提供了丰富的性能、状态监控:文件数/容量使用情况、完善的性能数据(各类细分OPS、延迟、带宽、IO 大小)、共享个数等。
XClient对下,连接元数据集群和多个数据资源池:
XClient创新使用高性能网络模块来原生支持RDMA等高速网络,通过网络模块与IO栈的深度结合,既避免了不必要的线程上下文切换,又减少了入队出队的损耗,实现了元数据的快速通路,让IO延迟响应进入亚毫秒级别。
XGFS通过XClient来实现丰富的存储策略:动态整池扩容、多活动池、同时支持副本和EC数据池等功能;XClient还可按需配置各类别的文件访问日志审计,记录完整的文件创建、修改、删除等操作,并可使用日志审计功能对接常见的审计计费、日志分析工具,实现对数据访问的计费、分析和掌控。
XClient还支持自适应的垃圾回收,让应用从容应对多业务共存、海量文件删除等细分场景;XClient实现了完善的网络容错机制,高效准确地判断出本节点网络异常并执行自动流量切换。
下面对各种需求和场景展开分析,看XClient是如何解决的。
数据生产环节中的多类型文件协议需求
在应用和操作系统的发展历程中,对于文件类型的海量数据,逐渐形成了如下的NAS访问协议标准:
XGFS XClient不仅支持SMB/CIFS、NFS、FTP三类文件访问协议,而且支持完善的用户认证方式,还具备多协议共享、子目录共享等功能。
大数据生态快速演进:计算云化,存算分离
随着生产数据的快速增长与积累,越来越多的企业和机构使用Hadoop作为海量数据分析和清洗的解决方案,企业内逐步形成了如下的Hadoop部署架构,这样的架构带来了资源利用率低、分析效率低、数据孤岛等问题。
XGFS XClient支持完备的HDFS协议,不仅支持全新部署的存算分离架构:Hadoop + XGFS ,还可与已有HDFS共存部署:Hadoop + (HDFS/XGFS)。
XSKY块存储也可作为Hadoop各类组件:Spark、Flink、Impala云化部署(虚拟化或容器)时的存储底座。
HPC与AI分析的融合
XGFS XClient可以支持标准文件协议和10Gb/25Gb/50Gb/100Gb高速网络,以满足HPC和AI 场景需求。
XGFS还能支持Linux私有客户端以大幅降低文件协议开销,支持RDMA 100Gb网络互联,从而应对更高要求的分布式AI 训练、自动驾驶、基因测序、GIS大数据等场景。
构建云原生计算平台
XGFS XClient使用标准的CSI 接口对接各主要的容器平台:Openshift、Rancher等,XGFS不仅为各类有状态服务带来极致的IO 性能,而且面向海量应用场景实现了管理流水线优化:1分钟内可完成100 pod 创建。
最后,我们来总结一下XClient的优势。
多协议客户端XClient 的优势与价值
XSKY的XClient具有众多的优势:
完善的多协议支持:SMB/NFS/FTP/POSIX/CSI/HDFS,满足不同应用的存储需求。
超高性能和超低延迟:原生支持RDMA 等高速网络,软件栈面向远程调用深度优化。
部署灵活:既可以直接部署在主机侧使用POSIX 直联访问,也可以部署在存储侧作为标准文件协议网关。
优异的操作系统兼容性:不仅完备支持各发行版CentOS、EulerOS,还支持KylinOS 等国产操作系统。
支持HPC 并行文件系统:当XClient 部署在HPC 主机侧时,可以同时和多个存储节点进行并行IO交互。
XClient的独特价值:
XClient是在软件定义存储背景下,针对下一代分布式文件系统新兴的应用需求,面向异构化、高性能介质、大规模化的文件客户端设计并实现,它面向各行业多场景中的海量数据存储需求,一套存储同时满足多类型非结构化数据存储需求,一份数据可通过不同协议提供访问。
IT 领导者可基于XGFS 构建下一代的工作流:
海量业务数据的生产与统一存储
基于存算分离的Hadoop 平台实现数据清洗
使用HPC/AI 融合工具链执行高效的数据分析
术语表
英文
中文
XClient XSKY Client
XSKY 分布式文件客户端
XMDS XSKY Metadata Service
XSKY 独有专利的元数据服务
MDS Metadata Service
元数据服务
LSM Tree Log-Structured Merge Tree
日志结构合并树算法
RDMA Remote Direct Memory Access
远程直接内存访问
XHC XSKY Hadoop Connector
XSKY Hadoop 连接器
libxmds XMDS Library
XSKY 元数据服务动态库
IT 解决方案:
XSKY服务器虚拟化解决方案
XSKY私有云解决方案
XSKY容器解决方案
XSKY企业级应用解决方案
XSKY桌面虚拟化(VDI)解决方案
XSKY容灾解决方案
XSKY开发测试平台解决方案
XSKY分支机构解决方案
XSKY新建数据中心解决方案
应用场景:
双活
容器
大数据
云平台
云桌面
产品规格:
SDS 软件
XCBS 云后端存储
XEBS 块存储
XEUS 统一存储
XEOS 对象存储
XEDP 统一数据平台
SDS 一体化产品
XSCALER EXPRESS 2000:XE2020、XE2030、XE2050
XSCALER 3000
服务区域:
成都 xsky、绵阳 xsky、自贡 xsky、攀枝花 xsky、泸州 xsky、
德阳 xsky、广元 xsky、遂宁 xsky、内江 xsky、乐山 xsky、
资阳 xsky、宜宾 xsky、南充 xsky、达州 xsky、雅安 xsky、
阿坝藏族羌族自治州 xsky、凉山彝族自治州 xsky、广安 xsky、巴中 xsky、眉山 xsky
服务内容:
软件安装部署服务
业务对接服务
故障处理与生产变更服务
SDS 架构咨询服务
数据迁移服务
现场保障服务
集群环境变更服务
健康巡检服务
集群环境优化服务
集群升级服务
接口开发服务
集群高级实施服务
文档开发服务
开源 SDS 升级服务
技术服务经理(TAM)
生产级分布式块存储,分布式存储 SDS 横向扩展存储,软件定义块存储系统
XSKY :SDS,软件定义存储,分步式存储,分布式软件定义存储
成都科汇科技有限公司( SDS 解决方案专家)
地址:成都市人民南路四段1号时代数码大厦18F
电话:400-028-1235
QQ: 1325383361
手机:180 8195 0517(微信同号)