新闻详情
新闻搜索
如何将FastDFS存储数据平滑迁移至XSKY对象存储？ 科汇科技-四川 XSKY分布式存储 软件定义存储 解决方案专家
FastDFS
FastDFS是以纯C语言实现的一款开源轻量级分布式文件系统，支持Linux、FreeBSD、AIX等UNIX类系统。
FastDFS不是通用的文件系统，不支持POSIX接口方式，只能通过专有API对文件进行存取访问，目前提供了C、Java和PHP API为互联网应用量身定做，解决大容量文件存储问题。
主要功能有：文件存储，文件同步，文件访问（文件上传/下载），适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务，如相册网站、视频网站等等。
FastDFS由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)构成。
1、跟踪器-Tracker
跟踪服务器，主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息，是客户端和数据服务器交互的枢纽。客户端访问集群的时候会随机分配一个Tracker来和客户端交互；
2、存储节点-Storage
存储服务器（又称：存储节点或数据服务器），实际存储数据的地方，文件和文件属性（meta data）都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。Group可以隔离不同应用的数据，不同应用的数据放在不同group里面；
3、客户端-Client
作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。每个客户端服务器需要安装Nginx。
由于FastDFS产品非常轻量简单，支持最小化部署，所以目前还有部分用户在使用该产品。但FastDFS被使用在生产环境还有很多隐患和不足：
FastDFS主要缺陷
01
XEOS对象存储
XEOS （XSKY Enterprise Object Storage）通过全新的存储技术手段，基于通用服务器硬件构建了一个近乎无限扩容、持续在线、可跨地域访问的高性价比存储架构体系，在保证了数据高安全性的同时，打破存储规模和地域限制的壁垒，降低企业 IT 建设的投入，满足了新业务形态的多源化存储需求。
XEOS完备的企业级存储特性，如：多副本/EC、QoS、负载均衡、小文件归并、统一命名空间、数据分层等，完美解决了FastDFS的诸多产品问题，平滑的适配了其使用场景。
02
X3DS辅助FastDFS 平滑迁移至XEOS
X3DS（XSKY 3D data management System）是XSKY提供的立体数据管理系统。可提供非结构化数据的DR（Disaster Recovery，灾难恢复），DP（Data Protection，数据保护）和DM(Data Migration，数据迁移)这三大管理能力，是一个立体的三维数据管理平台。
支持非结构化数据的复制、迁移、备份、归档功能，支持丰富的数据管理策略，满足不同用户的个性化要求。支持多存储后端协议（如：CIFS,NFS,FTP,S3,BOS,OSS，FastDFS等），极大的兼容了市场上主流文件传输协议。
支持跨厂商的文件和对象存储之间数据相互移动，支持跨云的数据上云和下云，适应性广，避免用户被设备厂商和公有云厂商锁定。迁移任务支持断点续传，应对海量数据迁移过程中，如发生机房掉电等故障，故障恢复后，再次启动迁移任务可以实现断点续传，有效节省迁移时间。
1、整体迁移方案架构
2、方案特点
- 可配置迁移QoS；
- 支持主流协议迁移；
- 为保证数据可用，业务切换时需要短暂停机做最终数据一致检查；
- 支持—file-from，指定文件迁移；
- 支持脚本工具导出FastDFS集群文件ID；
- 迁移任务支持断点续传。
3、具体部署方案
整体操作流程：
- 创建源端
- 创建目标端
- 创建迁移任务
- 数据迁移中
- 产品安装部署：
1.目标XEOS集群部署
- 网络需要与源端集群业务网络连通；
- 参照《星辰天合分布式存储系统软件安装手册》完成XEOS分布式对象存储安装，初始化配置，调试完毕，准备就绪。
2.信息收集，集群规划
- 收集原有FastDFS集群相关信息；
- 结合客户需求定制，规划新集群相关配置信息。
3.迁移流程规划
- 迁移项目实施需有详尽的方案规划，针对不同的业务应用或者租户，优化切割时间节点；
- 评估重点业务，为保证迁移的有效性和安全性，需要对验证迁移前后数据的一致性和完整性做整体规划；
- 确定迁移步骤，顺序，工具，实施人员等信息，给出具体的实施指导手册和计划，以及对应的回退方案。
4.目标端集群配置
- 目标端集群对应资源的创建（对象资源，永久Token等）；
- 确定新集群和应用业务的对接。
5.Nginx安装
- 下载并配置FastDFS-Nginx-Module模块，完成在Storage所有节点上Nginx的安装；
- Storage节点上对接配置Nginx，并设置开机自启动；
- 测试Nginx模块。
6.数据迁移
安装配置X3DS
- X3DS产品支持融合部署在XEOS存储节点，不需要额外的资源消耗；
- 上传解压X3DS安装包，一键安装部署；
- 添加X3DS节点(支持单节点和多节点部署，多节点部署建议至少3个节点) ；
- 在目标端XSKY存储上创建永久Token；
- 参照手册创建源端的FastDFS和目标端的XEOS S3的Remote类型；
- 检查业务网络的连通性，待迁移数据需可以在X3DS业务节点访问。
数据迁移
- 部署用户提供的文件ID列表保存在X3DS业务节点上；
- 预测试，使用小部分数据先预测试，验证方案可行性；
- 配置迁移任务；
- 迁移完成后，检查一致性。
7.迁移完成，业务切换
迁移完成后，业务切换，验证数据一致性。
03
迁移案例
某新消费服务平台在新数据中心建设上采用XSKY XEOS来满足其非结构化数据存储需求。原数据存储在FastDFS文件系统中，总文件数量超过48亿个，总容量超过700TB，数据类型大部分为100-500kb的PDF文件。为了实现数据的统一管理和维护，需要将原FastDFS集群上的数据迁移至新建XEOS对象存储集群中。
1、迁移方式
- 采用在线迁移的方式进行；
- 需要多次迁移，停业务完成最后的迁移；
- 短暂离线迁移主要用于校验数据一致性。
2、第一期迁移
完成数据迁移共计600W+文件；
共计迁移时间4小时。
3、改造后优势
IT 解决方案：
XSKY服务器虚拟化解决方案
XSKY私有云解决方案
XSKY容器解决方案
XSKY企业级应用解决方案
XSKY桌面虚拟化（VDI）解决方案
XSKY容灾解决方案
XSKY开发测试平台解决方案
XSKY分支机构解决方案
XSKY新建数据中心解决方案
应用场景：
双活
容器
大数据
云平台
云桌面
产品规格：
SDS 软件
XCBS 云后端存储
XEBS 块存储
XEUS 统一存储
XEOS 对象存储
XEDP 统一数据平台
SDS 一体化产品
XSCALER EXPRESS 2000：XE2020、XE2030、XE2050
XSCALER 3000
服务区域：
成都 xsky、绵阳 xsky、自贡 xsky、攀枝花 xsky、泸州 xsky、
德阳 xsky、广元 xsky、遂宁 xsky、内江 xsky、乐山 xsky、
资阳 xsky、宜宾 xsky、南充 xsky、达州 xsky、雅安 xsky、
阿坝藏族羌族自治州 xsky、凉山彝族自治州 xsky、广安 xsky、巴中 xsky、眉山 xsky
服务内容：
软件安装部署服务
业务对接服务
故障处理与生产变更服务
SDS 架构咨询服务
数据迁移服务
现场保障服务
集群环境变更服务
健康巡检服务
集群环境优化服务
集群升级服务
接口开发服务
集群高级实施服务
文档开发服务
开源 SDS 升级服务
技术服务经理（TAM）
生产级分布式块存储，分布式存储 SDS 横向扩展存储，软件定义块存储系统
XSKY ：SDS，软件定义存储，分步式存储，分布式软件定义存储
成都科汇科技有限公司( SDS 解决方案专家）
地址：成都市人民南路四段1号时代数码大厦18F
电话：400-028-1235
QQ: 2231749852
手机：138 8074 7621（微信同号）
