2020 年 5 月 8 日，国际数据公司（IDC）最新发布的《中国公有云服务市场（2019 下半年）跟踪》报告显示，2019 下半年中国公有云服务整体市场规模（IaaS/PaaS/SaaS）达到 69.6 亿美元，其中 IaaS 市场增速回落，同比增长 60.9% 。阿里、腾讯、中国电信、华为、AWS 位居 IaaS+PaaS 及 IaaS 市场前五，在IaaS+PaaS 市场总体占据 76.3% 的市场份额，在 IaaS 市场总体占据 77.5% 的市场份额，持续拉大领先优势，中国云计算时长正加速形成头部聚集态势，呈现出“一超多强”的格局[1]。

2019下半年前五大中国公有云IaaS+Paas厂商市场份额占比

        可以预见在未来相当长的一段时间内，随着公有云计算技术的不断成熟和市场的扩大，企业上云将成为常态操作；云计算市场头部企业和尾部企业差距逐渐拉大，小厂商将进一步被压缩已致消亡，云厂商之间的数据迁移也逐渐成为刚需、高频需求。

         国内公有云龙头的阿里云在企业级存储市场布局已久，其中阿里云对象存储OSS凭借多层次防护、跨Region容灾等能力连续2年入选Gartner全球云存储魔力象限。在应对企业数据存储、数据迁移等方面已有诸多成熟案，适用于不同的数据迁移场景。

对象存储OSS

        阿里云对象存储OSS立项于2008年，随飞天操作系统发展而演进。开发完成后先是在阿里巴巴集团内打磨，2011年正式在阿里云商业化发布。至2019年，OSS内核演进到第二代（OSS 2.0），发布9大新特性，继续扩大海量、安全、低成本、高持久、智能等优势。

阿里云对象存储OSS技术演进

        2020年8月，国际知名咨询机构Gartner发布了最新云厂商产品评估报告，在云存储大类中，阿里云存储得分13.7（总分15），排名第二，与排名第一的AWS仅差0.1[2]，阿里云已连续两年入选该报告，也是唯一入选的中国厂商。

       在存储 40 条评估细项中，既包括主流的对象存储、块存储和文件存储产品服务能力评估，同时也涵盖数据迁移、跨区域复制、快照生命周期管理及数据加密等高级存储服务能力。阿里云存储在本次评估中的必备能力项目得分赢得大满贯，对象存储OSS 产品能力得分也历史性超越对象存储领域泰山鼻祖 AWS S3，分析师认为，OSS数据强一致性选项， 相比S3的最终一致性，用户业务开发和使用更简单。同时，OSS 可用性 SLA 全球第一，可达 99.995%, 领先 AWS 等云厂商 10~20 倍，让用户的业务更稳定。

{1}

Gartner发布全球云产品评估报告：阿里云存储能力全球第二

阿里云对象存储如何应对企业数据存储的关键需求

数据是企业的生命线，企业的数据存储也普遍面临着 3 个挑战：

• 数据快速增长。根据 IDC 统计全球数据量在 2020 年将高达 40,000EB ， 人均 5TB。

• 数据不丢不错。Gartner 报告经历灾难系统停运的公司有 40% 立即倒闭，剩下的 33% 两年内破产。

• 法规遵从。根据行业合规要求，需要长期保留的数据越来越多、越来越严格，如金融双录需保存 6 个月、证券投资警示材料与录像需保存 20 年、会计档案需保存 10~30 年，且不可修改。

通过大量的企业交流，从中总结了 5 个关键需求，如下图所示：

{2}

企业数据存储关键需求和阿里云对象存储应对之策

• 可靠性，指在硬盘、服务器、网络等故障情况下，以及火灾、地震、洪水等灾害时，可以有效防止数据丢失，OSS 通过跨机机柜、机房、区域的数据冗余，实现了 12 个 9 的高可靠性。

• 可用性，指在服务器故障时、光线挖断时，可自动切换实现业务连续性，OSS 通过容错设计，实现了 99.995% 的可用性。

• 安全合规，指数据访问的认证、授权、加密、以及行业法规遵从，OSS 支持多项合规认证，比如 KMS 加密、WORM 认证等。

• 自动扩容，能够自适应业务数据快速增长，避免出现存储空间被打爆，OSS 通过业界领先的资源供应链管理、软件分布式弹性设计，实现 百 EB 级空间、百万亿级对象规模 能力。

• 自动生命管理，支持冷热数据的管理，优化 TCO，OSS 提供标准、低频、归档存储，并自动化迁移，优化存储使用成本。

阿里云对象存储OSS数据迁移

        数据迁移是使用阿里云对象存储OSS的首要步骤。阿里云对象存储OSS为用户提供了多种数据迁移方法和工具，用户可综合考虑容量、带宽、应用的易用性等因素，选择合适的方法。下面主要介绍三种典型的数据迁移场景和相应的数据迁移方法。

PB级IDC数据迁移

        部分企业用户自建IDC，使用本地存储，已经积累大量业务数据。用户需实现快速上云，本地机房带宽较小或无公网，但是专线价格昂贵，上云成本较高。没有专线大带宽情况下，怎么快速迁移数据上云呢？

       这种文件数量庞大且数据源出口带宽受限的数据迁移场景可以使用阿里云离线迁移（闪电立方设备）[3]。

        离线迁移（闪电立方设备）是阿里云于2017年9月推出的安全、高效、便捷的数据迁移服务。通过定制化的迁移设备（闪电立方设备），实现TB到PB级别本地数据迁移上云。致力于解决大规模数据传输效率、安全问题等难题，支持本地文件系统 NFS，NAS，HDFS，FastDFS、CIFS、HDFS等数据源，提供按量、按时服务方式，特别适用于文件数量庞大且数据源出口带宽受限的企业用户。

阿里云离线迁移服务（闪电立方设备）

和其他迁移方式相比，离线迁移服务（闪电立方设备）具有以下优势：

• 扩展灵活，低成本

  • 单台设备可支持36 TB100 TB480 TB的迁移数据能力，可多套同时使用，提升迁移效率。

  • 相比传统Internet或者专线接入的方式，成本下降60%，迁移速度提升20倍

• 部署方便

  • 采用专业的数据迁移设备，标准机架和电源，可多套同时部署提升迁移效率。

  • 支持多种的数据源类型：本地文件系统、NAS、HDFS、FastDFS等。

• 安全可靠

  • 保证数据一致性：采用CRC技术进行读写双向校验。如果数据迁移时CRC校验失败，则闪电立方会自动进行重传。

  • 数据加密：提供端到端的加密机制，并通过RAM授权的方式运输并上传数据。

  • 数据擦除：数据迁移完毕后，通过阿里云官方数据擦除机制，确保数据不会被第三方获取。（符合NIST 800-88标准中的关于数据擦除相关的标准）

       闪电立方在美国、中国、日本、马来西亚、澳大利亚等区域布局，先后完成图森智途、云健康、力美传媒、快牙、千寻、浙医二院、大连化物所、央视无锡基地、小鹏汽车、赢彻等大用户、典型客户的数据迁移、业务上云。

       用户可按照以下流程[4]使用阿里云离线迁移（闪电立方设备）。

闪电立方服务迁移流程

第三方云存储数据迁移

        阿里云在线迁移服务于2018.10月上线，通过公网或专线带宽将其他云服务上或本地机房上的数据轻松迁移至阿里云对象存储OSS或阿里云文件存储NAS，也可以在对象存储OSS之间进行灵活的数据迁移。特别适用于数据源出口带宽充足，数据量在100TB以内的公网传输场景。

         阿里云在线迁移服务搭建了完善的迁移监控可视化平台，用户无运维成本。只需要在控制台上填写按步骤填写基本的迁移信息后即可启动迁移任务；支持查询迁移进度，提供流量数据监控；支持迁移完成率统计，打印失败文件列表清单；支持随时启停迁移任务，动态修改迁移限流，重试失败任务。

在线迁移服务迁移流程

     当前在线迁移服务已支持12种第三方云存储到OSS的迁移，支持本地NAS迁移到阿里NAS，支持OSS到OSS、NAS到NAS、OSS与NAS之间迁移。支持用户指定机器与自动分配ECS两种部署方式。支持文件按前缀、最后修改时间过滤，支持指定目录或排除目录迁移。支持不停服热迁移，降低系统迁移过程汇总的应用停机时间。下表列出了在线迁移支持的异构数据源类型和功能。

在线迁移服务支持的异构数据源类型和功能

源数据位置	目标数据位置	全量迁移	增量迁移	指定前缀	指定最后修改时间
HTTP/HTTPS源	阿里云对象存储OSS	✅	✅	✅	✅
七牛云		✅	✅	✅	✅
腾讯云COS		✅	✅	✅	✅
AWS S3 / AWS S3 多版本/ AWS S3 inventory		✅	✅	✅	✅
Azure Blob		✅	✅	✅	✅
百度云 BOS		✅	✅	✅	✅
金山云 KS3		✅	✅	✅	✅
谷歌云 GCP		✅	✅	✅	✅
华为云OBS		✅	✅	✅	✅
UCloud UFile		✅	✅	✅	✅
又拍云		✅	✅	✅	✅
ECS		✅	✅	✅	✅
阿里云对象存储OSS		✅	✅	✅	✅
阿里云文件存储NAS		✅	✅	✅	✅
本地文件存储NAS	阿里云文件存储NAS	✅	✅	✅	✅
阿里云文件存储NAS		✅	✅	✅	✅
阿里云文件存储OSS		✅	✅	✅	✅

和其他迁移方式相比，在线迁移具有以下优势：

• 易用灵活

  • 支持可视化配置页面，仅需3步轻松设置迁移部署任务

  • 迁移过程实时监控，在线显示迁移进度

  • 迁移结果提供报告，完成情况一目了然

• 安全可靠

  • 保证数据一致性：支持MD5或CRC自动识别源端校验规范，进行读写双向校验

  • 传输加密：传输时，采用HTTPS数据加密通道。

• 传输性能高

  •  支持多任务、高并发

  •  支持个性化流控：为避免迁移数据与在线业务访问争抢网络带宽，在线迁移执行任务时可指定时间段内的最大流量，方便客户根据业务波峰和波谷来设置迁移流控。

       在线迁移服务上线以来，完成约27PB的数据迁移，支持了蓝月亮、玩美、欢拓、大疆、居然之家、VIVO、晓信、VipKid、小黑鱼、原力、点测、迅雷、一下、闪马、微博、UC、联想、读书郎、任意门等多个大用户的数据和业务迁移，并获得多个用户好评。

数据无缝迁移

        想象下这样的场景：某服务已经在自建的原站或其他云产品上运行，现因业务发展，需要将数据迁移到OSS上，但又不能停止服务。这种情况如何解决？

         这种数据无缝迁移到OSS的场景可以使用组合使用线迁移和回源功能。其中在线迁移负责迁移数据，回源功能保证业务的正常进行。整个迁移过程分为下面几个步骤：

• 配置Bucket回源属性，配置好数据在OSS读取miss之后回源的地址。配置好之后如果访问某Object miss的时候你的客户端可以根据OSS返回的302重定向去配置的地址读取文件。

• 配置迁移工具，从源端向OSS迁移数据，这一步不影响您的业务，异步的从源站将数据搬迁到OSS。

• 数据搬迁接近完成的时候，将业务上的读写从之前的源站切换到OSS。

• 等待迁移工具从源搬迁完所有的老数据（这种场景下如果您的业务有对数据的覆盖写是需要注意的，可能会造成老数据覆盖新数据）

如上所说，我们有两种方式Bucket回源属性可以做到无缝迁移，即镜像和重定向[5]：

镜像回源

利用镜像回源做无缝数据迁移

       上图中带有数字标记的箭头就是数据访问miss时的数据流向。在镜像回源的方式下用户访问OSS如果Object miss，那么OSS会替用户从源站读回文件，并写入到OSS，这样一来，如果用户的请求可以遍历所有的文件，那么这个异步的迁移过程其实是可以省略掉的。

重定向回源

利用重定向做无缝数据迁移

       上图中有数字标记的箭头就是数据访问miss时的数据流向。在配置重定向回源的方式下，如果Object miss，那么需要您的客户端去源站去读取一次数据。这就要求您的客户端要能理解http协议中的3xx重定向语义（OSS的重定向回源是通过3xx重定向来实现的）。需要注意的是，在这种回源方式下，OSS不能自动帮用户搬迁数据，用户的数据必须依靠迁移工具/服务来异步的搬迁到OSS上面来。上图中也能看到在这种场景下配合CDN一起使用，那么文件会cache在CDN上，无需每次miss之后都回源站读取，也是一种减少延迟、节省源站流量的方式。如果不使用CDN，那么就需要用户自己完成回源站读取数据的过程。

两种回源方式都能实现数据无缝迁移，具体选择哪种可以参考以下使用建议：

• 如果要迁移的文件较少，建议配置镜像回源的方式，按照文件列表逐一访问OSS，OSS会把所有的文件从源站读取出来，回写到您的Bucket，这种方式是一个最简单的迁移方案。

• 如果需要迁移的文件量比较大，或者文件的大小比较大，那么由于镜像回源的方式带宽有限，依靠这种方式来搬迁数据可能会花费比较长的时间，影响您的使用体验，建议使用“重定向回源+迁移工具/服务”的方式，如果Object miss，直接让客户端从源站读取数据，由迁移工具/服务来异步的搬迁数据，不影响您的服务。

• 如果您的业务对延迟比较敏感，建议在大部分数据迁移完成之后再将业务切到OSS上来，否则像文章开头的两张图中所示，如果数据访问miss的话，用户的请求都会经过一个比直接访问OSS上的Object更长的过程，这一过程会增加访问延迟，可能会降低您的用户体验，所以这个重定向或者镜像的数据比例要控制的尽可能小一些。

两种回源规则均可通过阿里云OSS控制台或命令行工具ossutil进行操作。

 

典型企业案例

数据迁移方案需要因地制宜，选择合适的数据迁移方案，可能会涉及到不同迁移方案的组合。下面介绍两个典型的数据迁移案例。

115科技45天百PB数据迁移

场景

      2018.2，阿里云支持115科技的数据迁移。115科技总数据量约100PB、130亿文件存储在东莞、佛山、梅州三个机房，分别有数据50PB、30PB、20PB。整个迁移过程要求整体服务不停机，客户无感知，数据无遗漏错误。当时互联网历史上还未有规模如此大的公有云数据迁移先例。

迁移方案

       为了保障115业务平滑迁移，阿里云将分布在不同地区的数千台物理机内的数据与云上的位置进行了一一对应的规划，保证每一比特都有迹可循。从于迁移成本和效率考量，阿里云最终采取在线迁移和离线迁移的组合迁移方案。

115科技数据迁移方案——在线迁移和离线迁移组合拳

 

       其中，佛山、东莞机房采用了300Gb专线互连的传输方式，建立边界路由器和路由器接口来连接115的数据中心与阿里云VPC，采用400Gb/s的分布式在线数据传输服务OSSImport，将115的数据加密迁移到对象存储OSS中，并对每个文件做端到端的SHA-1校验，避免出现数据不可用或者不一致的情况。为了提升传输效率，阿里云存储研发团队在10天内设计了11个功能，包括SHA-1校验边算边传、WORM（一写多读禁止覆盖））、HEIF与矢量图片转换支持等特性，用于承载115科技的非结构化数据如文档、图片、视频的业务[6]。

      梅州机房使用闪电立方，每套闪电立方可容纳480TB数据，在数据安全方面满足企业严格的要求。可在2分钟内就完成了2TB数据的安全传输过程，每块硬盘专项分离保护，并实施专人专车的运输保障，让离线传输同样专业、高效、安全。有了闪电立方的快速离线迁移能力，115科技的上云时长从预计的4个月大幅缩短到了45天。

     经过严格校验无一错误。115科技迁移上云，是中国互联网史上数据规模最大的迁移项目，成为业界标杆。

某互联网公司无缝数据迁移

场景

客户 A 为某互联网服务公司，主要业务架设于某云计算服务提供商 B 处，为其用户提供图片、视频等在线编辑服务。客户 A 存储在 B 处的历史数据约有1亿个文件，共320TB 左右大小，每天新增约20GB 数据，B 处的数据存储服务和 OSS 的访问带宽均为250MByte/s，业务所需带宽最高为50MByte/s。

现因公司发展需要，考虑将业务切换至 OSS 上。切换时需将原始数据及新增的数据迁移至 OSS，因历史数据较多，为保证公司业务正常进行，此次业务切换需做到如下要求。

• 迁移中，需保证业务的正常进行，不能影响其用户正常读取数据。

• 迁移完成后，需保证数据完整，业务可无缝切换。

迁移方案

根据客户需求及背景信息，制定了如下迁移方案。

1. 通过阿里云在线迁移服务将客户的存量数据从云服务迁移到 OSS，迁移完成前，客户业务不做变动。

2. 存量数据迁移完成后，通过 OSS 的镜像回源功能让用户可以访问到暂时未迁移至 OSS 的增量数据。

3. 客户将业务切换至 OSS。

4. 业务切换完成后，通过在线迁移服务将用户的增量数据也迁移至 OSS。

5. 数据全部迁移完成并检查无误后，删除源端数据。

步骤一：迁移存量数据

1. 创建用于存储迁移数据的 OSS Bucket，详细步骤请参考创建存储空间。

2. 创建用于迁移的子账号 AccessKey。

• • 获取 B 存储服务子账号的 AccessKey：登录云服务控制台获取访问密钥（AccessKey）。

  • 获取阿里云 OSS子账号的 AccessKey：请参考创建 RAM 子账号并授予相关权限。

创建数据地址并创建全量迁移任务。详细配置步骤请参见在线迁移服务对应教程的迁移实施文档。其中，迁移任务的任务配置如下所示。

步骤二：配置镜像回源

       迁移存量数据用时约25天，数据迁移过程中，源站还在不断产生新的数据。为了不中断业务，做到业务无缝切换，还需要配置镜像回源功能。当用户请求的文件在 OSS 中没有找到时，OSS会自动到源站抓取对应文件保存到 OSS，并将内容直接返回给用户。

1. 登录 OSS 管理控制台。

2. 在存储空间列表内，单击存放迁移数据的存储空间。

3. 单击存储设置，之后单击镜像回源区域的设置。

4. 单击创建规则，在弹出的创建规则对话框填写回源信息。

{10}

步骤三：业务切换至 OSS

      客户在业务服务器上将数据读取的源地址切换至 OSS。

步骤四：迁移增量数据

       迁移存量数据期间，源端产生了约100000个，共500GB 左右大小的文件，还需要将这部分增量数据迁移到 OSS。

1. 根据步骤一：迁移存量数据的创建迁移任务重新创建一个增量迁移任务。其中，迁移任务的任务配置如下所示。

{11}

性能调优配置如下所示。

 

 

   4. 单击创建，开始执行迁移任务。

   5. 迁移完成后，需通过查看迁移报告，并对比源地址和目的地址的数据，确认数据已经迁移完成。

步骤五：删除源端数据

      所有数据迁移完成后，为防止源端继续产生存储费用，可通过生命周期管理，将 Object 生命周期设置为1天，1天后将删除所有数据。

了解更多上云联系我们（微信）：kinnah33