乐博赚百万网站

首页 > 正文

OSS在线迁移服务剖析

www.club5w.com2019-08-07
乐博国际网站 ?

  目前由于OSS数据迁移服务涉及到对目标的OSS要有很多动作的API授权。为避免用户学习成本过高,我们直接强制使用主帐户进行迁移;

该服务处于测试阶段,仍处于免费使用阶段;该服务需要通过工作单应用程序帐户UID添加到白名单中;

离线迁移:这是指Lightning Cube硬盘数据副本迁移到OSS的方式;适用于专有云,并且需要快速迁移大量PB级数据;

在线迁移:包括第三方存储迁移到OSS和ECS数据迁移到OSS

1.创建一个数据地址,类似于ossimportjob.cfg的操作,配置迁移的数据源,以及目标OSSbucket相关的配置;

用于迁移数据的accesskeyID必须具有相应的权限,授予子帐户存储空间读写权限(AliyunOSSFullAccess)和在线迁移管理权限(AliyunMGWFullAccess)

数据地址将创建两个,一个源数据地址,一个目标数据地址;

2,创建迁移任务

3.任务类型描述

完全迁移:将所有源文件上传到OSS;

增量迁移:在上传之前列出所有源文件,比较哪些已上传,不会重复上传;

数据同步:请注意,在部署在OSS之间迁移的任务时,可以在同一区域中执行数据同步操作,并且定期将源缓冲区数据同步到目标存储桶;

也可以在指定文件的时间执行数据迁移;

4,调整设置

用户配置迁移量和大致文件数后,可以根据设置自动计算分配的工作线程数,用户也可以根据时间段或无限流量灵活限制流量;

5,注意

创建迁移任务后。OSS将访问源以提取单个文件进行测试。如果源文件包含非法命名的对象,则整个任务将失败,

非法字符包含'/.',长度不能超过1024个字节;

已创建用户可以管理和监控的迁移任务;

进入管理界面后,我们可以看到迁移任务的整体监控(流量,任务状态,迁移进度)

如果在任务迁移期间出现故障,则用户可以重试;

完成任务迁移后,用户将生成迁移报告,包括实际迁移次数,是否存在错误以及错误原因;报告保存在OSS上;

作者:张博医疗

阅读原文

本文是云栖社区的原创内容,未经许可,不得转载。

96

阿里云云栖社区

96daa9ff5e2d4ab8976904a0eb468046

0.6

2019.07.2912: 10

字数750

目前,由于OSS数据迁移服务涉及目标OSS的许多API授权,为了避免过多的学习成本,我们直接强制使用主帐户进行迁移;

该服务处于测试阶段,仍处于免费使用阶段;该服务需要通过工作单应用程序帐户UID添加到白名单中;

离线迁移:这是指Lightning Cube硬盘数据副本迁移到OSS的方式;适用于专有云,并且需要快速迁移大量PB级数据;

在线迁移:包括第三方存储迁移到OSS和ECS数据迁移到OSS

1.创建一个数据地址,类似于ossimportjob.cfg的操作,配置迁移的数据源,以及目标OSSbucket相关的配置;

用于迁移数据的accesskeyID必须具有相应的权限,授予子帐户存储空间读写权限(AliyunOSSFullAccess)和在线迁移管理权限(AliyunMGWFullAccess)

数据地址将创建两个,一个源数据地址,一个目标数据地址;

2,创建迁移任务

3.任务类型描述

完全迁移:将所有源文件上传到OSS;

增量迁移:在上传之前列出所有源文件,比较哪些已上传,不会重复上传;

数据同步:请注意,在部署在OSS之间迁移的任务时,可以在同一区域中执行数据同步操作,并且定期将源缓冲区数据同步到目标存储桶;

也可以在指定文件的时间执行数据迁移;

4,调整设置

用户配置迁移量和大致文件数后,可以根据设置自动计算分配的工作线程数,用户也可以根据时间段或无限流量灵活限制流量;

5,注意

创建迁移任务后,OSS将转到源以提取单个文件进行测试。如果源文件包含非法命名的对象,则整个任务将失败。

非法字符包含'/.',长度不能超过1024个字节;

已创建用户可以管理和监控的迁移任务;

进入管理界面后,我们可以看到迁移任务的整体监控(流量,任务状态,迁移进度)

如果在任务迁移期间出现故障,则用户可以重试;

完成任务迁移后,用户将生成迁移报告,包括实际迁移次数,是否存在错误以及错误原因;报告保存在OSS上;

作者:张博医疗

阅读原文

本文是云栖社区的原创内容,未经许可,不得转载。

目前,由于OSS数据迁移服务涉及目标OSS的许多API授权,为了避免过多的学习成本,我们直接强制使用主帐户进行迁移;

该服务处于测试阶段,仍处于免费使用阶段;该服务需要通过工作单应用程序帐户UID添加到白名单中;

离线迁移:这是指将Lightning Cube硬盘数据复制到OSS的方式;适用于专有云。并且需要大量的PB级数据来快速迁移;

在线迁移:包括第三方存储迁移到OSS和ECS数据迁移到OSS

1.创建一个数据地址,类似于ossimportjob.cfg的操作,配置迁移的数据源,以及目标OSSbucket相关的配置;

用于迁移数据的accesskeyID必须具有相应的权限,授予子帐户存储空间读写权限(AliyunOSSFullAccess)和在线迁移管理权限(AliyunMGWFullAccess)

数据地址将创建两个,一个源数据地址,一个目标数据地址;

2,创建迁移任务

3.任务类型描述

完全迁移:将所有源文件上传到OSS;

增量迁移:在上传之前列出所有源文件,比较哪些已上传,不会重复上传;

数据同步:请注意,在部署在OSS之间迁移的任务时,可以在同一区域中执行数据同步操作,并且定期将源缓冲区数据同步到目标存储桶;

也可以在指定文件的时间执行数据迁移;

4,调整设置

用户配置迁移量和大致文件数后,可以根据设置自动计算分配的工作线程数,用户也可以根据时间段或无限流量灵活限制流量;

5,注意

创建迁移任务后,OSS将转到源以提取单个文件进行测试。如果源文件包含非法命名的对象,则整个任务将失败。

非法字符包含'/.',长度不能超过1024个字节;

已创建用户可以管理和监控的迁移任务;

进入管理界面后,我们可以看到迁移任务的整体监控(流量,任务状态,迁移进度)

如果在任务迁移期间出现故障,则用户可以重试;

完成任务迁移后,用户将生成迁移报告,包括实际迁移次数,是否存在错误以及错误原因;报告保存在OSS上;

作者:张博医疗

阅读原文

本文是云栖社区的原创内容,未经许可,不得转载。

热门浏览
热门排行榜
热门标签
日期归档