织梦CMS - 轻松建站从此开始!

银河国际娱乐  银河娱乐场开户网址  澳门银河娱乐场开户网址【信誉】

阿里海量数据迁移架构及最佳实践

时间:2017-12-16 19:05来源:网络整理 作者:采集侠 点击:
阿里巴巴拥有全球最为庞大的数据库集群,为了让数据在各种类别的数据库之间流动起来,解决阿里双十一单元化架构中

  【IT168 专稿】本文根据【2016 第七届中国数据库技术大会】(微信搜索DTCC2014,关注中国数据库技术大会公众号)现场演讲嘉宾付大超老师分享内容整理而成。录音整理及文字编辑IT168@ZYY@老鱼

  讲师简介

阿里海量数据迁移架构及最佳实践


付大超(花名:千震)

  阿里巴巴数据库团队技术专家、DTS团队负责人。

  2012年加入阿里巴巴,目前负责DTS团队研发工作,曾负责阿里HBase的开发及维护工作,开发了阿里HBase集群高用性系统,曾先后实习及工作于IBM、Cisco、淘宝。

  正文

  大家下午好,我是来自阿里巴巴的付大超,今天分享的主题是《阿里海量数据的迁移同步架构及最佳实践》。

  目前我负责公司内部云产品DTS研发工作,今天分享的内容主要是DTS的对外使用,我的分享分为以下四个部分:

阿里海量数据迁移架构及最佳实践


  痛点:

  我们遇到的问题来自阿里云上搜集的用户需求。是一些具有普遍意义的问题:

  1、上云难:云计算时代,上云可能是一个必须要走的路。对于很多传统企业,上云是很困难的。

  2、单点故障:数据发到云上可能会有一些单点故障。阿里云在海外比如美国,部署架构就可能遇到单点问题。

  3、系统间数据流动难:今天企业积累了大量的业务数据,应该如何进行分析,获得数据入口拿到数据。

  4、跨地区访问延迟大:国内到美国的网络还不是很好,很多公司希望在美国他们的数据也可以很好的发挥作用,而中美之间的网络是一个比较现实的问题。

阿里海量数据迁移架构及最佳实践


  阿里典型业务挑战:

  1、一键建站

  2、异地多活:在异地多活的过程中,把数据和应用迁移到一个新的站点,比如深圳。阿里在深圳部署双十一整个的交易单元,要有一套程序和机制把这件事做起来。阿里云在2015年双十一的时候就有异地多活,号称是给正在飞行的飞机换个引擎,就是这个意思。

  3、异构:阿里本身就有各种类型的数据库,数据之间的交换是一个实际问题。

  4、中美秒级同步:中美之间的网络很大,我们要获取各个数据之间的增量数据,需要做一些大数据的分析和计算。

  5、增量订阅服务。

阿里海量数据迁移架构及最佳实践

  DTS简介:

  这些问题逼着我们开发一个产品来解决。因此有了DTS数据传输服务。主要解决关系数据库之间的传输和同步服务。目前支持大部分现代商业数据库之间的迁移,支持同异构数据源之间的迁移同步。全量迁移数据高达70MB/S,具体数据可以参照下图:

阿里海量数据迁移架构及最佳实践


  DTS功能:

  DTS的功能可以在阿里云使用。几大功能如下:

  1、数据迁移功能。支持多种类型的数据库。如果是数据库相关人员,迁移实际上是非常常态化的东西,每天也都会遇到许多问题。

  2、数据同步功能。双十一整个过程都是基于数据同步实现的。异地多活则是基于底层实现的,包括中美同步问题。

  3、数据订阅功能。把数据开放出去,支持RDS多数据存储产品的增量数据实时订阅。

  4、完善的监控体系。

阿里海量数据迁移架构及最佳实践


  DTS介绍:

阿里海量数据迁移架构及最佳实践


  以上是从用户角度看的一个架构。我们提供了一些场景,首先是我们自己的AliCloud DB,阿里云提供各种类型的数据库。DTS应用的范围,一个是AliCloud DB,一个是用户使用ECS构建数据库系统。我们也提供用户自建DB,用户在自己的数据中心创建,不是阿里云的产品构建的。比如说银行可以在自己的数据中心构建这类系统。最后,OceanBase如今也在阿里云上提供服务。阿里基于这个场景提供了迁移,同步订阅和评估。我先简单介绍一下评估,今天很多用户要把他的数据迁移到阿里云或者是其他地方,这需要做很多工作。很多传统企业甚至连DBA都没有或者是依赖于几年前的某某咨询机构帮其做的一套系统,如今这个系统运营情况怎么样以及他的数据库目前是不是有什么问题,各种限制是不是能够迁移到目的端,没有人知道。如果有相关的同事做过这类事情就知道这种事情很痛苦,尤其是大的银行系统或者传统企业,或者是电信。他们的系统非常复杂,需要深入理解。我们所提供的这套程序可以自动化评估各类数据库的运行情况,根据目前正在运行的业务异构情况计算成本,根据系统基本情况推荐相应架构。

  目前的DTS架构:

阿里海量数据迁移架构及最佳实践


(责任编辑:admin)
织梦二维码生成器
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
栏目列表
推荐内容