[资料]

“阿里巴巴大数据系统体系”四大层次

2018-8-29 16:19:20 3240 阿里巴巴

0 “你是做什么的？” “数据产品经理”看到对方一脸懵逼之后，再补充一句“大数据相关的工作” “哦～，高大上，不懂” 过去5年，“大数据”是最火的一个概念，被纷繁解读。在我看来，数据跟石油、煤炭一样是一种资源。这种资源其实很早之前就被发现、被应用。只不过因为互联网的发展，数据这种资源呈现出了“爆炸式”的增长，而人们也发现了它巨大的潜在价值；预计到2020年，全球数据总量将超过40ZB(相当于40万亿GB)。所以面对如此“量大”、“价值大”的资源，我们需要建立一套从数据采集、计算到服务到应用的“大数据体系”，就跟“石油体系’一样有勘探、采集、传输、加工、应用等；由此也萌生出一批“大数据体系”相关的工种。阿里巴巴作为距离大数据最近的公司之一，既有丰富的数据资源也有丰富的应用场景，从它建构的大数据体系了解“大数据”这条生态链的全貌，我认为是比较科学的。 “阿里巴巴大数据系统体系”设计原则：满足不断变化的业务需求，同时实现系统的高度扩展性、灵活性以及数据展现的高性能。 “阿里巴巴大数据系统体系”主要分为数据采集、数据计算、数据服务和数据应用四大层次；数据采集 Web端日志采集技术方案：Aplus.JS APP端日志采集技术方案：UserTrack 生产业务—>大数据系统传输： timeTunnel(TT),既包括数据库的增量数据传输，也包括日志数据的传输；既支持实时流式计算，也支持各种时间窗口的批量计算；数据同步工具（DataX和同步中心）直连异构数据库来抽取各种时间窗口的数据；数据计算 MaxCompute-离线计算平台：阿里自研的离线大数据平台，拥有强大的存储和计算能力； StreamCompute-实时计算平台：阿里自研的流式大数据平台，支持流式计算需求； OneData-数据整合及管理体系：数据整合及管理的方法体系和工具，大数据工程师在这一体系下，构建统一、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性。数据服务 OneService-统一的数据服务平台：以数据仓库整合计算好的数据作为数据源，对外通过接口的方式提供数据服务，主要提供简单数据查询服务、复杂数据查询服务和实时数据推送服务三大特色数据服务数据应用数据作为新能源，需要通过合适的应用提供给用户，让数据最大化地发挥价值。应用表现可以在搜索、推荐、广告、金融、物流等各个方面。转载：数据产品笔记本 0
举报淘帖0 只看该作者相关推荐 • 数据揭秘你不知道的阿里巴巴数据中心 3017 • 哪里可以下载阿里巴巴的地方和链接？ 2897 • 详解阿里巴巴智能对话开发平台 2789 • 国内芯片—阿里巴巴的人工智能实力 4216 • 支持Dubbo生态发展，阿里巴巴启动新的开源项目 Nacos 3500 • 基于阿里云数加MaxCompute的企业大数据仓库架构建设思路 3453 • 阿里巴巴大数据实践之数据建模 2743 • 阿里巴巴敏捷研发的探索与实践 3754 • 2017双11技术揭秘—阿里巴巴数据库技术架构演进 2384 • 荣邦佳业有阿里巴巴啦 2238