发 帖  
原厂入驻New

[经验] 大数据专业技术学习之大数据处理流程

2018-6-11 16:41:53  1228 大数据
分享
0
随着互联网的发展,大数据也在逐渐彰显出自己的优势特点,那么关于大数据的处理流程,你是否了解?
第一,数据采集
定义:利用多种轻型数据库来接收发自客户端的数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。
特点和挑战:并发系数高。
使用的产品:MySQL,Oracle,HBase,Redis和 MongoDB等,并且这些产品的特点各不相同。
第二,统计分析

定义:将海量的来自前端的数据快速导入到一个集中的大型分布式数据库 或者分布式存储集群,利用分布式技术来对存储于其内的集中的海量数据进行普通的查询和分类汇总等,以此满足大多数常见的分析需求。

特点和挑战:导入数据量大,查询涉及的数据量大,查询请求多。

使用的产品:InfoBright,Hadoop(Pig和Hive),YunTable, SAP Hana和OracleExadata,除Hadoop以做离线分析为主之外,其他产品可做实时分析。

第三,挖掘数据
定义:基于前面的查询数据进行数据挖掘,来满足高级别的数据分析需求。
特点和挑战:算法复杂,并且计算涉及的数据量和计算量都大。

使用的产品:R,HadoopMahout

lee_st 2018-6-12 09:16:22
主流啊
回复

举报

lee_st 2018-6-12 09:16:32
到处都是大数据
回复

举报

只有小组成员才能发言,加入小组>>

906个成员聚集在这个小组

加入小组

创建小组步骤

关闭

站长推荐 上一条 /7 下一条

快速回复 返回顶部 返回列表