发布时间: 2023-04-21 16:57:40
大数据相当于海量数据的 "数据库",纵观大数据领域的发展,也可以看出目前大数据处理的发展方向已经近似于传统的数据库经验、 随着Hadoop的诞生使我们能够用普通的机器建立稳定的集群来处理TB级的数据,将传统的、昂贵的并行计算等概念一下子拉到了我们面前,
但其并不适合数据分析师(因为MapReduce开发的复杂性),于是PigLatin和Hive出现了(分别由Yahoo! 和facebook分别发起的项目。说到这里要补充一下,在大数据领域Google、facebook和twitter等前沿互联网公司都做出了非常积极有力的贡献),给我们带来了类似SQL的操作,到后来操作就像SQL一样,但处理效率却非常慢,绝对与传统数据库的处理效率有天壤之别、 所以人们又开始思考如何在处理大数据时不仅能做到类SQL的操作,而且处理速度也能 "类SQL",谷歌给我们带来了Dremel/PowerDrill等技术,而Cloudera(Hadoop中商业化程度最高的公司,Hadoop之父cutting在这里负责技术领导)的Impala也出现了。
总的来说,未来的趋势是云计算作为计算资源的底层,支持大数据处理的上层,其趋势是实时互动查询效率和分析上一篇: 企业组网是指什么
下一篇: Redis sentinel机制