大数据技术庞大复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。
大数据技术体系
查询引擎
1、Phoenix
简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。
2、Presto
简介：Facebook开源的数据查询引擎Presto ，可对250PB以上的数据进行快速地交互式分析。
3、Shark
简介：Shark即Hive on Spark，本质上是通过Hive的HQL解析。特点就是快，完全兼容Hive。
4、Pig
简介：Pig是一种编程语言，它简化了Hadoop常见的工作任务。
5、Cloudera Impala
简介：Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速，交互式的SQL查询。
6、Apache Drill
简介：Apache Drill是是一个能够对大数据进行交互分析、开源的分布式系统。
7、Hive
简介：hive是基于Hadoop的一个数据仓库工具。
8、Apache Tajo
简介：Apache Tajo项目的目的是在HDFS之上构建一个先进的数据仓库系统。
流式计算
1、Facebook Puma
简介：实时数据流分析。
2、Twitter Rainbird
简介：Rainbird一款基于Zookeeper, Cassandra, Scribe, Thrift的分布式实时统计系统。
3、Twitter Storm
简介：Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。
迭代计算
1、Apache Hama
简介：Apache Hama是一个纯BSP（Bulk Synchronous Parallel）计算框架。
2、Apache Giraph
简介：Apache Giraph是一个可伸缩的分布式迭代图处理系统。
3、、HaLoop
简介：迭代的MapReduce，HaLoop——适用于迭代计算的Hadoop 。
4、Twister
简介：Twister， 迭代式MapReduce框架。
离线计算
1、Hadoop MapReduce
简介：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。
2、Berkeley Spark
简介：Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行，能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
3、DataTorrent
简介：DataTorrent基于Hadoop 2.x构建，是一个实时的、有容错能力的数据流式处理和分析平台。
键值存储
1、LevelDB
简介：Leveldb是一个google实现的非常高效的kv数据库。
2、RocksDB
简介：RocksDB在代码层面上是在LevelDB原有的代码上进行开发的。
3、HyperDex
HyperDex是一个分布式、可搜索的键值存储系统。
4、TokyoCabinet
简介：日本人Mikio Hirabayashi（平林干雄）开发的一款DBM数据库。
5、Voldemort
简介：Voldemort是一个分布式键值存储系统。
6、Amazon Dynamo
简介：Amazon Dynamo 是一个经典的分布式Key-Value 存储系统。
7、Tair
简介：tair 是淘宝自己开发的一个分布式 key/value 存储引擎。
8、Apache Accumulo
简介：Apache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案。
9、Redis
Redis是一个高性能的key-value存储系统。
表格存储
1、OceanBase
简介：OceanBase是一个支持海量数据的高性能分布式数据库系统。
2、Amazon SimpleDB
Amazon SimpleDB是一个分散式数据库，以Erlang撰写。
3、Vertica
简介：Vertica基于列存储。相比传统面向行存储的数据库具有巨大的优势。
4、Cassandra
简介：Cassandra是一套开源分布式NoSQL数据库系统。
5、HyperTable
简介：Hypertable是一个开源、高性能、可伸缩的数据库。
6、FoundationDB
简介：支持ACID事务处理的NoSQL数据库。
7、HBase
简介：HBase是一个分布式的、面向列的开源数据库。
文件存储
1、CouchDB
简介：CouchDB是用Erlang开发的面向文档的数据库系统。
2、MongoDB
简介：MongoDB 是一个基于分布式文件存储的数据库。
3、Tachyon
简介：Tachyon是一个分布式内存文件系统。
4、HDFS
简介：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。
资源管理
1、Twitter Mesos
简介：Apache Mesos是由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件
2、Hadoop Yarn
简介：Hadoop 新 MapReduce 框架 Yarn。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。