学习hadoop必须有java基础吗
⑤ 需要具备一定的javase基础知识；⑥ 如果懂java web及各种框架知识那就更好了。虚拟机：⑦ 需要掌握虚拟机；⑧ 需要安装linux操作系统。⑨ 需要配置虚拟机网络。
不要，但是一定要懂得linux操作系统，远程服务器操作。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
大数据开发学习要掌握java、linux、hadoop、storm、flume、hive、Hbase、spark等基础知识。首先学习大数据的基础是Java语言和Linux操作系统，零基础需要从这两项基础开始学习，学习顺序不分先后，一般都会选择先从java语言开始学习。
如果你要定制化一些东西，比如inputformat/outputformat之类的，或者你想调用hdfs/yarn的java接口，懂java就很必要了。
最好有java基础吧， 因为你不可能只学一个hadoop吧。hadoop上面还有一大堆应用呢，hbase、spark、mapreduce 等等一大堆。
java开发中什么样的项目会用到Hadoop?
1、Hadoop大数据项目：比如说云盘 、离线分析项目等都是属于Hadoop的。
2、Hadoop是用来开发分布式程序的架构，是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。MapReduce是用来做大规模并行数据处理的数据模型。
3、快照支持在一个特定时间存储一个数据拷贝，快照可以将失效的集群回滚到之前一个正常的时间点上。HDFS已经支持元数据快照。HDFS的设计是用于支持大文件的。运行在HDFS上的程序也是用于处理大数据集的。
4、从掌握基础上来说，Java与Hadoop的关系还是挺密切的，因为java的水平好些，学习hadoop更方便些，毕竟hadoop是java开发的，所以具有java基础的人转型Hadoop有天然优势 但单从两者的关系来说，不密切。
5、提供海量数据存储和计算的。需要java语言基础。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。
Hadoop软件处理框架
Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。
Hadoop通用：提供Hadoop模块所需要的Java类库和工具。Hadoop YARN：提供任务调度和集群资源管理功能。Hadoop HDFS：分布式文件系统，提供高吞吐量的应用程序数据访问方式。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
hive是hadoop的延申。hadoop是一个分布式的软件处理框架，hive是一个提供了查询功能的数据仓库，而hadoop底层的hdfs为hive提供了数据存储。hive将用户提交的SQL解析成mapreduce任务供hadoop直接运行，结合两者的优势，进行数据决策。
微信扫一扫 
支付宝扫一扫 
