发布网友
共2个回答
热心网友
第一个阶段:java+linux
学习大数据,只需要学习Java的标准版JavaSE就可以了,其他的向JavaEE方向的技术涉及并不多,只需要进行一个简单的了解就可以。但是Java怎么连接数据库还是要知道的,像JDBC一定要掌握一下。如果你的精力还足够充足的话,可以学学Hibernate或Mybites的原理,不要只学API,这样可以增加你对Java操作数据库的理解,因为这两个技术的核心就是Java的反射加上JDBC的各种使用。
Linux:因为与大数据相关软件的大部分都是在Linux上进行运行的,所以关于Linux这一块就要学习的扎实一些,学好Linux对快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。与此同时还能让你对以后新出的大数据技术学习起来更快。
第二个阶段:大数据技术:hadoop-hive-oozie-web-flume-python-hbase-kafka-scala-spark
Hadoop:这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。Hadoop里面包括有几个组件,比如HDFS、MapRece和YARN,HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapRece是对数据进行处理计算的,它有个特点就是不管多大的数据只要给它时间它就能把数据跑完,但是时间可能不是很快所以它叫数据的批处理。
YARN是体现Hadoop平台概念的重要组件有了它大数据生态体系的其它软件就能在hadoop上运行了,这样就能更好的利用HDFS大存储的优势和节省更多的资源比如我们就不用再单独建一个spark的集群了,让它直接跑在现有的hadoop yarn上面就可以了。当你把Hadoop的这些组件学明白你就能做大数据的处理了。
热心网友
学习大数据需要掌握的知识,初期了解概念,后期就要学习数据技术,主要包括:
1.大数据概念
2.大数据的影响
3.大数据的影响
4.大数据的应用
5.大数据的产业
6.大数据处理架构Hadoop
7.大数据关键技术
8.大数据的计算模式
后三个牵涉的数据技技术,就复杂一点了,可以细说一下:
1.大数据处理架构Hadoop:Hadoop的特性、Hadoop生态系统、Hadoop的安装与使用;
2.大数据关键技术技术:数据采集、数据存储与管理、数据处理与分析、数据隐私与安全;
3.大数据处理计算模式:批处理计算、流计算、图计算、查询分析计算
数据的核心技术就是获取数据价值,获取数据前提是,先要有数据,这就牵涉数据挖掘了。