2015年大数据hadoop教程8天

课程先容与笔记

1.HDFS shell

1.0检察帮助

hadoop fs -help

1.1上传

hadoop fs -put <linux上文件><hdfs上的途径>

1.2检察文件内容

hadoop fs -cat <hdfs上的途径>

1.3检察文件列表

hadoop fs -ls /

1.4下载文件

hadoop fs -get <hdfs上的途径><linux上文件>

2.利用java接口操纵HDFS

见eclipse工程下的demo

3.hadoop通讯机制

分歧进程之间的方式停止挪用

4.HDFS源码分析

FileSystem.get --> 经过反射实例化了一个DistributedFileSystem --> new DFSCilent()把他作为自己的成员变量

在DFSClient机关方式里面，挪用了createNamenode，利用了RPC机制，获得了一个NameNode的代理工具，便可以和NameNode停止通讯了

FileSystem --> DistributedFileSystem --> DFSClient --> NameNode的代理

1.履行MR的号令：

hadoop jar <jar在linux的途径><main方式地点的类的全类名><参数>

例子：

hadoop jar /root/wc1.jar cn.itcast.d3.hadoop.mr.WordCount hdfs://itcast:9000/words /out2

2.MR履行流程

(1).客户端提交一个mr的jar包给JobClient(提交方式：hadoop jar ...)

(2).JobClient经过RPC和JobTracker停止通讯，返回一个寄存jar包的地址(HDFS)和jobId

(3).client将jar包写入到HDFS傍边(path = hdfs上的地址 + jobId)

(4).起头提交使命(使命的描写信息，不是jar, 包括jobid，jar寄存的位置，设置信息等等)

(5).JobTracker停止初始化使命

(6).读取HDFS上的要处置的文件，起头计较输入分片，每一个分片对应一个MapperTask

(7).TaskTracker经过心跳机制支付使命(使命的描写信息)

(8).下载所需的jar，设置文件等

(9).TaskTracker启动一个java child子进程，用来履行具体的使命(MapperTask或ReducerTask)

(10).将成果写入到HDFS傍边

1.实现分区的步调：

1.1先分析一下具体的营业逻辑，肯定大要有几多个分区

1.2首先誊写一个类，它要继续org.apache.hadoop.mapreduce.Partitioner这个类

1.3重写public int getPartition这个方式，按照具体逻辑，读数据库大概设置返回不异的数字

1.4在main方式中设备Partioner的类，job.setPartitionerClass(DataPartitioner.class);

1.5设备Reducer的数目，job.setNumReduceTasks(6);

2.排序MR默许是按key2停止排序的，假如想自界说排序法则，被排序的工具要实现WritableComparable接口，在compareTo方式中实现排序法则，然后将这个工具当做k2，即可完成排序

3.combiner的感化就是在map端对输出先做一次合并，以削减传输到reducer的数据量。

4.MR启动流程

start-mapred.sh --> hadoop-daemon.sh --> hadoop --> org.apache.hadoop.mapred.JobTracker

Jobtracker挪用顺序：main --> startTracker --> new JobTracker 在其机关方式中首先建立一个调剂器，接着建立一个RPC的server(interTrackerServer)tasktracker会经过PRC机制与其通讯

然后挪用offerService方式对外供给办事，在offerService方式中启动RPC server，初始化jobtracker，挪用taskScheduler的start方式 --> eagerTaskInitializationListener挪用start方式，

--> 挪用jobInitManagerThread的start方式，由于其是一个线程，会挪用JobInitManager的run方式 --> jobInitQueue使命行列去取第一个使命，然后把它丢入线程池中，然后挪用-->InitJob的run方式

--> jobTracker的initJob方式 --> JobInProgress的initTasks --> maps = new TaskInProgress[numMapTasks]和reduces = new TaskInProgress[numReduceTasks];

TaskTracker挪用顺序：main --> new TaskTracker在其机关方式中挪用了initialize方式，在initialize方式中挪用RPC.waitForProxy获得一个jobtracker的代理工具

接着TaskTracker挪用了自己的run方式，--> offerService方式 --> transmitHeartBeat返回值是(HeartbeatResponse)是jobTracker的指令，在transmitHeartBeat方式中InterTrackerProtocol挪用了heartbeat将tasktracker的状态经过RPC机制发送给jobTracker,返回值就是JobTracker的指令

heartbeatResponse.getActions()获得具体的指令，然后判定指令的具体范例，起头履利用命

addToTaskQueue启动范例的指令加入到行列傍边，TaskLauncher又把使命加入到使命行列傍边，--> TaskLauncher的run方式 --> startNewTask方式 --> localizeJob下载资本 --> launchTaskForJob起头加载使命 --> launchTask --> runner.start()启动线程; --> TaskRunner挪用run方式 --> launchJvmAndWait启动java child进程

1.上传zk安装包

2.解压

3.设置(先在一台节点上设置)

3.1增加一个zoo.cfg设置文件

$ZOOKEEPER/conf

mv zoo_sample.cfg zoo.cfg

3.2点窜设置文件(zoo.cfg)

dataDir=/itcast/zookeeper-3.4.5/data

server.1=itcast05:2888:3888

server.2=itcast06:2888:3888

server.3=itcast07:2888:3888

3.3在(dataDir=/itcast/zookeeper-3.4.5/data)建立一个myid文件，里面内容是server.N中的N(server.2里面内容为2)

echo "1" > myid

3.4将设置好的zk拷贝到其他节点

scp -r /itcast/zookeeper-3.4.5/ itcast06:/itcast/

scp -r /itcast/zookeeper-3.4.5/ itcast07:/itcast/

3.5留意：在其他节点上一定要点窜myid的内容

在itcast06应当讲myid的内容改成2 (echo "6" > myid)

在itcast07应当讲myid的内容改成3 (echo "7" > myid)

4.启动集群

别离启动zk

./zkServer.sh start

2015年传智播客大数据hadoop教程8天

旅客，假如您要检察本帖隐藏内容请答复

免责声明

本站所有资源均是网上搜集或网友上传提供，本站内容仅供观摩学习交流之用，将不对任何资源负法律责任。如有侵犯您的版权，请及时发邮件联系我们（2995125568@qq.com），我们将尽快处理！

感恩ITGOOD论坛无私的分享与奉献