Shawson Lim

搬运工. 砌匠. 包工头.

Category
 » mysql
 » golang
 » linux
 » git
 » php
 » front
 » staticstics
 » default
 » tools

[Hadoop] 服务器部署

22 Oct 2014 » staticstics

主进程


NameNode是Hadoop中的主服务器,它管理文件系统名称空间和对集群中存储的文件的访问。 还有一个SecondaryNameNode,它不是NameNode的冗余守护进程,而是提供周期检查点和清理任务。 在每个Hadoop集群中可以找到一个NameNode和一个SecondaryNameNode。

数据进程


DataNode管理连接到节点的存储(一个集群中可以有多个节点)。每个存储数据的节点运行一个DataNode守护进程。

运算进程


最后,每个集群有一个JobTracker,它负责调度DataNode上的工作。 每个DataNode有一个TaskTracker,它们执行具体的数据分析统计工作。 JobTracker和TaskTracker采用主-从形式,JobTracker跨DataNode分发工作, 而TaskTracker执行任务。JobTracker还检查请求的工作,如果一个DataNode由于某种原因失败,JobTracker会重新调度以前的任务。

P’s: JobTracker守护进程请求DataNode执行MapReduce作业。

检测


以上服务器节点可以通过以下检测是否正常开启。

#### 
$ jps 
13896 Jps 
1173 NameNode 
1489 SecondaryNameNode 
1736 TaskTracker 
1602 JobTracker 
1302 DataNode

#### 
$ hadoop dfsadmin -report
Configured Capacity: 849601273856 (791.25 GB) 
Present Capacity: 731334221824 (681.11 GB) 
DFS Remaining: 730953744384 (680.75 GB) 
DFS Used: 380477440 (362.85 MB) 
DFS Used%: 0.05% 
Under replicated blocks: 0 
Blocks with corrupt replicas: 0 
Missing blocks: 0 

------------------------------------------------- 
Datanodes available: 2 (2 total, 0 dead) 

Name: 192.168.1.187:50010 
Decommission Status : Normal 
Configured Capacity: 581120925696 (541.21 GB) 
DFS Used: 190119936 (181.31 MB) 
Non DFS Used: 34201894912 (31.85 GB) 
DFS Remaining: 546728910848(509.18 GB) 
DFS Used%: 0.03% 
DFS Remaining%: 94.08% 
Last contact: Tue Oct 28 10:16:59 CST 2014 


Name: 192.168.1.151:50010 
Decommission Status : Normal 
Configured Capacity: 268480348160 (250.04 GB) 
DFS Used: 190357504 (181.54 MB) 
Non DFS Used: 84065157120 (78.29 GB) 
DFS Remaining: 184224833536(171.57 GB) 
DFS Used%: 0.07% 
DFS Remaining%: 68.62% 
Last contact: Tue Oct 28 10:17:00 CST 2014

P’s: 在/etc/hosts, xxx/conf/slaves中节点名称需要统计采用hostname

参考


© Shawson Lim - https://github.com/linsir123 - Powered by Jekyll.