Hadoop 常用命令

Hadoop 常用命令

Tags: Hadoop

摘要

Hadoop 常用命令,Hadoop文件操作,Hadoop目录创建,文件列表,文件上传,文件下载,文件删除

hadoop fs

hadoop fs 使用面最广,可以操作任何文件系统
hadoop dfs与hdfs dfs:只能操作HDFS文件系统相关(包括与Local FS间的操作),前者已经Deprecated,一般使用后者。

命令示例

查看文件列表
hadoop fs -ls /user/root/abc
-lsr 包括子目录下的文件

创建文件目录
hadoop fs -mkdir /user/root/abc

上传文件
hadoop fs -put /root/1.txt /user/root/abc/1.txt

删除文件
hadoop fs -rm /user/root/abc/1.txt
-rmr 删除目录以及该目录下的所有文件

下载文件
hadoop fs -get /user/root/abc/1.txt /root/1.txt

查看文件
hadoop fs -cat /user/root/abc/1.txt

/user/root 其中的root是当前用户名

日志查看

master上正常启动后,要有如下服务

root@master:~# jps
31348 Jps
30726 JobTracker
30644 SecondaryNameNode
30440 NameNode

slave上正常启动后,要有如下服务

root@slave:~# jps
3358 Jps
2906 DataNode
3045 TaskTracker

tips 01

如果出现be replicated to 0 nodes, instead of 1 这个错误
可以尝试 删除 /tmp 文件夹下的文件后,重启hadoop

tips 02

(master) /root/hdfs-name/current/VERSION
(slave) /root/hdfs-data/current/VERSION
这两个文件中的namespaceID要保持一致。
重复执行hadoop namenode -format可能导致不一致。