HDFS 常用命令速查表(适配你的伪分布式环境)
js命令 说明 示例(贴合你的场景)
hdfs dfs -mkdir <目录> 创建目录(单级) hdfs dfs -mkdir /songxuan
hdfs dfs -mkdir -p <目录> 递归创建目录(多级) hdfs dfs -mkdir -p /songxuan/test/sub
hdfs dfs -ls <路径> 查看目录 / 文件详情 hdfs dfs -ls /songxuan(查看 songxuan 下文件)
hdfs dfs -ls /(查看根目录)
hdfs dfs -ls -R <路径> 递归查看所有子目录 / 文件 hdfs dfs -ls -R /songxuan
hdfs dfs -du <路径> 查看目录 / 文件大小 hdfs dfs -du /songxuan/test.yaml(查看文件大小)
hdfs dfs -du -h /songxuan(人性化显示大小)
hdfs dfs -df -h 查看 HDFS 磁盘空间使用情况 hdfs dfs -df -h(类似 Linux df -h)
hdfs dfs -rmdir <空目录> 删除空目录(非空需用 - r) hdfs dfs -rmdir /songxuan/empty_dir
js命令 说明 示例
hdfs dfs -cat <文件> 查看文件内容(命令行) hdfs dfs -cat /songxuan/output/part-r-00000(查看 WordCount 结果)
hdfs dfs -tail <文件> 查看文件最后 10 行 hdfs dfs -tail /songxuan/test.yaml
hdfs dfs -tail -f <文件> 实时监控文件(类似 tail -f) hdfs dfs -tail -f /songxuan/output/part-r-00000
hdfs dfs -rm <文件> 删除单个文件 hdfs dfs -rm /songxuan/test.yaml
hdfs dfs -rm -r <目录/文件> 递归删除(目录 + 文件) hdfs dfs -rm -r /songxuan/output(删除 WordCount 输出目录)
hdfs dfs -cp <源> <目标> 复制文件 / 目录 hdfs dfs -cp /songxuan/test.yaml /songxuan/test_bak.yaml
hdfs dfs -mv <源> <目标> 移动 / 重命名文件 / 目录 hdfs dfs -mv /songxuan/test_bak.yaml /songxuan/bak/test.yaml
hdfs dfs -touchz <文件> 创建空文件 hdfs dfs -touchz /songxuan/empty.txt
js命令 说明 示例(你的场景) hdfs dfs -put <本地路径> <HDFS路径> 本地文件上传到 HDFS hdfs dfs -put /root/test.yaml /songxuan/(你常用的上传命令) hdfs dfs -put -f <本地路径> <HDFS路径> 覆盖上传(文件已存在时) hdfs dfs -put -f /root/test.yaml /songxuan/ hdfs dfs -get <HDFS路径> <本地路径> HDFS 文件下载到本地 hdfs dfs -get /songxuan/output/part-r-00000 /tmp/(下载结果到本地 tmp) hdfs dfs -get -f <HDFS路径> <本地路径> 覆盖下载(本地文件已存在) hdfs dfs -get -f /songxuan/output/part-r-00000 /tmp/ hdfs dfs -copyFromLocal <本地> <HDFS> 等同于 put(本地→HDFS) hdfs dfs -copyFromLocal /root/test.yaml /songxuan/ hdfs dfs -copyToLocal <HDFS> <本地> 等同于 get(HDFS→本地) hdfs dfs -copyToLocal /songxuan/output/part-r-00000 /tmp/
js命令 说明 示例
hdfs dfs -chmod <权限> <文件/目录> 修改权限(类似 Linux chmod) hdfs dfs -chmod 777 /songxuan(给目录最大权限)
hdfs dfs -chmod 644 /songxuan/test.yaml
hdfs dfs -chown <用户:组> <文件/目录> 修改属主 / 属组 hdfs dfs -chown root:root /songxuan/test.yaml
hdfs dfs -chgrp <组> <文件/目录> 修改属组 hdfs dfs -chgrp root /songxuan
js命令 说明 示例
hdfs dfsadmin -report 查看集群状态(DataNode / 磁盘等) hdfs dfsadmin -report(你排查集群常用)
hdfs dfsadmin -safemode get 查看安全模式状态 hdfs dfsadmin -safemode get(返回 ON/OFF)
hdfs dfsadmin -safemode leave 退出安全模式(只读→可写) hdfs dfsadmin -safemode leave(上传文件前常用)
hdfs dfsadmin -safemode enter 进入安全模式(只读) hdfs dfsadmin -safemode enter(维护时用)
jps 查看 Hadoop 进程(伪分布式核心) jps(检查 NameNode/DataNode/ResourceManager 等)
hdfs --daemon start <进程> 启动单个进程 hdfs --daemon start namenode
hdfs --daemon start datanode
hdfs --daemon stop <进程> 停止单个进程 hdfs --daemon stop namenode
hdfs --daemon stop datanode
start-dfs.sh 启动 HDFS 集群(NameNode+DataNode+SecondaryNameNode) start-dfs.sh
stop-dfs.sh 停止 HDFS 集群 stop-dfs.sh
start-yarn.sh 启动 YARN(MapReduce 依赖) start-yarn.sh
stop-yarn.sh 停止 YARN stop-yarn.sh
本文作者:松轩(^U^)
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!