编辑
2025-12-21
大数据
00

目录

一、基础目录操作
二、文件核心操作
三、文件上传 / 下载(本地↔HDFS)
四、权限管理(测试环境常用)
五、集群管理 / 状态查看

HDFS 常用命令速查表(适配你的伪分布式环境)

一、基础目录操作

js
命令 说明 示例(贴合你的场景) hdfs dfs -mkdir <目录> 创建目录(单级) hdfs dfs -mkdir /songxuan hdfs dfs -mkdir -p <目录> 递归创建目录(多级) hdfs dfs -mkdir -p /songxuan/test/sub hdfs dfs -ls <路径> 查看目录 / 文件详情 hdfs dfs -ls /songxuan(查看 songxuan 下文件) hdfs dfs -ls /(查看根目录) hdfs dfs -ls -R <路径> 递归查看所有子目录 / 文件 hdfs dfs -ls -R /songxuan hdfs dfs -du <路径> 查看目录 / 文件大小 hdfs dfs -du /songxuan/test.yaml(查看文件大小) hdfs dfs -du -h /songxuan(人性化显示大小) hdfs dfs -df -h 查看 HDFS 磁盘空间使用情况 hdfs dfs -df -h(类似 Linux df -h) hdfs dfs -rmdir <空目录> 删除空目录(非空需用 - r) hdfs dfs -rmdir /songxuan/empty_dir

二、文件核心操作

js
命令 说明 示例 hdfs dfs -cat <文件> 查看文件内容(命令行) hdfs dfs -cat /songxuan/output/part-r-00000(查看 WordCount 结果) hdfs dfs -tail <文件> 查看文件最后 10 行 hdfs dfs -tail /songxuan/test.yaml hdfs dfs -tail -f <文件> 实时监控文件(类似 tail -f) hdfs dfs -tail -f /songxuan/output/part-r-00000 hdfs dfs -rm <文件> 删除单个文件 hdfs dfs -rm /songxuan/test.yaml hdfs dfs -rm -r <目录/文件> 递归删除(目录 + 文件) hdfs dfs -rm -r /songxuan/output(删除 WordCount 输出目录) hdfs dfs -cp <源> <目标> 复制文件 / 目录 hdfs dfs -cp /songxuan/test.yaml /songxuan/test_bak.yaml hdfs dfs -mv <源> <目标> 移动 / 重命名文件 / 目录 hdfs dfs -mv /songxuan/test_bak.yaml /songxuan/bak/test.yaml hdfs dfs -touchz <文件> 创建空文件 hdfs dfs -touchz /songxuan/empty.txt

三、文件上传 / 下载(本地↔HDFS)

js
命令 说明 示例(你的场景) hdfs dfs -put <本地路径> <HDFS路径> 本地文件上传到 HDFS hdfs dfs -put /root/test.yaml /songxuan/(你常用的上传命令) hdfs dfs -put -f <本地路径> <HDFS路径> 覆盖上传(文件已存在时) hdfs dfs -put -f /root/test.yaml /songxuan/ hdfs dfs -get <HDFS路径> <本地路径> HDFS 文件下载到本地 hdfs dfs -get /songxuan/output/part-r-00000 /tmp/(下载结果到本地 tmp) hdfs dfs -get -f <HDFS路径> <本地路径> 覆盖下载(本地文件已存在) hdfs dfs -get -f /songxuan/output/part-r-00000 /tmp/ hdfs dfs -copyFromLocal <本地> <HDFS> 等同于 put(本地→HDFS) hdfs dfs -copyFromLocal /root/test.yaml /songxuan/ hdfs dfs -copyToLocal <HDFS> <本地> 等同于 get(HDFS→本地) hdfs dfs -copyToLocal /songxuan/output/part-r-00000 /tmp/

四、权限管理(测试环境常用)

js
命令 说明 示例 hdfs dfs -chmod <权限> <文件/目录> 修改权限(类似 Linux chmod) hdfs dfs -chmod 777 /songxuan(给目录最大权限) hdfs dfs -chmod 644 /songxuan/test.yaml hdfs dfs -chown <用户:组> <文件/目录> 修改属主 / 属组 hdfs dfs -chown root:root /songxuan/test.yaml hdfs dfs -chgrp <组> <文件/目录> 修改属组 hdfs dfs -chgrp root /songxuan

五、集群管理 / 状态查看

js
命令 说明 示例 hdfs dfsadmin -report 查看集群状态(DataNode / 磁盘等) hdfs dfsadmin -report(你排查集群常用) hdfs dfsadmin -safemode get 查看安全模式状态 hdfs dfsadmin -safemode get(返回 ON/OFF) hdfs dfsadmin -safemode leave 退出安全模式(只读→可写) hdfs dfsadmin -safemode leave(上传文件前常用) hdfs dfsadmin -safemode enter 进入安全模式(只读) hdfs dfsadmin -safemode enter(维护时用) jps 查看 Hadoop 进程(伪分布式核心) jps(检查 NameNode/DataNode/ResourceManager 等) hdfs --daemon start <进程> 启动单个进程 hdfs --daemon start namenode hdfs --daemon start datanode hdfs --daemon stop <进程> 停止单个进程 hdfs --daemon stop namenode hdfs --daemon stop datanode start-dfs.sh 启动 HDFS 集群(NameNode+DataNode+SecondaryNameNode) start-dfs.sh stop-dfs.sh 停止 HDFS 集群 stop-dfs.sh start-yarn.sh 启动 YARNMapReduce 依赖) start-yarn.sh stop-yarn.sh 停止 YARN stop-yarn.sh

本文作者:松轩(^U^)

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!

Document