HDFS 常用命令速查表（适配你的伪分布式环境）



# 一、基础目录操作

```js
命令	说明	示例（贴合你的场景）
hdfs dfs -mkdir <目录>	创建目录（单级）	hdfs dfs -mkdir /songxuan
hdfs dfs -mkdir -p <目录>	递归创建目录（多级）	hdfs dfs -mkdir -p /songxuan/test/sub
hdfs dfs -ls <路径>	查看目录 / 文件详情	hdfs dfs -ls /songxuan（查看 songxuan 下文件）
hdfs dfs -ls /（查看根目录）
hdfs dfs -ls -R <路径>	递归查看所有子目录 / 文件	hdfs dfs -ls -R /songxuan
hdfs dfs -du <路径>	查看目录 / 文件大小	hdfs dfs -du /songxuan/test.yaml（查看文件大小）
hdfs dfs -du -h /songxuan（人性化显示大小）
hdfs dfs -df -h	查看 HDFS 磁盘空间使用情况	hdfs dfs -df -h（类似 Linux df -h）
hdfs dfs -rmdir <空目录>	删除空目录（非空需用 - r）	hdfs dfs -rmdir /songxuan/empty_dir

```

# 二、文件核心操作

```js
命令	说明	示例
hdfs dfs -cat <文件>	查看文件内容（命令行）	hdfs dfs -cat /songxuan/output/part-r-00000（查看 WordCount 结果）
hdfs dfs -tail <文件>	查看文件最后 10 行	hdfs dfs -tail /songxuan/test.yaml
hdfs dfs -tail -f <文件>	实时监控文件（类似 tail -f）	hdfs dfs -tail -f /songxuan/output/part-r-00000
hdfs dfs -rm <文件>	删除单个文件	hdfs dfs -rm /songxuan/test.yaml
hdfs dfs -rm -r <目录/文件>	递归删除（目录 + 文件）	hdfs dfs -rm -r /songxuan/output（删除 WordCount 输出目录）
hdfs dfs -cp <源> <目标>	复制文件 / 目录	hdfs dfs -cp /songxuan/test.yaml /songxuan/test_bak.yaml
hdfs dfs -mv <源> <目标>	移动 / 重命名文件 / 目录	hdfs dfs -mv /songxuan/test_bak.yaml /songxuan/bak/test.yaml
hdfs dfs -touchz <文件>	创建空文件	hdfs dfs -touchz /songxuan/empty.txt
```

# 三、文件上传 / 下载（本地↔HDFS）

```js
命令	说明	示例（你的场景）
hdfs dfs -put <本地路径> <HDFS路径>	本地文件上传到 HDFS	hdfs dfs -put /root/test.yaml /songxuan/（你常用的上传命令）
hdfs dfs -put -f <本地路径> <HDFS路径>	覆盖上传（文件已存在时）	hdfs dfs -put -f /root/test.yaml /songxuan/
hdfs dfs -get <HDFS路径> <本地路径>	HDFS 文件下载到本地	hdfs dfs -get /songxuan/output/part-r-00000 /tmp/（下载结果到本地 tmp）
hdfs dfs -get -f <HDFS路径> <本地路径>	覆盖下载（本地文件已存在）	hdfs dfs -get -f /songxuan/output/part-r-00000 /tmp/
hdfs dfs -copyFromLocal <本地> <HDFS>	等同于 put（本地→HDFS）	hdfs dfs -copyFromLocal /root/test.yaml /songxuan/
hdfs dfs -copyToLocal <HDFS> <本地>	等同于 get（HDFS→本地）	hdfs dfs -copyToLocal /songxuan/output/part-r-00000 /tmp/   
```


# 四、权限管理（测试环境常用）
    
```js
命令	说明	示例
hdfs dfs -chmod <权限> <文件/目录>	修改权限（类似 Linux chmod）	hdfs dfs -chmod 777 /songxuan（给目录最大权限）
hdfs dfs -chmod 644 /songxuan/test.yaml
hdfs dfs -chown <用户:组> <文件/目录>	修改属主 / 属组	hdfs dfs -chown root:root /songxuan/test.yaml
hdfs dfs -chgrp <组> <文件/目录>	修改属组	hdfs dfs -chgrp root /songxuan
```

# 五、集群管理 / 状态查看
    
```js
命令	说明	示例
hdfs dfsadmin -report	查看集群状态（DataNode / 磁盘等）	hdfs dfsadmin -report（你排查集群常用）
hdfs dfsadmin -safemode get	查看安全模式状态	hdfs dfsadmin -safemode get（返回 ON/OFF）
hdfs dfsadmin -safemode leave	退出安全模式（只读→可写）	hdfs dfsadmin -safemode leave（上传文件前常用）
hdfs dfsadmin -safemode enter	进入安全模式（只读）	hdfs dfsadmin -safemode enter（维护时用）
jps	查看 Hadoop 进程（伪分布式核心）	jps（检查 NameNode/DataNode/ResourceManager 等）
hdfs --daemon start <进程>	启动单个进程	hdfs --daemon start namenode
hdfs --daemon start datanode
hdfs --daemon stop <进程>	停止单个进程	hdfs --daemon stop namenode
hdfs --daemon stop datanode
start-dfs.sh	启动 HDFS 集群（NameNode+DataNode+SecondaryNameNode）	start-dfs.sh
stop-dfs.sh	停止 HDFS 集群	stop-dfs.sh
start-yarn.sh	启动 YARN（MapReduce 依赖）	start-yarn.sh
stop-yarn.sh	停止 YARN	stop-yarn.sh
```


3.Hadoop中的hdfs命令

# 一、hdfs测试

## HDFS 基础操作（验证存储功能）
核心验证：HDFS 能创建目录、上传 / 下载文件、查看文件内容、删除文件，代表 HDFS 存储链路正常。
```js
# 在HDFS根目录下创建test目录（HDFS路径以/开头）
hadoop fs -mkdir /test
# 验证目录创建成功
hadoop fs -ls /
# 输出中能看到 drwxr-xr-x   - root supergroup          0 2025-12-20 05:00 /test
```


```js
# 在本地（服务器）创建一个文本文件，写入测试内容
echo "Hello Hadoop
Hello MapReduce
Hello YARN
Hadoop is cool" > /tmp/test.txt

# 查看本地文件内容（确认无误）
cat /tmp/test.txt

# 把本地/tmp/test.txt上传到HDFS的/test目录下
hadoop fs -put /tmp/test.txt /test/

# 验证上传成功
hadoop fs -ls /test
# 输出：-rw-r--r--   1 root supergroup         56 2025-12-20 05:01 /test/test.txt


# 读取HDFS中test.txt的内容（验证能正常读取）
hadoop fs -cat /test/test.txt
# 输出和本地文件一致：
# Hello Hadoop
# Hello MapReduce
# Hello YARN
# Hadoop is cool

# 先删除本地/tmp/test_download.txt（避免冲突）
rm -rf /tmp/test_download.txt

# 从HDFS下载/test/test.txt到本地/tmp/test_download.txt
hadoop fs -get /test/test.txt /tmp/test_download.txt

# 验证下载的文件内容
cat /tmp/test_download.txt
# 内容和原文件一致则正常
```

## MapReduce 经典 WordCount（验证计算功能）
核心验证：YARN 资源调度正常、MapReduce 计算框架能运行，代表 Hadoop 计算链路正常（这是 Hadoop 最经典的入门案例，统计文本中单词出现次数）。


```js
# 1. 本地创建更丰富的测试文件
echo "apple banana apple
banana orange apple
orange grape" > /tmp/wordcount.txt

# 2. 重新创建HDFS目录并上传文件
hadoop fs -mkdir /wordcount
hadoop fs -put /tmp/wordcount.txt /wordcount/

# 3. 验证上传成功
hadoop fs -cat /wordcount/wordcount.txt
```
执行 WordCount 计算（调用 Hadoop 自带的示例 Jar 包）

```js
# 核心命令：hadoop jar <示例Jar包路径> <WordCount类名> <输入路径> <输出路径>
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /wordcount/wordcount.txt /wordcount/output

# 执行过程会输出大量日志，关键看最后是否有 "Job job_xxxx completed successfully" 提示
```

:::warning{title="注意"}
输出路径 /wordcount/output 必须不存在（Hadoop 禁止覆盖已有目录，否则报错）；

若报错 “找不到 Jar 包”，检查 Jar 包路径：ls $HADOOP_HOME/share/hadoop/mapreduce/ 确认 hadoop-mapreduce-examples-3.3.6.jar 存在。
:::


查看 WordCount 计算结果
```js
# 查看输出目录下的结果文件（MapReduce的输出会拆分成part-r-00000）
hadoop fs -cat /wordcount/output/part-r-00000

# 正常输出（单词+出现次数）：
apple   3
banana  2
grape   1
orange  2
```

![image.png](/static/img/39ff803419b5d027f2397e2794d57995.image.webp)

# 二、hdfs伪分布模式
HDFS 伪分布式（Pseudo-Distributed）是单节点模拟分布式 HDFS 集群的部署模式 —— 所有 HDFS 核心进程（NameNode、DataNode、SecondaryNameNode）都运行在同一台服务器上，但进程间通过网络通信、按分布式逻辑协作（区别于 “单机模式” 的单进程运行）。


![image.png](/static/img/062d6b3ccbbcebdd5af6c5376814f28b.image.webp)

## 修改 core-site.xml（HDFS 核心配置）

```js
vi /opt/hadoop/hadoop-3.3.6/etc/hadoop/core-site.xml
```

```js
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>




<configuration>
<property>
    
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.201.100:9820</value>
</property>
<property>
    
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/hadoop-3.3.6/tmp</value>
</property>

</configuration>
```

## 修改 hdfs-site.xml（HDFS 副本 / 端口配置）
```js
vi /opt/hadoop/hadoop-3.3.6/etc/hadoop/hdfs-site.xml
```

```js
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>




<configuration>
<property>
    
    <name>dfs.replication</name>
    <value>1</value>
</property>

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>192.168.201.100:9868</value>
</property>

<property>
    <name>dfs.namenode.http-address</name>
    <value>192.168.201.100:9870</value>
</property>
</configuration>                 
```
## 修正 hadoop-env.sh（指定 Java 路径 + 用户）

```js
vi /opt/hadoop/hadoop-3.3.6/etc/hadoop/hadoop-env.sh
```
最后末尾添加
```js
# 指定Java路径（你的软链接已解决路径问题）
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
# 指定root用户运行HDFS进程
export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export HADOOP_OPTS="$HADOOP_OPTS -Duser.language=zh -Duser.region=CN"
```
## 修改workers

```js
vi /opt/hadoop/hadoop-3.3.6/etc/hadoop/workers
```
覆盖修改
```js
k8s-master01
```
## 自身免密登录
```js
# 1. 进入 Root 家目录（确保路径正确）
cd ~

# 2. 删除旧的 SSH 密钥（避免冲突）
rm -rf ~/.ssh/*

# 3. 重新生成 SSH 密钥（一路回车，不设置密码）
ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa

# 4. 将公钥添加到授权列表（关键！）
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# 5. 强制修正权限（SSH 对权限极其敏感，必须严格设置）
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
chown root:root -R ~/.ssh

# 6. 关闭 SSH 的 GSSAPI 认证（避免干扰免密登录）
sed -i 's/GSSAPIAuthentication yes/GSSAPIAuthentication no/g' /etc/ssh/ssh_config
sed -i 's/GSSAPIDelegateCredentials yes/GSSAPIDelegateCredentials no/g' /etc/ssh/ssh_config
```

## 验证 SSH 免密登录（必须通过！）

```js
# 验证1：登录本机主机名（小写 k8s-master01）
ssh k8s-master01 "echo success"
# 正常输出：success（无需输入密码，首次需输入 yes 确认）

# 验证2：登录 localhost
ssh localhost "echo success"
# 正常输出：success

# 验证3：（若仍有大写主机名残留）登录 k8s-Master01（临时兼容）
ssh k8s-Master01 "echo success"
```
## 格式化 HDFS（仅首次执行！）

```js
# 确保当前目录有效（如/root或/）
cd /root

# 格式化NameNode（初始化HDFS元数据）
hdfs namenode -format

# 成功标志：最后输出 "Exiting with status 0"
# ❗ 注意：重复格式化会清空HDFS所有数据，测试环境也需谨慎
```


启动 HDFS 伪分布式集群


```js
# 启动HDFS所有进程（NameNode/DataNode/SecondaryNameNode）
start-dfs.sh

# 验证进程（核心！需看到以下3个进程）
jps
# 正常输出：
# NameNode
# DataNode
# SecondaryNameNode
# Jps
```
能访问就是成功了
![image.png](/static/img/cfad9581695689033056faeafd9452e0.image.webp)

## 测试能不能上传文件

```js
# 在hdfs创建一个songxuan的目录
hdfs dfs -mkdir /songxuan

# 上传本地家目录下的test.yml文件到hdfs的/songxuan目录下
hdfs dfs -put ~/test.yaml /songxuan/
```

![image.png](/static/img/9ed4ef92d25914a9e8d951514983925d.image.webp)

```js
# 查看是否有文件
fs -ls /songxuan/
```
执行正确的 WordCount 命令
```js
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /songxuan/test.yaml /songxuan/output
```

```js
# 查看输出文件内容
hadoop fs -cat /songxuan/output/part-r-00000
```
本地Windows查看会报错，需要改配置
![image.png](/static/img/049183406a4abc9fd40afb010cde0237.image.webp)


```js
vim $HADOOP_HOME/etc/hadoop/core-site.xml
```

```js
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>




<configuration>
<property>
    
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.201.100:9000</value>
</property>
<property>
    
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/hadoop-3.3.6/tmp</value>
</property>
<property>
    
    <name>hadoop.security.authorization</name>
    <value>false</value>
</property>


<property>
    
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<property>
    
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>
<property>
    
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>


</configuration>
```


```js
vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml
```
```js
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.namenode.http-address</name>
    <value>0.0.0.0:9870</value>
</property>
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>192.168.201.100:50090</value>
</property>
<property>
    <name>dfs.datanode.http.address</name>
    <value>0.0.0.0:9864</value>
</property>

<property>
    <name>dfs.datanode.address</name>
    <value>192.168.201.100:9866</value>
</property>
<property>
    <name>dfs.datanode.ipc.address</name>
    <value>192.168.201.100:9867</value>
</property>
<property>
    <name>dfs.datanode.hostname</name>
    <value>192.168.201.100</value>
</property>
</configuration>
```


```js
stop-dfs.sh
start-dfs.sh

# 验证进程（必须有NameNode、DataNode）
jps
```


![image.png](/static/img/847bceb199b669542db509f365cc8567.image.webp)

2.Hadoop的hdfs

# 一、Hadoop介绍
Hadoop 是一个开源的分布式存储与分布式计算框架，由 Apache 基金会维护，核心目标是高效、可靠地处理海量结构化、半结构化和非结构化数据。它的设计初衷是解决传统单机无法承载的大数据存储和计算问题，具备高容错、高扩展、低成本的特点。


## Hadoop 的核心组成

### HDFS（Hadoop Distributed File System）—— 分布式文件系统
```js
作用：负责海量数据的分布式存储，是 Hadoop 的 “数据仓库”。
核心特点：
分块存储：将大文件切分成固定大小的数据块（默认 128MB），分散存储在集群的不同节点上。
副本机制：每个数据块会生成多个副本（默认 3 个），存放在不同节点，保证数据容错性（某节点故障不会丢失数据）。
主从架构：由 NameNode（管理元数据，记录文件与数据块的映射关系）和 DataNode（存储实际数据块）组成。
局限性：适合一次写入、多次读取的场景，不适合小文件存储和频繁修改的操作。
```

### MapReduce —— 分布式计算模型

```js
作用：负责海量数据的离线批处理计算，是 Hadoop 的 “计算引擎”。
核心流程：
Map 阶段：将任务拆分，多个节点并行处理局部数据，生成中间结果。
Reduce 阶段：汇总所有节点的中间结果，计算出最终输出。
局限性：处理延迟较高，不适合实时计算；只支持批处理，灵活性不足。
```
### YARN（Yet Another Resource Negotiator）—— 资源调度与管理框架


```js
作用：负责集群资源（CPU、内存）的统一调度和任务管理，相当于 Hadoop 集群的 “操作系统”。
核心特点：
解耦了 “资源管理” 和 “任务运行”，支持多种计算框架（除了 MapReduce，还能支持 Spark、Flink 等）。
主从架构：由 ResourceManager（全局资源调度）和 NodeManager（单个节点的资源管理）组成。
```

## Hadoop 的核心优势

```js
高容错性：依赖 HDFS 的副本机制和任务重试机制，节点故障不影响整体任务。
高扩展性：集群可以通过添加普通服务器节点，线性提升存储和计算能力。
高吞吐量：专为批处理设计，能高效处理 TB、PB 级别的海量数据。
低成本：可以运行在普通 x86 服务器集群上，无需昂贵的专用硬件。
```


![image.png](/static/img/33ffd5b6513fa6c0dc692c4d3b48fe31.image.webp)


# 二、下载安装Hadoop

先安装javaJDK8配置环境变量

```js
# 1. 找到你的OpenJDK 8安装路径（rpm安装的OpenJDK通常在以下路径）
find /usr/lib/jvm -name "java-1.8.0-openjdk*"
# 输出示例：/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64

# 2. 配置JAVA_HOME（永久生效，所有用户可用）
vim /etc/profile
# 在文件末尾添加（替换为你查到的实际路径）：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
export PATH=$PATH:$JAVA_HOME/bin

# 3. 生效并验证
source /etc/profile
echo $JAVA_HOME  # 输出上述路径则正确

# 4.绑定本地主机
echo "192.168.201.100   k8s-master01" >> /etc/hosts  # 绑定本机hosts
```


上传解压hadoop包

```js
rz hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
```
继续配置环境变量

```js
# 直接编辑全局配置文件，Root 用户生效
vim /etc/profile
```

```js
# Hadoop 环境变量（Root 用户，路径：/opt/hadoop/hadoop-3.3.6）
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.6
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
```

```js
# 立即生效配置
source /etc/profile

# 验证 HADOOP_HOME 路径（必须和解压路径一致）
echo $HADOOP_HOME
# 正确输出：/opt/hadoop/hadoop-3.3.6

# 验证 Java 环境（确保 JAVA_HOME 正确）
echo $JAVA_HOME
java -version

# 验证 Hadoop 命令（无 "command not found" 则成功）
hadoop version
```

:::warning{title="注意"}
因为我是rpm包安装的javajdk导致自动安装的目录不同所以要建一个软链接，

```js
# 先确认JAVA_HOME目录结构
ls -ld /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/bin
# 输出 "No such file or directory"，所以先创建bin目录
mkdir -p /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/bin

# 核心操作：将实际的java可执行文件链接到Hadoop期望的路径
ln -s /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/jre/bin/java /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/bin/java

# 验证软链接是否创建成功
ls -l /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/bin/java
# 正常输出（指向jre下的java）：
# lrwxrwxrwx 1 root root 76 月  日 时:分 /usr/lib/jvm/.../bin/java -> /usr/lib/jvm/.../jre/bin/java

chmod +x /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/bin/java

# 验证链接后的java是否可执行
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/bin/java -version
# 输出OpenJDK 1.8.0_262版本则正确

# 重新生效环境变量（确保配置无缓存）
source /etc/profile

# 执行hadoop version
hadoop version

# 正常输出示例（无报错则成功）：
# Hadoop 3.3.6
# Source code repository https://github.com/apache/hadoop.git -r 94261f61f91e2585fa572332d065983b1d113959
# Compiled by ubuntu on 2024-01-08T12:40Z
# Compiled with protoc 3.7.1
# From source with checksum 2e364f1415f31111a65788c9c93a0700
# This command was run using /opt/hadoop/hadoop-3.3.6/share/hadoop/common/hadoop-common-3.3.6.jar
```
:::



1.Hadoop介绍与部署

# 一、RocketMQ组件
 RocketMQ基本组件
- Topic：主题，消息归类的基本单元
- Queue：队列，消息存储和传输的实际容器，也是消息的最小存储单元
- Producer：生产者，用来构建并传输消息
- Consumer：消费者，用来接收并处理消息
- ConsumerGroup：消费者组，消费者组是RocketMQ中承载多个消费行为一致的消费者负载均衡分组。和消费者不同，消费者组是一个逻辑概念

- NameServer：可以理解成注册中心，负责更新和发现Broker服务。在NameErver的集群中，NameServer与NameServer之间是没有任何通信的，它是无状态的

- Broker集群：Broker由一个或多个Broker组成集群，每一个Broker就是一个Kafka实例

 主题(Topic)和队列(Queue)
 
- 在RocketMQ中要实现消息的发送与订阅，必须首先创建Topic。
- 因为Topic是RocketMQ进行消息归类的基本单元。通过Topic接收消息生产者发布的消息，并将消息转发给消费者。

-  比如任务类的消息，就指定好任务类的topic，生产者根据topic把消息发送到队列，消费者订阅这个topic消费消息。


# 二、RocketMQ下载
官网地址：https://rocketmq.apache.org/zh/

或者阿里官网下载：https://mirrors.aliyun.com/apache/rocketmq/5.3.1/
![image.png](/static/img/2ecb45a05c27803592a389ff986d28a4.image.webp)

# 三、RocketMQ部署

上传下载的包的到服务器上，解压后进入bin目录下

```js
cd /rocketmq/rocketmq-all-5.3.1-bin-release/bin
```

修改两个文件配置
```js
[root@k8s-node04 bin]# ls -l *run*
-rwxr-xr-x 1 root root 3332 11月 27 11:32 runbroker.cmd
-rwxr-xr-x 1 root root 4914 11月 27 11:32 runbroker.sh
-rwxr-xr-x 1 root root 2876 11月 27 11:32 runserver.cmd
-rwxr-xr-x 1 root root 4461 11月 27 11:32 runserver.sh
```

![image.png](/static/img/97672e668a8026493d14d7ec9cdc3455.image.webp)

自己电脑修改它内存的大小，默认8G太多了都改成1g
```js
vi runbroker.sh
```

![image.png](/static/img/df492dae43114070645bcd326a823766.image.webp)


```js
vi runserver.sh
```

![image.png](/static/img/a764d8e523c53e7de78c1bd67f8fead5.image.webp)


# 四、启动RocketMQ集群
先启动注册中心
```js
nohup ./mqnamesrv &
```


![image.png](/static/img/ef7c2c75f8b2dc4a32000d8d520d07cf.image.webp)


然后进入conf目录

```js
cd /rocketmq/rocketmq-all-5.3.1-bin-release/conf
```
这类目录是 RocketMQ 官方提供的 Broker 集群部署配置模板，命名规则：m=Master（主节点）、s=Slave（从节点）、async=异步复制、sync=同步复制、noslave=无从节点，用于快速搭建不同架构的 Broker 集群：

![image.png](/static/img/070160eccc61435511406e2419ddc0ed.image.webp)


![image.png](/static/img/b997930e6f6e5cc6c02054b58fe4760e.image.webp)

## 修改 broker-a.properties（主 A）

```js
vi /rocketmq/rocketmq-all-5.3.1-bin-release/conf/2m-2s-sync/broker-a.properties
```

```yml
# ===================== 核心基础配置 =====================
# NameServer地址（单节点）
namesrvAddr=192.168.183.120:9876
# Broker内网IP（单服务器可省略，自动识别，建议显式指定）
brokerIP1=192.168.183.120
# Broker名称（主从节点必须一致）
brokerName=broker-a
# 节点类型：0=主节点，1=从节点
brokerId=0
# 消息存储根目录（注意：替换为你的RocketMQ实际安装路径，5.3.4则改5.3.4）
storePathRootDir=/rocketmq/rocketmq-all-5.3.1-bin-release/store/a
# 业务监听端口（主A专属，避免冲突）
listenPort=10911
# HA监听端口（主A专属）
haListenPort=10915

# ===================== 集群模式配置 =====================
# 同步复制模式（2m-2s-sync核心：主节点必须为SYNC_MASTER）
brokerRole=SYNC_MASTER
# 刷盘策略：ASYNC_FLUSH（异步，测试用）/SYNC_FLUSH（同步，生产推荐）
flushDiskType=ASYNC_FLUSH

# ===================== 5.x版本适配配置 =====================
# 关闭5.x废弃的VIP通道（必配，避免连接异常）
isVIPChannel=false
# 日志子路径（避免根目录混乱，自动基于storePathRootDir生成）
storePathCommitLog=${storePathRootDir}/commitlog
storePathConsumeQueue=${storePathRootDir}/consumequeue
storePathIndex=${storePathRootDir}/index
# 日志删除策略：凌晨4点删除，保留72小时（避免磁盘占满）
deleteWhen=04
fileReservedTime=72
# 线程池优化（提升并发处理能力）
sendMessageThreadPoolNums=16
brokerClientThreadPoolNums=8
```

## 修改 broker-a-s.properties（从 A）

```js
vi /rocketmq/rocketmq-all-5.3.1-bin-release/conf/2m-2s-sync/broker-a-s.properties
```

```bash
# ===================== 核心基础配置 =====================
# NameServer地址（和主节点一致）
namesrvAddr=192.168.183.120:9876
# Broker内网IP（和主节点一致）
brokerIP1=192.168.183.120
# Broker名称（必须和主A一致）
brokerName=broker-a
# 节点类型：从节点固定为1
brokerId=1
# 消息存储根目录（从节点独立路径）
storePathRootDir=/rocketmq/rocketmq-all-5.3.1-bin-release/store/a-s
# 业务监听端口（从A专属）
listenPort=10912
# HA监听端口（从A专属）
haListenPort=10916

# ===================== 集群模式配置 =====================
# 从节点固定为SLAVE
brokerRole=SLAVE
# 刷盘策略（从节点建议和主节点一致）
flushDiskType=ASYNC_FLUSH

# ===================== 5.x版本适配配置 =====================
isVIPChannel=false
storePathCommitLog=${storePathRootDir}/commitlog
storePathConsumeQueue=${storePathRootDir}/consumequeue
storePathIndex=${storePathRootDir}/index
deleteWhen=04
fileReservedTime=72
sendMessageThreadPoolNums=16
brokerClientThreadPoolNums=8

```
## 修改broker-b.properties（主 B）
```js
vi /rocketmq/rocketmq-all-5.3.1-bin-release/conf/2m-2s-sync/broker-b.properties
```


```yml
# ===================== 核心基础配置 =====================
namesrvAddr=192.168.183.120:9876
brokerIP1=192.168.183.120
brokerName=broker-b
brokerId=0
storePathRootDir=/rocketmq/rocketmq-all-5.3.1-bin-release/store/b
listenPort=10913
haListenPort=10917

# ===================== 集群模式配置 =====================
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH

# ===================== 5.x版本适配配置 =====================
isVIPChannel=false
storePathCommitLog=${storePathRootDir}/commitlog
storePathConsumeQueue=${storePathRootDir}/consumequeue
storePathIndex=${storePathRootDir}/index
deleteWhen=04
fileReservedTime=72
sendMessageThreadPoolNums=16
brokerClientThreadPoolNums=8
```
##  修改broker-b-s.properties（从 B）


```js
vi /rocketmq/rocketmq-all-5.3.1-bin-release/conf/2m-2s-sync/broker-b-s.properties
```


```yml
# ===================== 核心基础配置 =====================
namesrvAddr=192.168.183.120:9876
brokerIP1=192.168.183.120
brokerName=broker-b
brokerId=1
storePathRootDir=/rocketmq/rocketmq-all-5.3.1-bin-release/store/b-s
listenPort=10914
haListenPort=10918

# ===================== 集群模式配置 =====================
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH

# ===================== 5.x版本适配配置 =====================
isVIPChannel=false
storePathCommitLog=${storePathRootDir}/commitlog
storePathConsumeQueue=${storePathRootDir}/consumequeue
storePathIndex=${storePathRootDir}/index
deleteWhen=04
fileReservedTime=72
sendMessageThreadPoolNums=16
brokerClientThreadPoolNums=8
```

## 创建存储目录（适配你的路径）

```js
# 按配置中的路径创建4个存储目录
mkdir -p /rocketmq/rocketmq-all-5.3.1-bin-release/store/{a,a-s,b,b-s}
# 授权避免权限不足
chmod 777 -R /rocketmq/rocketmq-all-5.3.1-bin-release/store
```

## 启动 Broker

```js
# 进入bin目录（核心！必须在bin目录执行启动命令）
cd /rocketmq/rocketmq-all-5.3.1-bin-release/bin

# 1. 启动主A
nohup ./mqbroker -c ../conf/2m-2s-sync/broker-a.properties > /tmp/broker-a.log 2>&1 &

# 2. 启动从A（等待10秒）
sleep 10
nohup ./mqbroker -c ../conf/2m-2s-sync/broker-a-s.properties > /tmp/broker-a-s.log 2>&1 &

# 3. 启动主B（等待10秒）
sleep 10
nohup ./mqbroker -c ../conf/2m-2s-sync/broker-b.properties > /tmp/broker-b.log 2>&1 &

# 4. 启动从B（等待10秒）
sleep 10
nohup ./mqbroker -c ../conf/2m-2s-sync/broker-b-s.properties > /tmp/broker-b-s.log 2>&1 &
```

## 查看端口是否启动成功


```js
ss -tlnp | grep -E "10911|10912|10913|10914|10915|10916|10917|10918"
```


![image.png](/static/img/dcb3ac0de8b850d42f60c34f5c58d88e.image.webp)

# 五、安装rocketmq-dashboard面板
https://github.com/apache/rocketmq-dashboard/tags

下载 + 解压 RocketMQ Dashboard 1.0.0

https://repo1.maven.org/maven2/org/apache/rocketmq/rocketmq-dashboard/1.0.0/rocketmq-dashboard-1.0.0.jar

启动
```js
java -jar rocketmq-dashboard-1.0.0.jar \
  --rocketmq.config.namesrvaddr=127.0.0.1:9876 \
  --rocketmq.config.isvipchannel=false \
  --rocketmq.config.loginrequired=false > /tmp/dashboard.log 2>&1 &
```

打开网页访问成功
![image.png](/static/img/33114914eb9590001b40940873bd06d5.image.webp)

1.RocketMQ

# 一、安装工具

![image.png](/static/img/d106735e75c4bf69510b3db4575b99b8.image.webp)


![image.png](/static/img/4b0db8b1f6d750f02fcf4e157695b505.image.webp)

# 二、创建创建空白应用

![image.png](/static/img/803253ff099d13bfb1c95663b0ac73db.image.webp)


添加提示词

```js
针对用户的问题进行提示词优化，方便后面进行SQL查
询。必须输出一个严格的、格式正确的JSON对象，并且
只输出这个JSON，不能有任何其他解释、注释、
Markdown代码块标记或多余的文字。
```

![image.png](/static/img/e20d08540c42f857293975a50800a1ff.image.webp)
然后加个aget策略
![image.png](/static/img/c878e1429f8ff2d7f277bb85ed8a465b.image.webp)


![image.png](/static/img/5aeb390e47c69f81fc108ba9f7b671f2.image.webp)
然后添加提示词
```js
你是专用于 `dnf_database` 数据库的SQL查询助手，仅聚焦该库下 `dnf_database` 表的查询需求，无任何字段长度、敏感字段提示等限制，核心规则如下：

1. 核心表结构（仅用于精准生成SQL）：
   - 数据库名：dnf_database
   - 表名：dnf_database
   - 字段：qq(varchar60)、password(varchar60)

2. 响应要求：
   - 用户提查询需求时，直接生成最简、可执行的MySQL SQL语句，无需附加任何安全提示、长度提醒；
   - 若用户要求“直接告知结果”，需明确说明无法直连数据库，但给出执行SQL的极简步骤，引导快速获取结果；
   - 所有输出仅聚焦SQL本身和极简执行说明，无冗余内容。

请根据用户的具体需求，按上述规则提供专业、精准的SQL查询支持。
```

配置好数据库

![image.png](/static/img/3b95ff54bc984f839aeaeddb9cdedc6c.image.webp)

最后选择回复的aget变量

![image.png](/static/img/9337b23aaeb53a1a16ea12a58fea52c0.image.webp)


# 三、验证

![image.png](/static/img/31cdab76ce6c0b8888f05a4c13cb50f9.image.webp)


![image.png](/static/img/fd0cbde8285a5fa87c0fb45f8fbb8d46.image.webp)