# 一、Hadoop介绍
Hadoop 是一个开源的分布式存储与分布式计算框架，由 Apache 基金会维护，核心目标是高效、可靠地处理海量结构化、半结构化和非结构化数据。它的设计初衷是解决传统单机无法承载的大数据存储和计算问题，具备高容错、高扩展、低成本的特点。


## Hadoop 的核心组成

### HDFS（Hadoop Distributed File System）—— 分布式文件系统
```js
作用：负责海量数据的分布式存储，是 Hadoop 的 “数据仓库”。
核心特点：
分块存储：将大文件切分成固定大小的数据块（默认 128MB），分散存储在集群的不同节点上。
副本机制：每个数据块会生成多个副本（默认 3 个），存放在不同节点，保证数据容错性（某节点故障不会丢失数据）。
主从架构：由 NameNode（管理元数据，记录文件与数据块的映射关系）和 DataNode（存储实际数据块）组成。
局限性：适合一次写入、多次读取的场景，不适合小文件存储和频繁修改的操作。
```

### MapReduce —— 分布式计算模型

```js
作用：负责海量数据的离线批处理计算，是 Hadoop 的 “计算引擎”。
核心流程：
Map 阶段：将任务拆分，多个节点并行处理局部数据，生成中间结果。
Reduce 阶段：汇总所有节点的中间结果，计算出最终输出。
局限性：处理延迟较高，不适合实时计算；只支持批处理，灵活性不足。
```
### YARN（Yet Another Resource Negotiator）—— 资源调度与管理框架


```js
作用：负责集群资源（CPU、内存）的统一调度和任务管理，相当于 Hadoop 集群的 “操作系统”。
核心特点：
解耦了 “资源管理” 和 “任务运行”，支持多种计算框架（除了 MapReduce，还能支持 Spark、Flink 等）。
主从架构：由 ResourceManager（全局资源调度）和 NodeManager（单个节点的资源管理）组成。
```

## Hadoop 的核心优势

```js
高容错性：依赖 HDFS 的副本机制和任务重试机制，节点故障不影响整体任务。
高扩展性：集群可以通过添加普通服务器节点，线性提升存储和计算能力。
高吞吐量：专为批处理设计，能高效处理 TB、PB 级别的海量数据。
低成本：可以运行在普通 x86 服务器集群上，无需昂贵的专用硬件。
```


![image.png](/static/img/33ffd5b6513fa6c0dc692c4d3b48fe31.image.webp)


# 二、下载安装Hadoop

先安装javaJDK8配置环境变量

```js
# 1. 找到你的OpenJDK 8安装路径（rpm安装的OpenJDK通常在以下路径）
find /usr/lib/jvm -name "java-1.8.0-openjdk*"
# 输出示例：/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64

# 2. 配置JAVA_HOME（永久生效，所有用户可用）
vim /etc/profile
# 在文件末尾添加（替换为你查到的实际路径）：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
export PATH=$PATH:$JAVA_HOME/bin

# 3. 生效并验证
source /etc/profile
echo $JAVA_HOME  # 输出上述路径则正确

# 4.绑定本地主机
echo "192.168.201.100   k8s-master01" >> /etc/hosts  # 绑定本机hosts
```


上传解压hadoop包

```js
rz hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
```
继续配置环境变量

```js
# 直接编辑全局配置文件，Root 用户生效
vim /etc/profile
```

```js
# Hadoop 环境变量（Root 用户，路径：/opt/hadoop/hadoop-3.3.6）
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.6
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
```

```js
# 立即生效配置
source /etc/profile

# 验证 HADOOP_HOME 路径（必须和解压路径一致）
echo $HADOOP_HOME
# 正确输出：/opt/hadoop/hadoop-3.3.6

# 验证 Java 环境（确保 JAVA_HOME 正确）
echo $JAVA_HOME
java -version

# 验证 Hadoop 命令（无 "command not found" 则成功）
hadoop version
```

:::warning{title="注意"}
因为我是rpm包安装的javajdk导致自动安装的目录不同所以要建一个软链接，

```js
# 先确认JAVA_HOME目录结构
ls -ld /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/bin
# 输出 "No such file or directory"，所以先创建bin目录
mkdir -p /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/bin

# 核心操作：将实际的java可执行文件链接到Hadoop期望的路径
ln -s /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/jre/bin/java /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/bin/java

# 验证软链接是否创建成功
ls -l /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/bin/java
# 正常输出（指向jre下的java）：
# lrwxrwxrwx 1 root root 76 月  日 时:分 /usr/lib/jvm/.../bin/java -> /usr/lib/jvm/.../jre/bin/java

chmod +x /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/bin/java

# 验证链接后的java是否可执行
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/bin/java -version
# 输出OpenJDK 1.8.0_262版本则正确

# 重新生效环境变量（确保配置无缓存）
source /etc/profile

# 执行hadoop version
hadoop version

# 正常输出示例（无报错则成功）：
# Hadoop 3.3.6
# Source code repository https://github.com/apache/hadoop.git -r 94261f61f91e2585fa572332d065983b1d113959
# Compiled by ubuntu on 2024-01-08T12:40Z
# Compiled with protoc 3.7.1
# From source with checksum 2e364f1415f31111a65788c9c93a0700
# This command was run using /opt/hadoop/hadoop-3.3.6/share/hadoop/common/hadoop-common-3.3.6.jar
```
:::



1.Hadoop介绍与部署

# 一、RocketMQ组件
 RocketMQ基本组件
- Topic：主题，消息归类的基本单元
- Queue：队列，消息存储和传输的实际容器，也是消息的最小存储单元
- Producer：生产者，用来构建并传输消息
- Consumer：消费者，用来接收并处理消息
- ConsumerGroup：消费者组，消费者组是RocketMQ中承载多个消费行为一致的消费者负载均衡分组。和消费者不同，消费者组是一个逻辑概念

- NameServer：可以理解成注册中心，负责更新和发现Broker服务。在NameErver的集群中，NameServer与NameServer之间是没有任何通信的，它是无状态的

- Broker集群：Broker由一个或多个Broker组成集群，每一个Broker就是一个Kafka实例

 主题(Topic)和队列(Queue)
 
- 在RocketMQ中要实现消息的发送与订阅，必须首先创建Topic。
- 因为Topic是RocketMQ进行消息归类的基本单元。通过Topic接收消息生产者发布的消息，并将消息转发给消费者。

-  比如任务类的消息，就指定好任务类的topic，生产者根据topic把消息发送到队列，消费者订阅这个topic消费消息。


# 二、RocketMQ下载
官网地址：https://rocketmq.apache.org/zh/

或者阿里官网下载：https://mirrors.aliyun.com/apache/rocketmq/5.3.1/
![image.png](/static/img/2ecb45a05c27803592a389ff986d28a4.image.webp)

# 三、RocketMQ部署

上传下载的包的到服务器上，解压后进入bin目录下

```js
cd /rocketmq/rocketmq-all-5.3.1-bin-release/bin
```

修改两个文件配置
```js
[root@k8s-node04 bin]# ls -l *run*
-rwxr-xr-x 1 root root 3332 11月 27 11:32 runbroker.cmd
-rwxr-xr-x 1 root root 4914 11月 27 11:32 runbroker.sh
-rwxr-xr-x 1 root root 2876 11月 27 11:32 runserver.cmd
-rwxr-xr-x 1 root root 4461 11月 27 11:32 runserver.sh
```

![image.png](/static/img/97672e668a8026493d14d7ec9cdc3455.image.webp)

自己电脑修改它内存的大小，默认8G太多了都改成1g
```js
vi runbroker.sh
```

![image.png](/static/img/df492dae43114070645bcd326a823766.image.webp)


```js
vi runserver.sh
```

![image.png](/static/img/a764d8e523c53e7de78c1bd67f8fead5.image.webp)


# 四、启动RocketMQ集群
先启动注册中心
```js
nohup ./mqnamesrv &
```


![image.png](/static/img/ef7c2c75f8b2dc4a32000d8d520d07cf.image.webp)


然后进入conf目录

```js
cd /rocketmq/rocketmq-all-5.3.1-bin-release/conf
```
这类目录是 RocketMQ 官方提供的 Broker 集群部署配置模板，命名规则：m=Master（主节点）、s=Slave（从节点）、async=异步复制、sync=同步复制、noslave=无从节点，用于快速搭建不同架构的 Broker 集群：

![image.png](/static/img/070160eccc61435511406e2419ddc0ed.image.webp)


![image.png](/static/img/b997930e6f6e5cc6c02054b58fe4760e.image.webp)

## 修改 broker-a.properties（主 A）

```js
vi /rocketmq/rocketmq-all-5.3.1-bin-release/conf/2m-2s-sync/broker-a.properties
```

```yml
# ===================== 核心基础配置 =====================
# NameServer地址（单节点）
namesrvAddr=192.168.183.120:9876
# Broker内网IP（单服务器可省略，自动识别，建议显式指定）
brokerIP1=192.168.183.120
# Broker名称（主从节点必须一致）
brokerName=broker-a
# 节点类型：0=主节点，1=从节点
brokerId=0
# 消息存储根目录（注意：替换为你的RocketMQ实际安装路径，5.3.4则改5.3.4）
storePathRootDir=/rocketmq/rocketmq-all-5.3.1-bin-release/store/a
# 业务监听端口（主A专属，避免冲突）
listenPort=10911
# HA监听端口（主A专属）
haListenPort=10915

# ===================== 集群模式配置 =====================
# 同步复制模式（2m-2s-sync核心：主节点必须为SYNC_MASTER）
brokerRole=SYNC_MASTER
# 刷盘策略：ASYNC_FLUSH（异步，测试用）/SYNC_FLUSH（同步，生产推荐）
flushDiskType=ASYNC_FLUSH

# ===================== 5.x版本适配配置 =====================
# 关闭5.x废弃的VIP通道（必配，避免连接异常）
isVIPChannel=false
# 日志子路径（避免根目录混乱，自动基于storePathRootDir生成）
storePathCommitLog=${storePathRootDir}/commitlog
storePathConsumeQueue=${storePathRootDir}/consumequeue
storePathIndex=${storePathRootDir}/index
# 日志删除策略：凌晨4点删除，保留72小时（避免磁盘占满）
deleteWhen=04
fileReservedTime=72
# 线程池优化（提升并发处理能力）
sendMessageThreadPoolNums=16
brokerClientThreadPoolNums=8
```

## 修改 broker-a-s.properties（从 A）

```js
vi /rocketmq/rocketmq-all-5.3.1-bin-release/conf/2m-2s-sync/broker-a-s.properties
```

```bash
# ===================== 核心基础配置 =====================
# NameServer地址（和主节点一致）
namesrvAddr=192.168.183.120:9876
# Broker内网IP（和主节点一致）
brokerIP1=192.168.183.120
# Broker名称（必须和主A一致）
brokerName=broker-a
# 节点类型：从节点固定为1
brokerId=1
# 消息存储根目录（从节点独立路径）
storePathRootDir=/rocketmq/rocketmq-all-5.3.1-bin-release/store/a-s
# 业务监听端口（从A专属）
listenPort=10912
# HA监听端口（从A专属）
haListenPort=10916

# ===================== 集群模式配置 =====================
# 从节点固定为SLAVE
brokerRole=SLAVE
# 刷盘策略（从节点建议和主节点一致）
flushDiskType=ASYNC_FLUSH

# ===================== 5.x版本适配配置 =====================
isVIPChannel=false
storePathCommitLog=${storePathRootDir}/commitlog
storePathConsumeQueue=${storePathRootDir}/consumequeue
storePathIndex=${storePathRootDir}/index
deleteWhen=04
fileReservedTime=72
sendMessageThreadPoolNums=16
brokerClientThreadPoolNums=8

```
## 修改broker-b.properties（主 B）
```js
vi /rocketmq/rocketmq-all-5.3.1-bin-release/conf/2m-2s-sync/broker-b.properties
```


```yml
# ===================== 核心基础配置 =====================
namesrvAddr=192.168.183.120:9876
brokerIP1=192.168.183.120
brokerName=broker-b
brokerId=0
storePathRootDir=/rocketmq/rocketmq-all-5.3.1-bin-release/store/b
listenPort=10913
haListenPort=10917

# ===================== 集群模式配置 =====================
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH

# ===================== 5.x版本适配配置 =====================
isVIPChannel=false
storePathCommitLog=${storePathRootDir}/commitlog
storePathConsumeQueue=${storePathRootDir}/consumequeue
storePathIndex=${storePathRootDir}/index
deleteWhen=04
fileReservedTime=72
sendMessageThreadPoolNums=16
brokerClientThreadPoolNums=8
```
##  修改broker-b-s.properties（从 B）


```js
vi /rocketmq/rocketmq-all-5.3.1-bin-release/conf/2m-2s-sync/broker-b-s.properties
```


```yml
# ===================== 核心基础配置 =====================
namesrvAddr=192.168.183.120:9876
brokerIP1=192.168.183.120
brokerName=broker-b
brokerId=1
storePathRootDir=/rocketmq/rocketmq-all-5.3.1-bin-release/store/b-s
listenPort=10914
haListenPort=10918

# ===================== 集群模式配置 =====================
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH

# ===================== 5.x版本适配配置 =====================
isVIPChannel=false
storePathCommitLog=${storePathRootDir}/commitlog
storePathConsumeQueue=${storePathRootDir}/consumequeue
storePathIndex=${storePathRootDir}/index
deleteWhen=04
fileReservedTime=72
sendMessageThreadPoolNums=16
brokerClientThreadPoolNums=8
```

## 创建存储目录（适配你的路径）

```js
# 按配置中的路径创建4个存储目录
mkdir -p /rocketmq/rocketmq-all-5.3.1-bin-release/store/{a,a-s,b,b-s}
# 授权避免权限不足
chmod 777 -R /rocketmq/rocketmq-all-5.3.1-bin-release/store
```

## 启动 Broker

```js
# 进入bin目录（核心！必须在bin目录执行启动命令）
cd /rocketmq/rocketmq-all-5.3.1-bin-release/bin

# 1. 启动主A
nohup ./mqbroker -c ../conf/2m-2s-sync/broker-a.properties > /tmp/broker-a.log 2>&1 &

# 2. 启动从A（等待10秒）
sleep 10
nohup ./mqbroker -c ../conf/2m-2s-sync/broker-a-s.properties > /tmp/broker-a-s.log 2>&1 &

# 3. 启动主B（等待10秒）
sleep 10
nohup ./mqbroker -c ../conf/2m-2s-sync/broker-b.properties > /tmp/broker-b.log 2>&1 &

# 4. 启动从B（等待10秒）
sleep 10
nohup ./mqbroker -c ../conf/2m-2s-sync/broker-b-s.properties > /tmp/broker-b-s.log 2>&1 &
```

## 查看端口是否启动成功


```js
ss -tlnp | grep -E "10911|10912|10913|10914|10915|10916|10917|10918"
```


![image.png](/static/img/dcb3ac0de8b850d42f60c34f5c58d88e.image.webp)

# 五、安装rocketmq-dashboard面板
https://github.com/apache/rocketmq-dashboard/tags

下载 + 解压 RocketMQ Dashboard 1.0.0

https://repo1.maven.org/maven2/org/apache/rocketmq/rocketmq-dashboard/1.0.0/rocketmq-dashboard-1.0.0.jar

启动
```js
java -jar rocketmq-dashboard-1.0.0.jar \
  --rocketmq.config.namesrvaddr=127.0.0.1:9876 \
  --rocketmq.config.isvipchannel=false \
  --rocketmq.config.loginrequired=false > /tmp/dashboard.log 2>&1 &
```

打开网页访问成功
![image.png](/static/img/33114914eb9590001b40940873bd06d5.image.webp)

1.RocketMQ

# 一、安装工具

![image.png](/static/img/d106735e75c4bf69510b3db4575b99b8.image.webp)


![image.png](/static/img/4b0db8b1f6d750f02fcf4e157695b505.image.webp)

# 二、创建创建空白应用

![image.png](/static/img/803253ff099d13bfb1c95663b0ac73db.image.webp)


添加提示词

```js
针对用户的问题进行提示词优化，方便后面进行SQL查
询。必须输出一个严格的、格式正确的JSON对象，并且
只输出这个JSON，不能有任何其他解释、注释、
Markdown代码块标记或多余的文字。
```

![image.png](/static/img/e20d08540c42f857293975a50800a1ff.image.webp)
然后加个aget策略
![image.png](/static/img/c878e1429f8ff2d7f277bb85ed8a465b.image.webp)


![image.png](/static/img/5aeb390e47c69f81fc108ba9f7b671f2.image.webp)
然后添加提示词
```js
你是专用于 `dnf_database` 数据库的SQL查询助手，仅聚焦该库下 `dnf_database` 表的查询需求，无任何字段长度、敏感字段提示等限制，核心规则如下：

1. 核心表结构（仅用于精准生成SQL）：
   - 数据库名：dnf_database
   - 表名：dnf_database
   - 字段：qq(varchar60)、password(varchar60)

2. 响应要求：
   - 用户提查询需求时，直接生成最简、可执行的MySQL SQL语句，无需附加任何安全提示、长度提醒；
   - 若用户要求“直接告知结果”，需明确说明无法直连数据库，但给出执行SQL的极简步骤，引导快速获取结果；
   - 所有输出仅聚焦SQL本身和极简执行说明，无冗余内容。

请根据用户的具体需求，按上述规则提供专业、精准的SQL查询支持。
```

配置好数据库

![image.png](/static/img/3b95ff54bc984f839aeaeddb9cdedc6c.image.webp)

最后选择回复的aget变量

![image.png](/static/img/9337b23aaeb53a1a16ea12a58fea52c0.image.webp)


# 三、验证

![image.png](/static/img/31cdab76ce6c0b8888f05a4c13cb50f9.image.webp)


![image.png](/static/img/fd0cbde8285a5fa87c0fb45f8fbb8d46.image.webp)

9.Dify-自然语言执行sql（就是不会sql也查询数据）

# 一、 做个翻译语言的智能体
填写提示词
```js
你是精通多门语言的专业翻译专家，覆盖中文、英语、日语、德语、法语、西班牙语、韩语等常用语言，核心聚焦中文与英文双向高效互译，无需任何额外询问，用户输入原文后直接输出翻译结果，具体要求如下：
核心翻译规则（强制执行，不额外确认）
1.目标语言判定：用户指定目标语言（如 “译成日语”“转法语”）则按指定执行；未指定时，中文原文默认译为英文，非中文原文默认译为中文。
2.精准优先：严格还原原文含义，不增删语义，专业术语符合对应语言行业规范，中文转英文避免中式英语。
3.语境适配：默认按日常场景翻译，用户标注场景（商务 / 学术 / 文学等）则同步调整风格，确保表达自然。
4.细节兼顾：修正原文语法错误（若有），文化特有表达保留内涵，必要时补充 1 句话内极简说明。
固定输出格式
1.先明确标注：「原语言：{{wenben}} → 目标语言：{{fanyi}}」（XX 为具体语言名称，如中文、英文、日语）。
2.换行单独呈现翻译结果，用户要求 “双语对照” 时，再补充 “原文：XXX / 译文：XXX” 分行格式。
3.全程不添加任何询问类语句（如 “是否要翻译成 XX？”“确认目标语言吗？”），直接交付翻译结果。
```

变量选择下拉框-填写对应的语言

![image.png](/static/img/865cd0391006b6cbdba0cc93cfaa8f54.image.webp)

![image.png](/static/img/4161f420578b74cb008b367f21514117.image.webp)


演示
![image.png](/static/img/200f710547c26ea172958d72be929eaf.image.webp)

8.Dify-AI翻译

# 一、创建一个工作流模版

![image.png](/static/img/fa1e0ae76b0404fd8bcd3994076090fe.image.webp)


工作流开始设置一个sql的参数字段

![image.png](/static/img/f42df2c02021efabb22f1543a4041e84.image.webp)

然后添加一个执行代码的模块

![image.png](/static/img/cf049a60eb85c45adf9bf45af57da3c8.image.webp)

然后画线关联起来
![image.png](/static/img/08c7924e88a20614f91c791815067fbf.image.webp)

然后点代码执行设置开始时候输入的sql参数

![image.png](/static/img/842ea7e140a142ee780dbe3b911ab5f0.image.webp)


然后把python代码丢进去,（自己本地写好一个连接数据库调用的对外接口）

```python
import json
import requests

def main(sql: str) -> dict:
    """
    调用执行SQL的接口，适配Dify的函数调用规范
    :param sql: 传入的SQL语句字符串
    :return: 包含执行结果的字典
    """
    # 注意：host.docker.internal是Docker容器访问宿主机的地址，若Dify部署在Docker中，需用此地址访问宿主机的Flask服务
    url = "http://192.168.31.22:5000/execute_sql"
    # 数据库连接信息
    connection_info = {
        "host": "localhost",
        "user": "root",
        "password": "123456",
        "database": "database"
    }
    # 构造请求体
    payload = {
        "sql": sql,
        "connection_info": connection_info
    }
    headers = {
        "Content-Type": "application/json"
    }
    try:
        # 发送POST请求
        response = requests.post(url, json=payload, headers=headers)
        if response.status_code == 200:
            try:
                # 解析响应结果
                return {"result": str(response.json()["result"])}
            except Exception as e:
                return {"result": f"解析响应 JSON 失败: {str(e)}"}
        else:
            return {"result": f"请求失败，状态码: {response.status_code}"}
    except Exception as e:
        return {"result": str(e)}
```


然后添加一个结束节点，然后关联起来，然后写入执行代码的输出参数即可

![image.png](/static/img/85515ef8cda2740be3c95d32e72c1a64.image.webp)


# 二、测试使用
发布后测试使用，输入一个sql语句进行查询
![](https://songxuan.vip/static/img/3b3595d7aaced21e08bc4f3978240f75.image.webp)
然后成功返回对应的结果

![image.png](/static/img/bfc5ea7bf021b50aeaf3b58475997683.image.webp)


一、Hadoop介绍

一、RocketMQ组件

一、安装工具

一、 做个翻译语言的智能体

一、创建一个工作流模版

一、做个翻译语言的智能体