部署流程
- 租云平台服务器
- 安装Ollama和DeepSeek
- 安装Docker
- 部署RAGFlow(难点)
- 启动服务
- 知识库配置
1.租云平台服务器
1.1登录算力平台
- 本例选择幕僚智算平台,https://www.muliao.com/
幕僚智算平台优势:可以使用docker。还可以考虑阿里云PAI(功能更全更贵)和矩池云。
- Pytorch选平台最新版本即可

- 从JupyterLab进入终端进行安装配置,点击JupyterLab
- 点击终端登录到服务器
- 可以看到根目录和/data目录
- 也可以选择SSH方式登录到服务器
- 到目前为止就准备好服务器
建议开启资源加速,否则后续拉取镜像会比较慢
- 执行命令如下
服务器环境就绪。
2.安装Ollama和DeepSeek
2.1Ollama安装
Ollama和HuggingFace类似,是大语言模型运行框架,Ollama更专注在本地服务器上便捷部署和运行大语音模型
- 一条命令就可以下载部署ollama,复制
curl -fsSL https://ollama.com/install.sh | sh
- 在终端里粘贴以上命令,安装成功:
- 查看Ollama的端口号映射
这是因为我们租的云平台服务器的缘故。
先查看平台预留端口,任选其一:
设置Ollama端口
在终端运行(vi的操作可在网上查问)
vi /etc/systemd/system/ollama.service
往里面添加以下语句:
html 代码:Environment="OLLAMA_HOST=0.0.0.0:8891"

重新启动ollama服务让配置生效
html 代码:sudo systemctl daemon-reload
sudo systemctl restart ollama

2.2通过ollama部署DeepSeek模型
按如下数字次序操作:选取需要部署的模型
选取最小1.5b模型进行演示。1,5b大概1.1G
在终端执行命令
OLLAMA_HOST=127.0.0.1:8891 ollama run deepseek-r1:1.5b
第一次运行,会先从镜像拉取模型,请等待
模型部署完成
3.安装Docker
因为RAGFlow是以Docker镜像方式进行发布,因此先安装Docker
回到shell命令下
sudo apt-get update
3.1安装准备
先安装依赖工具
html 代码:sudo apt-get install ca-certificates curl

创建秘钥目录
html 代码:sudo install -m 0755 -d /etc/apt/keyrings

下载秘钥,如果网络不好,这个文件用手动的方式下载,然后把文件改名叫docker.asc
即可
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc

添加权限
html 代码:sudo chmod a+r /etc/apt/keyrings/docker.asc

将Docker的APT仓库添加到Ubuntu系统的APT源列表中,
以便后续可以通过APT包管理器安装Docker相关的软件包
Add the repository to Apt sources:
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

更新软件列表
html 代码:sudo apt-get update

3.2安装Docker
html 代码:sudo apt-get install docker-ce docker-ce-cli containerd.io

3.3启动Docker服务
html 代码:sudo systemctl start docker
sudo systemctl status docker

看到running状态说明docker已经正常启动
4.部署RAGFlow
RAGFlow 是一个开源框架,具备数据处理、向量索引构建、检索与生成模型集成等功能,以灵活、易用且可扩展的特性,助力开发者快速构建和优化检索增强生成系统,广泛应用于企业问答、客服、信息推荐等场景。
网站地址:
[content_hide]
https://github.com/infiniflow/ragflow/blob/main/README_zh.md
[/content_hide]

将Linux内核参数vm.max_map_count设置成262144。

vi /etc/sysctl.conf


4.1下载工程
html 代码:git clone https://github.com/infiniflow/ragflow.git

4.2修改版本信息

cd ragflow/docker
docker compose -f docker-compose.yml up -d
如果需要下载不同于 v0.16.0-slim 的 Docker 镜像,请在运行docker compose
启动服务之前先更新docker/.env
文件内的 RAGFLOW_IMAGE
变量。
通过设置RRAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0来下载RAGFlow 镜像的v0.16.0完整发行版。



重启docker让配置文件生效
html 代码:sudu systemctl restart docker

4.3修改端口号
修改成本服务器的端口号docker-compose.yml

将80:80改成8892:80

4.4拉取镜像
html 代码:cd ragflow
docker compose -f docker/docker-compose.yml up -d
如果你遇到 Docker 镜像拉不下来的问题,可以在 docker/.env 文件内根据变量RAGFLOW_IMAGE的注释提示选择华为云或者阿里云的相应镜像。

如果出现报错等问题,可以先更新镜像

sudo nano /etc/docker/daemon.json
添加如下内容:
json 代码:{
"log-driver": "json-file",
"log-opts": {
"max-size": "100m",
"max-file": "10"
},
"registry-mirrors": [
"https://docker.registry.cyou",
"https://docker-cf.registry.cyou",
"https://dockercf.jsdelivr.fyi",
"https://docker.jsdelivr.fyi",
"https://dockertest.jsdelivr.fyi",
"https://mirror.aliyuncs.com",
"https://dockerproxy.com",
"https://mirror.baidubce.com",
"https://docker.m.daocloud.io",
"https://docker.nju.edu.cn",
"https://docker.mirrors.sjtug.sjtu.edu.cn",
"https://docker.mirrors.ustc.edu.cn",
"https://mirror.iscas.ac.cn",
"https://docker.rainbond.cc",
"https://do.nark.eu.org",
"https://dc.j8.work",
"https://dockerproxy.com",
"https://gst6rzl9.mirror.aliyuncs.com",
"https://registry.docker-cn.com",
"http://hub-mirror.c.163.com",
"http://mirrors.ustc.edu.cn/",
"https://mirrors.tuna.tsinghua.edu.cn/",
"http://mirrors.sohu.com/"
],
"insecure-registries" : [
"registry.docker-cn.com",
"docker.mirrors.ustc.edu.cn"
],
}

根据端口的映射关系,服务器使用的是8892
,对应外网端口是34127

安装完毕
因此现在可以在任何联网的电脑上在浏览器上登录到RAGFlow服务上
本地浏览器登录到RAGFlow
http://localhost:34127/login
大家根据自己的情况注册后登录
5.知识库配置使用
5.1接入LLM模型
我们选择以Ollama方式接入即可:
配置模型信息
如果有多个可用的模型,也可以添加多个模型,代表RAGFlow可以使用的模型。
5.2系统模型配置
选择一个模型应用
嵌入模型我们选取RAGFlow自带的,效果比较好。
5.3创建知识库
点击创建知识库,输入名称,选择中文语言
最下面点保存
5.4上传文档并解析

依次点击上传文档
点击解析(关键步骤),如果文档较大,解析会很慢。
可以查看处理文档过程

解析成功

5.5元数据添加

这里在实际项目中是很重要的信息,增强后续信息召回的准确性。需要对文件进行业务梳理。
5.6效果测试

5.7构建助理
选取需要用到的知识库
同时配置当前会话的语言模型
对话测试
5.8对外提供服务
生成API_KEY


API_KEY = ragflow-JkYTIyOTkyZjEyZDExZWZiZjZkMTZkOD
查看chat_id


chat_id = 856ed7acf12c11ef8f4a16d89877f42a
则可以以代码形式继续进行对话,案例如下:


其中调用测试代码如下(Python):
[content_hide]

wawawa哇
暂无点赞
很实用的教程
暂无点赞
哇 这也太牛了
暂无点赞