AI

MAXKB OLLAMA

前言
完全使用本地资源,部署一个0费用的AI知识库,可用于 智能客户、内部知识解答。

环境
docker、win10+

第一部分 MaxKB安装
MaxKB 简介:基于 LLM 大语言模型的知识库问答系统。开箱即用,支持快速嵌入到第三方业务系统

GitHub地址:https://github.com/1Panel-dev/MaxKB

1.1 docker安装
目前MaxKB官方只给出了docker部署方式,所以我们要先安装docker docker desktop 下载并安装 :https://www.docker.com/products/docker-desktop/

1.2 MaxKB 安装
docker 安装MaxKB 命令:

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb
# 初始密码
# 用户名: admin
# 密码: MaxKB@123..

1.3 登陆MaxKB 并设置
登陆MaxKB后可以创建知识库,知识库支持文档和网页链接。创建问答应用并关联对应的知识库。设置大语言模型。

第二部分 安装大语言模型
上一个部分中我们构建了知识库,现在需要一个大语言模型来学习这些知识,并理解我们的提问。

2.1 Ollama的安装
Ollama是一个让我们可以一键运行大模型的软件。 下载地址:https://ollama.com/

安装完成后,在cmd命令行中输入
ollama -v
显示对应版本,证明安装正确并正在运行

2.2 下载大语言模型
首先在ollama的模型库里面选择自己想要的模型,ollama model地址:https://ollama.com/library
在cmd命令行中,运行对应的下载命令,例如我下载 llama3

ollama run llama3

第三部分 将MaxKB与大语言模型对接
在MaxKB网站中,系统设置⇒模型设置⇒Ollama⇒添加模型
注意!
“基础模型” 填写内容必须和下载模型名称一致
“API域名” 127.0.0.1:11434 若MaxKB使用docker部署应填写 http://host.docker.internal:11434
“API KEY” 随意填写

Leave a Reply

Your email address will not be published. Required fields are marked *