Category: AI

AI

MAXKB OLLAMA

前言 完全使用本地资源，部署一个0费用的AI知识库，可用于 智能客户、内部知识解答。 环境 docker、win10+ 第一部分 MaxKB安装 MaxKB 简介：基于 LLM 大语言模型的知识库问答系统。开箱即用，支持快速嵌入到第三方业务系统 GitHub地址：https://github.com/1Panel-dev/MaxKB 1.1 docker安装 目前MaxKB官方只给出了docker部署方式，所以我们要先安装docker docker desktop 下载并安装 ：https://www.docker.com/products/docker-desktop/ 1.2 MaxKB 安装 docker 安装MaxKB 命令： 1.3 登陆MaxKB 并设置 登陆MaxKB后可以创建知识库，知识库支持文档和网页链接。创建问答应用并关联对应的知识库。设置大语言模型。 第二部分 安装大语言模型 上一个部分中我们构建了知识库，现在需要一个大语言模型来学习这些知识，并理解我们的提问。 2.1 Ollama的安装 Ollama是一个让我们可以一键运行大模型的软件。

Read More
AI

Local deployment Llama3 – 8B/70B large model

本地部署开源Llama3 大模型。 1. GPT4All :  适合低配置用户，可以在CPU/GPU上跑【点击下载】 2.LMstudio ，支持下载多模型 8B/70B 等，模型选择更多！【点击下载】 3.Ollama，支持多平台！Windows / Mac /Linux 都可以运行 【点击下载】 并在 Windows 上打开 WSL  功能： 安装Docker Desktop ：【点击前往】 然后本地安装webUI (1)在CPU下运行： docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name

Read More