Local deployment Llama3 – 8B/70B large model
本地部署开源Llama3 大模型。
1. GPT4All : 适合低配置用户，可以在CPU/GPU上跑【点击下载】
2.LMstudio ，支持下载多模型 8B/70B 等，模型选择更多！【点击下载】
3.Ollama，支持多平台！Windows / Mac /Linux 都可以运行 【点击下载】
并在 Windows 上打开 WSL 功能：
安装Docker Desktop ：【点击前往】
然后本地安装webUI
(1)在CPU下运行：
docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main
(2)支持GPU运行：
docker run -d -p 3000:8080 –gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:ollama
安装完成通过本地地址：http://127.0.0.1:3000 进行访问
