本地免费使用大模型保姆机教程！且无需翻墙！

使用ollana在windows免费使用开源模型，并使用docker搭建web界面，结合插件在idea中使用

柳衣白卿

1352人浏览 · 2024-07-16 20:03:48

柳衣白卿 · 2024-07-16 20:03:48 发布

常见方案

方案一：使用ollama工具下载大模型+``docker安装web ui``+``continue插件完成idea代码提升---无需翻墙即可完成，但是使用continue完成对话的速度很慢

使用说明：联网使用响应效果都还可以，无论是终端还是webui，但是断网响应很慢，cpu和内存几乎吃满，考虑更换参数更小的大模型或者配置GPU，测试机i5-12400 2.50 GHz RAM 16G，没有GPU

使用说明：qwen2:1.5b断网响应速度还可以，分析代码也还行，但再复杂一点可能效果不好

使用说明：continue插件的响应速度取决于模型的响应速度，若过慢，可能导致页面无法显示

使用说明：DevoxxGenie插件会自动检测使用的框架和模型，但是无法直接使用

方案二：使用lm studio/GPT4 ALL软件下载大模型---下载大模型需要翻墙
方案三：使用Tabby工具下载大模型---有web ui和插件，但下载大模型需要翻墙

下载模型

下载ollama：点击[https://ollama.com/download](https://ollama.com/download)``--->点击download for windows按钮
安装ollama：安装完后会自动在后台运行，没有ui界面，可在终端中使用ollama命令，类似pip
下载模型：打开终端并输入ollama run deepseek-coder-v2:16b``---模型安装完后，会自动运行，界面如下，不太友好---以后若想运行该版本的模型，也是执行该命令

补充说明：ollama支持的模型[https://ollama.com/library](https://ollama.com/library)

补充说明：continue插件配置模型时，model属性的值就是deepseek-coder-v2:16b，provider属性值则为ollama

安装`wsl`

启用

win键搜索任务管理器并打开，如图操作并查看虚拟化是否开启，一般默认开启，没开启需要开启

新建文件：新建空白文本--->粘贴下面代码+保存--->保存时更改.txt 后缀为 .bat

补充说明：第一步和第二步不是必须的，若第四步要勾选的三个选择存在(企业版默认存在)，则无需执行

运行文件：右键以管理员身份运行新建文件---终端会自动启动，我们只需要等它结束即可；若不小心关闭，则重新以管理员身份运行运行该文件即可；当它结束时，会收到一条说明安装完成的通知，并询问你是否要重新启动 PC；按 Y，然后按 Enter 键

代码来源：[https://blog.csdn.net/winkexin/article/details/131526991#:~:text=%E5%A6%82%E4%BD%95%E5%9C%A8%20Windows%2011%20%E4%B8%8A%E5%90%AF%E7%94%A8%20Hyper-V%EF%BC%88%E4%B8%93%E4%B8%9A%E7%89%88%E3%80%81%E4%BC%81%E4%B8%9A%E7%89%88%E3%80%81%E6%95%99%E8%82%B2%E7%89%88%EF%BC%89%201%20%E9%80%9A%E8%BF%87%E5%9C%A8%E2%80%9C%E4%BB%BB%E5%8A%A1%E6%A0%8F%E6%90%9C%E7%B4%A2%E2%80%9D%E6%A1%86%E4%B8%AD%E9%94%AE%E5%85%A5%E2%80%9C%E5%90%AF%E7%94%A8%E6%88%96%E5%85%B3%E9%97%AD,Windows%20%E5%8A%9F%E8%83%BD%E2%80%9D%E5%B0%8F%E7%A8%8B%E5%BA%8F%E3%80%82%202%20%E7%8E%B0%E5%9C%A8%E4%BB%8E%E5%88%97%E8%A1%A8%E4%B8%AD%E6%9F%A5%E6%89%BE%E2%80%9CHyper-V%E2%80%9D%E9%80%89%E9%A1%B9%EF%BC%8C%E7%84%B6%E5%90%8E%E9%80%89%E4%B8%AD%E6%97%81%E8%BE%B9%E7%9A%84%E6%A1%86%E3%80%82%20%E7%84%B6%E5%90%8E%E5%8D%95%E5%87%BB%E2%80%9C%E7%A1%AE%E5%AE%9A%E2%80%9D%E3%80%82%203%20%E6%82%A8%E7%8E%B0%E5%9C%A8%E5%B0%86%E7%9C%8B%E5%88%B0%E4%B8%80%E4%B8%AA%E5%BA%94%E7%94%A8%E6%9B%B4%E6%94%B9%E7%9A%84%E7%AA%97%E5%8F%A3%E3%80%82%20%E5%AE%8C%E6%88%90%E5%90%8E%E5%8D%95%E5%87%BB%E5%85%B3%E9%97%AD%E3%80%82](https://blog.csdn.net/winkexin/article/details/131526991#:~:text=%E5%A6%82%E4%BD%95%E5%9C%A8%20Windows%2011%20%E4%B8%8A%E5%90%AF%E7%94%A8%20Hyper-V%EF%BC%88%E4%B8%93%E4%B8%9A%E7%89%88%E3%80%81%E4%BC%81%E4%B8%9A%E7%89%88%E3%80%81%E6%95%99%E8%82%B2%E7%89%88%EF%BC%89%201%20%E9%80%9A%E8%BF%87%E5%9C%A8%E2%80%9C%E4%BB%BB%E5%8A%A1%E6%A0%8F%E6%90%9C%E7%B4%A2%E2%80%9D%E6%A1%86%E4%B8%AD%E9%94%AE%E5%85%A5%E2%80%9C%E5%90%AF%E7%94%A8%E6%88%96%E5%85%B3%E9%97%AD,Windows%20%E5%8A%9F%E8%83%BD%E2%80%9D%E5%B0%8F%E7%A8%8B%E5%BA%8F%E3%80%82%202%20%E7%8E%B0%E5%9C%A8%E4%BB%8E%E5%88%97%E8%A1%A8%E4%B8%AD%E6%9F%A5%E6%89%BE%E2%80%9CHyper-V%E2%80%9D%E9%80%89%E9%A1%B9%EF%BC%8C%E7%84%B6%E5%90%8E%E9%80%89%E4%B8%AD%E6%97%81%E8%BE%B9%E7%9A%84%E6%A1%86%E3%80%82%20%E7%84%B6%E5%90%8E%E5%8D%95%E5%87%BB%E2%80%9C%E7%A1%AE%E5%AE%9A%E2%80%9D%E3%80%82%203%20%E6%82%A8%E7%8E%B0%E5%9C%A8%E5%B0%86%E7%9C%8B%E5%88%B0%E4%B8%80%E4%B8%AA%E5%BA%94%E7%94%A8%E6%9B%B4%E6%94%B9%E7%9A%84%E7%AA%97%E5%8F%A3%E3%80%82%20%E5%AE%8C%E6%88%90%E5%90%8E%E5%8D%95%E5%87%BB%E5%85%B3%E9%97%AD%E3%80%82)

pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V -All /LimitAccess /ALL
pause

重新启动后，键入 Windows + R运行框，然后键入optionalfeatures.exe并回车

补充说明：win键搜索控制面板并打开 -->程序-->启用或关闭 windows 功能也可以

勾选 Hyper-V、适用于Linux 的Windows子系统、虚拟机平台和Windows虚拟机监控程序平台这四个选项，然后点击确定---等它安装后重启电脑

补充说明：参考[https://learn.microsoft.com/zh-cn/windows/wsl/install-manual](https://learn.microsoft.com/zh-cn/windows/wsl/install-manual)也可以

检测：按 Windows + S打开搜索框并输入Hyper V；若有搜索结果则成功

若搜索结果中没有，则Windows+R 键打开运行窗口；然后键入 virtmgmt.msc并按 Enter

以管理员身份打开终端，然后输入下面的代码

补充说明：下面命令用于Windows启动时加载Hyper-V的必要程序资源，企业版不需要

bcdedit /set hypervisorlaunchtype auto

终端执行wsl --set-default-version 2启用wsl2

安装

打开终端，输入下面的代码安装WSL``Ubuntu``----会自动运行Ubuntu

补充：若运行Ubuntu出现WslRegisterDistribution failed with error: 0x800701bc Error: 0x800701bc WSL 2 ?????????????????? https://aka.ms/wsl2kernel ，则参考[https://blog.csdn.net/microsoft_mos/article/details/123627295](https://blog.csdn.net/microsoft_mos/article/details/123627295)

补充：若执行命令遇到0x80072ee7，则打开微软商店搜索ubuntu，找到一个合适的版本下载；或者参考[https://blog.csdn.net/zyk961755/article/details/137907793](https://blog.csdn.net/zyk961755/article/details/137907793)``---没试过

wsl --install -d Ubuntu

设置默认用户名和密码---均设置为liu---默认为**Linux**管理员，具备和**root**相同的权限

查看版本： wsl -l -v``---查看使用的wsl2还是wsl1

补充：若安装的linux发行版使用的是wsl1，则可使用wsl --set-version <distro name> 2升级

输入下面的命令来升级Ubuntu系统的包管理器

sudo apt update && sudo apt upgrade

安装 WSL
设置 WSL 开发环境

安装`docker`

安装

点击下面链接进入官网下载页面---前提：必须先安装了WSL

参考：[https://learn.microsoft.com/zh-cn/windows/wsl/tutorials/wsl-containers](https://learn.microsoft.com/zh-cn/windows/wsl/tutorials/wsl-containers)

补充：若访问不了，要么翻墙要么[https://mirrors.aliyun.com/docker-toolbox/windows/docker-for-windows/stable/?spm=a2c6h.25603864.0.0.31bf5d5ejSKfOZ](https://mirrors.aliyun.com/docker-toolbox/windows/docker-for-windows/stable/?spm=a2c6h.25603864.0.0.31bf5d5ejSKfOZ)

Install on Windows

点击 Docker Desktop for Windows

下载并安装；按照步骤正常安装即可

配置

设置国内镜像源：如图操作，然后复制粘贴

 "registry-mirrors": [
        "https://hub.uuuadc.top",
        "https://docker.anyhub.us.kg",
        "https://dockerhub.jobcher.com",
        "https://dockerhub.icu",
        "https://docker.ckyl.me",
        "https://docker.awsl9527.cn"
    ]

若遇见error during connect: In the default daemon configuration on Windows, the docker client must be run with elevated privileges to connect.: Get http://%2F%2F.%2Fpipe%2Fdocker_engine/v1.24/containers/json: open //./pipe/docker_engine: The system cannot find the file specified参考[https://blog.csdn.net/nyasm/article/details/121569182](https://blog.csdn.net/nyasm/article/details/121569182)

检查

打开终端, 输入命令docker --version 查看Docker的版本
输入命令docker-compose --version 查看Compose的版本
输入命令docker, 如图即安装正确(部分)

安装`web ui`

终端执行docker run --security-opt seccomp=unconfined -d -p 3210:3210 --name lobe-chat lobehub/lobe-chat命令

问题参考：[https://juejin.cn/post/7322842829775781951](https://juejin.cn/post/7322842829775781951)

安装参考：[https://blog.csdn.net/qq_28171389/article/details/140084682](https://blog.csdn.net/qq_28171389/article/details/140084682)

浏览器访问localhost:3210
点击设置，点击语言模块选择之前安装的模型，然后点击系统助手，切换成之前安装的模型，最后在聊天界面中切换成之前安装的模型

配合编辑器

安装插件：idea/vscode安装插件continue``---``250M大，下载起来比较慢；下载完后侧边栏会有插件的图标，点击即可进行chat/设置模型
模型设置：[https://docs.continue.dev/setup/overview](https://docs.continue.dev/setup/overview)