在无root的情况下安装Ollama
很多时候，我们使用的服务器是没有root权限的（一般是团队的服务器），这个时候我们要部署模型，就要学会如何在无root的情况下安装ollama。
- 在ollama的github release中找到对应的文件，然后用wget下载文件
- 用
tar -I zstd -xf 文件名.tar.zst解压 - 将
.\bin加入PATH 运行ollama serve即可启动服务器
下载模型
自行下载GGUF模型
我们可以用别人量化好的gguf模型，这个方便，比如以qwen3.6-35b为例，可以使用unsloth的量化版： Qwen3.6-35B-A3B-GGUF · 模型库 当模型下载下来之后，有一个非常重要的步骤就是为ollama编写Modelfile 如果不编写Modelfile，模型就会表现得像续写，或者有各种奇怪的问题 以下的文档值得参考：
然后，运行ollama create 模型 -f ./Modelfile就行
直接下载官方的
当然，我们还是更喜欢偷懒
直接用ollama pull下载，ollama run运行官方模型就行。
Open WebUI
pip install open-webui- 运行
open-webui serve启动服务器，端口默认为8080
评论 · 0