Ollama 设置 服务器host
时间:2025-5-23 11:28 作者:wanzi 分类: 无
前言
默认的ollama 服务绑定的是127.0.0.1
环回地址,在使用dify 并通过docker 容器部署后(网络默认为桥接)。我们需要添加ollama模型供应商的时候,这个时候如果基础url写http://127.0.0.1:11434
或者 http://{your_ip}:11434
那这种情况下是网络不通的,因此,我们需要解决这问题。
解决之道
Ollama 服务器可以通过环境变量进行配置。
在 Mac 上设置环境变量:
如果 Ollama 作为 macOS 应用程序运行,则应使用 launchctl 设置环境变量:
- 为每个环境变量,调用 launchctl setenv。
launchctl setenv OLLAMA_HOST "0.0.0.0"
- 重启 Ollama 应用程序。
在 Linux 上设置环境变量
如果 Ollama 作为 systemd 服务运行,则应使用 systemctl 设置环境变量:
-
通过调用 systemctl edit ollama.service 编辑 systemd 服务,执行该命令后会打开一个编辑器。
-
为每个环境变量,在 [Service] 部分下添加一行 Environment:
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
-
保存并退出。
-
重新加载 systemd 并重启 Ollama:
systemctl daemon-reload
systemctl restart ollama
在 Windows 上设置环境变量
在 Windows 上,Ollama 继承您的用户和系统环境变量。
-
首先通过单击任务栏中的 Ollama 退出程序
-
从控制面板编辑系统环境变量
-
为您的用户帐户编辑或创建 OLLAMA_HOST、OLLAMA_MODELS 等新变量。
-
单击确定/应用保存
-
从新的终端窗口运行 Ollama
如何在网络上公开 Ollama?
默认情况下,Ollama 绑定 127.0.0.1 端口 11434。使用 OLLAMA_HOST 环境变量更改绑定地址。
有关如何在您的平台上设置环境变量,请参阅上面的部分。
如何将 Ollama 与代理服务器一起使用? Ollama 运行一个 HTTP 服务器,可以使用 Nginx 等代理服务器公开。为此,请配置代理以转发请求并有选择地设置所需的标头(如果不在网络上公开 Ollama)。例如,使用 Nginx:
server {
listen 80;
server_name example.com; # Replace with your domain or IP
location / {
proxy_pass http://localhost:11434;
proxy_set_header Host localhost:11434;
}
}
原文
解决方案来源于:https://tonylabs.com/