«

Ollama 设置 服务器host

时间:2025-5-23 11:28     作者:wanzi     分类:


前言

默认的ollama 服务绑定的是127.0.0.1环回地址,在使用dify 并通过docker 容器部署后(网络默认为桥接)。我们需要添加ollama模型供应商的时候,这个时候如果基础url写http://127.0.0.1:11434 或者 http://{your_ip}:11434 那这种情况下是网络不通的,因此,我们需要解决这问题。

解决之道

Ollama 服务器可以通过环境变量进行配置。

在 Mac 上设置环境变量:
如果 Ollama 作为 macOS 应用程序运行,则应使用 launchctl 设置环境变量:

  1. 为每个环境变量,调用 launchctl setenv。
    launchctl setenv OLLAMA_HOST "0.0.0.0"
  2. 重启 Ollama 应用程序。

在 Linux 上设置环境变量
如果 Ollama 作为 systemd 服务运行,则应使用 systemctl 设置环境变量:

  1. 通过调用 systemctl edit ollama.service 编辑 systemd 服务,执行该命令后会打开一个编辑器。

  2. 为每个环境变量,在 [Service] 部分下添加一行 Environment:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"
  1. 保存并退出。

  2. 重新加载 systemd 并重启 Ollama:

systemctl daemon-reload
systemctl restart ollama

在 Windows 上设置环境变量
在 Windows 上,Ollama 继承您的用户和系统环境变量。

  1. 首先通过单击任务栏中的 Ollama 退出程序

  2. 从控制面板编辑系统环境变量

  3. 为您的用户帐户编辑或创建 OLLAMA_HOST、OLLAMA_MODELS 等新变量。

  4. 单击确定/应用保存

  5. 从新的终端窗口运行 Ollama

如何在网络上公开 Ollama?
默认情况下,Ollama 绑定 127.0.0.1 端口 11434。使用 OLLAMA_HOST 环境变量更改绑定地址。

有关如何在您的平台上设置环境变量,请参阅上面的部分。

如何将 Ollama 与代理服务器一起使用? Ollama 运行一个 HTTP 服务器,可以使用 Nginx 等代理服务器公开。为此,请配置代理以转发请求并有选择地设置所需的标头(如果不在网络上公开 Ollama)。例如,使用 Nginx:

server {
    listen 80;
    server_name example.com;  # Replace with your domain or IP
    location / {
        proxy_pass http://localhost:11434;
        proxy_set_header Host localhost:11434;
    }
}

原文

解决方案来源于:https://tonylabs.com/