OpenEuler安装Ollama并使用NPM反向代理

一、OpenEuler安装Docker

创建Docker CE仓库

vi /etc/yum.repos.d/docker-ce.repo

写入以下内容

[docker-ce]
name=docker-ce
baseurl=https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/9/x86_64/stable/
gpgcheck=0
enabled=1

创建yum缓存

yum makecache

下载Docker相关软件包

yum install docker-ce containerd.io docker-ce-cli

编辑Docker守护进程配置文件

vi /etc/docker/daemon.json

写入以下内容

{
  "data-root": "/opt/docker",
  "log-opts": {
    "max-size": "10m",
    "max-file":"3"
  },
  "registry-mirrors": ["https://docker.1panelproxy.com"],
  "storage-driver": "overlay2",
  "exec-opts": ["native.cgroupdriver=systemd"]
}

最后启用Docker

systemctl enable --now docker

二、运行Ollama

以0.4.8版本的为例

先拉取镜像

docker pull ghcr.io/open-webui/open-webui:v0.4.8

运行容器

docker run -itd --name open-webui -v /opt/open-webui:/app/backend/data --network=host -e TZ=Asia/Shanghai -e OLLAMA_BASE_URL=http://127.0.0.1:11434 -v /etc/localtime:/etc/localtime:ro --restart=always ghcr.io/open-webui/open-webui:v0.4.8

三、运行NPM

docker run -itd --name npm --restart always -p 5080:80 -p 5081:81 -p 5443:443 -v /opt/npm/data:/data -v /opt/npm/letsencrypt:/etc/letsencrypt jc21/nginx-proxy-manager:latest

开启流式输出

proxy_buffering off;
proxy_cache off;
proxy_set_header Connection '';
proxy_http_version 1.1;
chunked_transfer_encoding on;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";