Open WebUI

ИИ и аудио

Частен интерфейс в стил ChatGPT за модели, които работят на твоя видеокарта.

Open WebUI е самостоятелно хоствана чат платформа за големи езикови модели. Работи с Ollama, който изпълнява моделите на твоя хардуер, и с всяко OpenAI-съвместимо API. Получаваш история на разговорите, няколко потребители, качване на документи с търсене в тях, търсене в мрежата, гласов вход и управление на модели в браузъра, а заявките ти не е нужно да напускат мрежата ти. На видеокарта като RTX 3090 модел с 20 милиарда параметъра отговаря с над 100 токена в секунда. Това е самостоятелно хоствана алтернатива на абонаментите от типа ChatGPT, стига да ти харесва качеството на отворените модели.

Лиценз

Open WebUI License (BSD-3-Clause based, with a branding clause)

GitHub звезди

156 262

Официален сайт

https://openwebui.com

Изходен код

https://github.com/open-webui/open-webui

Съвместимост

Архитектури

amd64, arm64

База данни

SQLite

Ресурси

4096 MB RAM · 4 CPU

Measured in our LXC (6 vCPU, 6 GB RAM, RTX 3090) with Ollama 0.34.2: the Open WebUI container uses about 0.5 to 0.7 GB of RAM, and the container lives in an LXC that sat at 0.7 GB idle and about 2.9 GB with a 20B model loaded, because the model weights go to the GPU. gpt-oss:20b (13 GB download) took about 16.5 GB of VRAM at the default 32k context and generated around 122 to 125 tokens per second; the first load took about 47 seconds. The Docker image is about 6.5 GB. Without a GPU, expect much slower answers and stick to small models.

Галерия със снимки

Chat
New chat
Sign-in
Resource usage

Деплойване

# Ollama runs on the host (or in the same LXC) and listens on 127.0.0.1:11434.
# Install it first with the official instructions at https://ollama.com/download
# For an NVIDIA GPU you also need the NVIDIA driver on the host.
# host networking lets the container reach Ollama on 127.0.0.1; the UI is then on port 8080.
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    network_mode: host
    environment:
      - OLLAMA_BASE_URL=http://127.0.0.1:11434
    volumes:
      - open-webui:/app/backend/data

volumes:
  open-webui:

Алтернатива на

ChatGPT, Claude.ai, Google Gemini