Частен асистент в стил ChatGPT вкъщи с Ollama и Open WebUI

Бърза съпоставка

Числата за RAM са приблизителни оценки от нашите тестове.

Какво измерихме

• gpt-oss:20b (13 GB за сваляне) работи 100% на видеокартата и ползваше около 16,5 GB от 24-те GB VRAM на RTX 3090 при контекст по подразбиране 32k на Ollama.
• Скоростта на генериране беше около 122 до 125 токена в секунда при отговор от 300 токена. Първата заявка отне около 47 секунди, защото моделът трябваше да се зареди; след това отговорът започваше веднага.
• llama3.2:1b, малък тестов модел, генерираше около 285 токена в секунда и ползваше общо около 3 GB VRAM.
• LXC контейнерът (6 vCPU, 6 GB RAM) беше на около 0,7 GB RAM в покой и около 2,9 GB със заредения 20B модел, защото теглата стоят във VRAM. Самият контейнер на Open WebUI ползваше 0,5 до 0,7 GB.
• Диск: образът на Open WebUI е около 6,5 GB, а двата ни модела заемат 15 GB, така че реалистичният минимум е диск от 40 GB.
• Това са кратки тестове с един потребител, не пълен бенчмарк. Дълги заявки, дълги разговори и няколко потребителя едновременно ще са по-бавни и ще ползват повече VRAM.

Преди да започнеш

• Видеокартата прави разликата. Грубо правило: файлът на модела трябва да се побира във VRAM с няколко GB в запас. Без GPU малките модели пак работят, но бавно.
• За NVIDIA видеокарта ти трябва драйверът на NVIDIA на хоста с Proxmox. Ако го пускаш в LXC контейнер, видеокартата трябва да е предадена към него, а това е тема за отделно ръководство.
• Open WebUI работи в Docker. Вътре в LXC контейнер Docker изисква включена функция nesting.
• Избери модел, който се побира във VRAM. Ние ползваме gpt-oss:20b на 24 GB. По-малките карти да започнат с модел от 7 до 8 милиарда параметъра.

Стъпки за инсталация

1. Инсталирай Ollama по официалните инструкции на ollama.com/download. В нашия чист Debian LXC инсталаторът поиска първо пакетите zstd и pciutils.
2. Провери, че работи: изпълни ollama --version, после ollama pull за избрания модел, например ollama pull gpt-oss:20b.
3. Тествай модела през API-то, преди да добавиш интерфейс: прати заявка към http://127.0.0.1:11434/api/generate с curl. Това се оказа по-надеждно от ollama run, когато шелът не е истински терминал.
4. Инсталирай Docker, после стартирай Open WebUI с compose файла от нашата страница за Open WebUI. Той ползва host мрежа, така че контейнерът стига до Ollama на 127.0.0.1:11434.
5. Отвори http://ip-на-сървъра:8080. Първият акаунт, който създадеш, става администратор, затова го направи веднага и със силна парола.
6. В настройките за администратор изключи регистрацията на нови потребители или я задай да изисква одобрение, освен ако не искаш други хора да се регистрират.
7. Избери модела от падащото меню и започни да чатиш. Провери веднъж ollama ps и nvidia-smi, за да се увериш, че моделът наистина работи 100% на видеокартата.
8. За достъп отвън ползвай VPN като Tailscale, вместо да отваряш порта към интернет.

Ежедневна работа

• Ollama разтоварва модела след няколко минути бездействие и освобождава VRAM. Това е полезно, ако видеокартата се дели с други задачи, но следващата заявка плаща отново времето за зареждане.
• Ако няколко GPU инструмента делят една карта, пускай по една тежка задача наведнъж. Два големи модела заедно може да изчерпат VRAM или RAM.
• Обновявай и двете части от време на време: свали по-новия образ на Open WebUI и пресъздай контейнера, а Ollama обнови с неговия инсталатор.
• Архивирай data томa на Open WebUI. В него са потребителите, разговорите и настройките. Самите модели винаги могат да се свалят отново.

Честни ограничения

• Отворените модели са добри, но модел с 20 милиарда параметъра не е същото като най-новите платени облачни модели. Очаквай по-слаби резултати при трудни разсъждения, дълги документи и съвсем нови факти. Оценявай по собствените си задачи.
• В нашата настройка Ollama слуша на всички интерфейси, а API-то му няма вход с парола. Дръж го в доверена мрежа или зад VPN, никога директно в интернет.
• Лицензът на Open WebUI не е стандартен open-source: основава се на BSD-3-Clause, но има клауза, която забранява премахване на брандинга на Open WebUI при над 50 потребители. За домашна или семейна употреба това няма значение, но прочети го за нещо по-голямо.
• Моделите имат собствени лицензи и някои ограничават търговската употреба. Провери лиценза на всеки модел, който сваляш.
• Големият модел държи видеокартата заета и консумира ток. В краткия ни тест картата теглеше около 162 W при генериране.
• Числата ни са от една машина и кратки заявки. Имената на менютата и стойностите по подразбиране се менят между версиите; ако нещо не съвпада, следвай актуалната официална документация.