Baza wiedzy

Agent AI na modelu lokalnym — bez opłat za tokeny

Agent nie musi płacić za każdy token. Model uruchomiony na Twoim komputerze kosztuje zero, dane nie wychodzą z maszyny, a agent działa identycznie — pod jednym warunkiem: model musi obsługiwać wywoływanie narzędzi.

Opublikowano 2026-08-08 · Jakub Butryn, Founder · Lead engineer

Jak podłączyć model lokalny

Ollama, LM Studio i llama.cpp wystawiają końcówkę zgodną z OpenAI, więc agent potrzebuje tylko adresu i nazwy modelu — żadnego klucza. W ZAZA-CODE to `zaza provider use ollama`, a `zaza provider test` od razu mówi, czy model odpowiada i czy przyjmuje narzędzia.

Szczegół, który psuje pierwsze podejście: modele lokalne chodzą po `http://`, a klienci HTTP często wymuszają `https://`. Wtedy każde zapytanie kończy się błędem połączenia albo cichym przejściem na wolniejszą ścieżkę.

Czego model lokalny może nie potrafić

Najważniejsza różnica to tool-calling. Bez niego agent nie wykona zadania — będzie rozmawiał. Wiele mniejszych modeli i część konfiguracji LM Studio nie obsługuje narzędzi w formacie OpenAI, więc sprawdź to zanim ocenisz „agent nie działa”.

Druga różnica to okno kontekstu i jakość planowania przy wielu krokach. Do zadań jednokrokowych model lokalny wystarcza; do długich pętli narzędziowych zwykle przegrywa z dużym modelem.

Kiedy model lokalny jest właściwym wyborem

Nauka i eksperymenty (zero kosztu za pomyłki), praca na danych, które nie mogą wyjść z firmy, oraz zadania powtarzalne o wąskim zakresie — na przykład porządkowanie plików czy generowanie szablonów.

Model chmurowy zostaw na zadania wymagające planowania i długiego kontekstu. Rozsądny układ to jedno i drugie: przełączanie dostawcy jedną komendą, bez zmiany reszty konfiguracji agenta.

Co zostaje po stronie konta

Wybór własnego dostawcy nie musi oznaczać rezygnacji z wygody. W ZAZA-CODE generowanie tekstu idzie do wybranego modelu, a konto zaza.net.pl nadal trzyma charakter agenta, wyuczone zasady, pamięć i sesje w chmurze.

Dzięki temu praca jest przenośna: ten sam agent, te same nawyki, inny komputer i inny model pod spodem. To rozwiązuje typowy problem harnessów AI, w których sesje i preferencje są przywiązane do jednej maszyny.

Najczęstsze pytania

Czy agent AI może działać bez internetu?

Tak, z modelem uruchomionym lokalnie — wtedy zapytania nie opuszczają maszyny. Warunkiem wykonywania zadań jest obsługa wywoływania narzędzi przez model; bez niej agent będzie tylko rozmawiał.

Który model lokalny nadaje się do agenta AI?

Taki, który obsługuje tool calling w formacie OpenAI i ma wystarczające okno kontekstu — w praktyce modele kodujące średniej wielkości. Sprawdź to zapytaniem testowym przed oceną, że agent nie działa.

Omów swój przypadek — konsultacja bezpłatna Telegram @sotius