Baza wiedzy

Pamięć agenta AI: kontekst, pamięć trwała, RAG

„Pamięć agenta” to trzy różne mechanizmy: okno kontekstu (bieżąca rozmowa), pamięć trwała (fakty i zasady między sesjami) oraz RAG (wyszukiwanie w dokumentach). Mieszanie ich to najczęstsze źródło rozczarowań.

Opublikowano · Jakub Butryn, Founder · Lead engineer

Okno kontekstu — pamięć krótka

Kontekst to wszystko, co wysyłasz w jednym zapytaniu: prompt systemowy, historia rozmowy, schematy narzędzi i ich wyniki. Jest ograniczony i płatny — każdy token kontekstu kosztuje przy każdej turze, więc długa historia to rosnący rachunek.

Dlatego kontekst trzeba aktywnie pilnować: liczyć zapełnienie, streszczać starsze tury i nie wrzucać do niego rzeczy, które można podać na żądanie narzędziem.

Pamięć trwała — fakty i wyuczone zasady

Pamięć trwała to baza faktów („klient woli krótkie odpowiedzi”) i zasad wyuczonych z korekt („nie kasuj plików bez pytania”). Trzymana per konto, sprawia że agent zachowuje się tak samo na każdym komputerze.

Uwaga na dwie pułapki. Pierwsza: pamięć bez retencji rośnie bez końca — potrzebny jest TTL dla wpisów tymczasowych i pułap na streszczenia sesji. Druga: mechanizm retencji, którego nikt nie wywołuje, jest wart tyle co jego brak. W ZAZA-CODE taki martwy mechanizm istniał w kodzie i został podłączony dopiero po audycie.

RAG — wiedza z dokumentów

RAG dokłada do kontekstu fragmenty Twoich dokumentów wyszukane pod konkretne pytanie. To właściwy mechanizm, gdy wiedza jest duża, zmienna i wymaga wskazania źródła. Aktualizacja sprowadza się do podmiany dokumentu, nie do trenowania modelu.

RAG nie zastąpi pamięci trwałej: pierwsze odpowiada na „co jest w dokumentach”, druga na „jak mam pracować z tym użytkownikiem”.

Co wybrać do jakiego zadania

Odpowiedzi na podstawie firmowej wiedzy → RAG. Zachowanie i preferencje między sesjami → pamięć trwała. Bieżąca praca nad zadaniem → kontekst z kompresją. Dostrajanie modelu (fine-tuning) rozważ dopiero, gdy chodzi o styl i format odpowiedzi, a nie o wiedzę.

Praktyczny test poprawności: usuń wpis z pamięci i sprawdź, czy agent zmienia zachowanie. Jeśli nie — to nie pamięć działała, tylko przypadek w kontekście.

Najczęstsze pytania

Czy agent AI pamięta poprzednie rozmowy?

Tylko jeśli mu to zapewnisz. Okno kontekstu obejmuje bieżącą rozmowę, a trwałe zapamiętywanie wymaga osobnej pamięci przypisanej do konta. Bez tego każda sesja startuje od zera.

Czym różni się pamięć agenta od RAG?

Pamięć trwała odpowiada na pytanie „jak mam pracować z tym użytkownikiem” (fakty, preferencje, zasady), a RAG na „co jest w dokumentach”. To dwa różne mechanizmy i jeden nie zastępuje drugiego.

Omów swój przypadek — konsultacja bezpłatna Telegram @sotius