Baza wiedzy
Pamięć agenta AI: kontekst, pamięć trwała, RAG
„Pamięć agenta” to trzy różne mechanizmy: okno kontekstu (bieżąca rozmowa), pamięć trwała (fakty i zasady między sesjami) oraz RAG (wyszukiwanie w dokumentach). Mieszanie ich to najczęstsze źródło rozczarowań.
Opublikowano · Jakub Butryn, Founder · Lead engineer
Okno kontekstu — pamięć krótka
Kontekst to wszystko, co wysyłasz w jednym zapytaniu: prompt systemowy, historia rozmowy, schematy narzędzi i ich wyniki. Jest ograniczony i płatny — każdy token kontekstu kosztuje przy każdej turze, więc długa historia to rosnący rachunek.
Dlatego kontekst trzeba aktywnie pilnować: liczyć zapełnienie, streszczać starsze tury i nie wrzucać do niego rzeczy, które można podać na żądanie narzędziem.
Pamięć trwała — fakty i wyuczone zasady
Pamięć trwała to baza faktów („klient woli krótkie odpowiedzi”) i zasad wyuczonych z korekt („nie kasuj plików bez pytania”). Trzymana per konto, sprawia że agent zachowuje się tak samo na każdym komputerze.
Uwaga na dwie pułapki. Pierwsza: pamięć bez retencji rośnie bez końca — potrzebny jest TTL dla wpisów tymczasowych i pułap na streszczenia sesji. Druga: mechanizm retencji, którego nikt nie wywołuje, jest wart tyle co jego brak. W ZAZA-CODE taki martwy mechanizm istniał w kodzie i został podłączony dopiero po audycie.
RAG — wiedza z dokumentów
RAG dokłada do kontekstu fragmenty Twoich dokumentów wyszukane pod konkretne pytanie. To właściwy mechanizm, gdy wiedza jest duża, zmienna i wymaga wskazania źródła. Aktualizacja sprowadza się do podmiany dokumentu, nie do trenowania modelu.
RAG nie zastąpi pamięci trwałej: pierwsze odpowiada na „co jest w dokumentach”, druga na „jak mam pracować z tym użytkownikiem”.
Co wybrać do jakiego zadania
Odpowiedzi na podstawie firmowej wiedzy → RAG. Zachowanie i preferencje między sesjami → pamięć trwała. Bieżąca praca nad zadaniem → kontekst z kompresją. Dostrajanie modelu (fine-tuning) rozważ dopiero, gdy chodzi o styl i format odpowiedzi, a nie o wiedzę.
Praktyczny test poprawności: usuń wpis z pamięci i sprawdź, czy agent zmienia zachowanie. Jeśli nie — to nie pamięć działała, tylko przypadek w kontekście.
Najczęstsze pytania
- Czy agent AI pamięta poprzednie rozmowy?
Tylko jeśli mu to zapewnisz. Okno kontekstu obejmuje bieżącą rozmowę, a trwałe zapamiętywanie wymaga osobnej pamięci przypisanej do konta. Bez tego każda sesja startuje od zera.
- Czym różni się pamięć agenta od RAG?
Pamięć trwała odpowiada na pytanie „jak mam pracować z tym użytkownikiem” (fakty, preferencje, zasady), a RAG na „co jest w dokumentach”. To dwa różne mechanizmy i jeden nie zastępuje drugiego.
Omów swój przypadek — konsultacja bezpłatna Telegram @sotius