Baza wiedzy

RAG czy fine-tuning — co wybrać do firmowej wiedzy

Do firmowej wiedzy prawie zawsze wybiera się RAG, nie fine-tuning. RAG dokłada informacje w momencie zapytania, więc aktualizacja to podmiana dokumentu. Fine-tuning zmienia wagi modelu i sprawdza się przy stylu i formacie, nie przy faktach.

Opublikowano · Jakub Butryn, Founder · Lead engineer

Czym różni się RAG od fine-tuningu

RAG wyszukuje fragmenty Twoich dokumentów i wstawia je do kontekstu modelu tuż przed wygenerowaniem odpowiedzi. Model nie „uczy się” tej wiedzy — dostaje ją na wejściu, za każdym razem. Fine-tuning douczą model na zbiorze przykładów i trwale zmienia jego zachowanie.

Konsekwencja praktyczna jest taka: w RAG poprawiasz błędną odpowiedź, poprawiając dokument. W fine-tuningu — powtarzając trening.

Kiedy RAG jest właściwym wyborem

RAG wybiera się, gdy wiedza się zmienia (cenniki, procedury, regulaminy, dokumentacja), gdy trzeba wskazać źródło odpowiedzi oraz gdy dane są wrażliwe i nie mogą trafić do zbioru treningowego. To pokrywa większość zastosowań firmowych.

Jakość RAG podnosi się nie ilością, tylko porządkiem: sensownym podziałem dokumentów na fragmenty, hybrydowym wyszukiwaniem (BM25 razem z wektorowym) i rerankingiem. W realizacji dla kancelarii prawnej ten zestaw dał 95%+ trafności przy średnim czasie odpowiedzi 3 sekundy.

Kiedy fine-tuning ma sens

Fine-tuning ma sens, gdy chodzi o formę, nie o fakty: sztywny format wyjścia, specyficzny żargon branżowy, konsekwentny ton komunikacji albo skrócenie promptu, który urósł do kilku stron. Bywa też tańszy przy bardzo dużym, powtarzalnym wolumenie.

Nie jest natomiast sposobem na wgranie modelowi bazy wiedzy. Model po fine-tuningu nadal potrafi halucynować szczegóły, a ich poprawienie wymaga kolejnego treningu.

Kolejność, która zwykle się sprawdza

Zacznij od dobrego promptu i RAG. Zmierz trafność na realnych pytaniach użytkowników. Dołóż reranking. Dopiero jeśli po tym problemem jest forma odpowiedzi, a nie jej treść, rozważ fine-tuning. Ta kolejność jest najtańsza i najszybsza do zweryfikowania.

Najczęstsze pytania

Czy do firmowej bazy wiedzy lepszy jest RAG czy fine-tuning?

Do firmowej bazy wiedzy lepszy jest RAG. Pozwala aktualizować wiedzę przez podmianę dokumentów, wskazać źródło odpowiedzi i nie wymaga umieszczania wrażliwych danych w zbiorze treningowym. Fine-tuning stosuje się do formy odpowiedzi, nie do faktów.

Jak poprawić trafność systemu RAG?

Trafność RAG poprawia się przez sensowny podział dokumentów na fragmenty, wyszukiwanie hybrydowe łączące BM25 z wyszukiwaniem wektorowym oraz reranking wyników osobnym modelem. Ten zestaw daje większy przyrost niż zwiększanie liczby zwracanych fragmentów.

Omów swój przypadek — konsultacja bezpłatna Telegram @sotius