Nowa osoba w zespole pyta, jak zgłosić reklamację dostawcy. Instrukcja jest na dysku, wyjątek w notatce, a obowiązujący formularz ktoś przesłał miesiąc temu na czacie. Asystent AI może pomóc w znalezieniu odpowiedzi, ale najpierw trzeba ustalić, które materiały rzeczywiście opisują aktualny sposób pracy.
To zwykle lepszy początek niż pomysł „podłączmy wszystkie pliki i zobaczymy”. Otrzymasz wtedy bardzo pojemny zbiór, w którym wczorajsza decyzja konkuruje z dokumentem sprzed kilku lat. Przy budowie firmowego asystenta AI wybór źródeł stanowi część projektu, a nie porządek, który zrobi się po premierze.
Zacznij od pytań, które wracają
Poproś zespół o przykłady powtarzających się pytań. Niech przy każdym wskaże materiał, na podstawie którego potrafi odpowiedzieć. Mogą to być zasady przygotowania oferty, obsługa konkretnej funkcji programu albo ustalanie osoby odpowiedzialnej za sprawę. Jeżeli odpowiedź istnieje wyłącznie w pamięci pracownika, potrzebujesz najpierw jej potwierdzonego zapisu.
Z takiej próby wynika zakres pierwszej bazy. System dla działu obsługi klienta nie musi czytać dokumentów całej firmy. Węższy zakres pozwala wyraźniej wskazać właściciela treści i zauważyć sprzeczności. Temu przygotowaniu służy także uporządkowanie danych przed AI: nazwa pliku „ostateczne_poprawione_2” nie jest jeszcze polityką wersjonowania.
Do każdego istotnego dokumentu przypisz właściciela oraz sposób aktualizacji. Ustal, co dzieje się z materiałem po wycofaniu. Asystent nie powinien podawać starej instrukcji dlatego, że zawiera słowa bardziej podobne do pytania niż nowa wersja.
Wyszukanie i odpowiedź to dwa etapy
RAG oznacza przygotowanie odpowiedzi z wykorzystaniem wcześniej odnalezionych materiałów. Dokumentacja usług wyszukiwania opisuje między innymi dzielenie źródeł na fragmenty i wyszukiwanie ich według znaczenia. Dla użytkownika najważniejsze jest jednak to, czy system znalazł właściwy dokument i zachował jego warunki.
Sprawdzaj te dwa etapy oddzielnie. Gdy asystent odpowiada zbyt ogólnie, otwórz źródło użyte przy odpowiedzi. Jeżeli znalazł złą instrukcję, poprawa samego polecenia do modelu może tylko ładniej opisać niewłaściwy materiał. Jeśli źródło jest trafne, a odpowiedź pomija wyjątek, problem powstaje później.
W interfejsie daj możliwość przejścia do użytego fragmentu. Sam tytuł dokumentu nie zawsze wystarcza, zwłaszcza przy długich instrukcjach. Dobra odpowiedź pomaga wykonać zadanie, lecz pozostawia użytkownikowi rozsądną drogę kontroli. Nie musi przypominać pracy doktorskiej z przypisem do każdego przecinka.
Dopiero na takim materiale porównuj rozwiązania techniczne. Wybór modelu AI do procesu powinien uwzględniać pytania, długość źródeł i wymagany czas odpowiedzi. Najlepszy wynik w ogólnym rankingu nie rozstrzyga, czy użytkownik dostanie właściwy formularz z firmowej biblioteki. Sprawdź także koszt rozmowy, w której potrzebne jest kilka doprecyzowań.
Brak podstawy też jest wynikiem
Zaprojektuj odpowiedź na pytanie, którego materiały nie rozstrzygają. Asystent może wskazać brak informacji i osobę lub kanał, do którego należy skierować sprawę. Nie powinien tworzyć własnego terminu realizacji tylko dlatego, że pracownik oczekuje krótkiej odpowiedzi. Przy odbiorze porównaj takie sytuacje z przypadkami, w których odpowiedź da się znaleźć.
Zakres dostępu użytkownika musi ograniczać materiały jeszcze przed przygotowaniem odpowiedzi. Nie wystarczy zablokować otwarcia pliku, jeśli asystent wcześniej streścił jego treść. Ten temat rozwijamy osobno w artykule o RAG i uprawnieniach do dokumentów, ponieważ dotyczy również historii rozmowy oraz zapisanych wyników.
Przy integracji z używanym dyskiem lub intranetem sprawdź aktualizację treści i zmianę uprawnień. To dwa różne zdarzenia. Plik może pozostać identyczny, choć pracownik przestał należeć do zespołu, który miał do niego dostęp. Takie połączenia projektujemy w ramach integracji firmowych źródeł danych.
Odbiór zaczyna się od znanych odpowiedzi
Zachowaj zestaw pytań z oczekiwanymi źródłami. Uwzględnij skróty używane w firmie, podobne nazwy produktów i dokument zastąpiony nowszą wersją. Poproś pracowników o ocenę, czy wynik pomaga w zadaniu oraz ile kontroli wymaga. To bardziej użyteczne niż wspólne zachwycanie się płynną polszczyzną asystenta.
Po zmianie materiałów lub modelu wróć do tego samego zestawu i dodawaj nowe przypadki z pracy. Testowanie asystenta AI powinno stać się częścią utrzymania. W przeciwnym razie wyszukiwarka może nadal odpowiadać szybko, ale na pytania z poprzedniej wersji firmy.
Ustal, kto po wdrożeniu poprawia dokument, a kto regułę działania asystenta. Przy zmianie sposobu pracy zespołu po wdrożeniu AI te zadania warto rozdzielić. Gdy instrukcja jest sprzeczna, autor treści musi ją wyjaśnić. Gdy instrukcja jest jasna, lecz system ją gubi, wykonawca analizuje wyszukiwanie i odpowiedź. Takie rozróżnienie skraca błądzenie między działami.
Źródła i dokumentacja
Materiały sprawdzone przy opracowaniu tekstu. Przy wyborze usługi lub technologii potwierdzamy warunki dla konkretnego projektu.
