Usuwanie danych z tekstu przed analizą AI: jak sprawdzić, czego nie zauważył filtr

Zespół chce podsumować zgłoszenia klientów. Przed wysłaniem tekstu do modelu usuwa imiona i adresy e-mail. W jednym zgłoszeniu zostaje jednak opis: jedyny serwisant pracujący na nocnej zmianie w małej miejscowości. Osoby znające firmę mogą rozpoznać, o kogo chodzi, mimo że nazwisko zniknęło. Filtr wykonał część zadania, ale sam nie ocenił całego kontekstu.

Przygotowanie danych do analizy AI zaczyna się od pytania, jakie informacje są potrzebne do konkretnego wyniku i gdzie będą przetwarzane. Potem można dobrać sposób usuwania lub zastępowania fragmentów. Żaden pojedynczy mechanizm nie powinien być traktowany jak pieczątka „bezpieczne”. Trzeba sprawdzić, co przepuszcza, co zmienia w znaczeniu i kto ma prawo zobaczyć wynik.

Wybierz zadanie, zanim wybierzesz filtr

Inne dane są potrzebne do policzenia tematów zgłoszeń, a inne do przygotowania odpowiedzi w jednej sprawie. Przy analizie zbiorczej imię klienta i pełna treść korespondencji mogą nie być potrzebne. Przy prowadzeniu konkretnej sprawy zespół może potrzebować numeru sprawy i informacji pozwalających wrócić do źródła, ale niekoniecznie dostępu do wszystkich załączników.

Zapiszcie cel, odbiorcę wyniku i decyzję, którą ma wspierać. Następnie przejdźcie przez przykładowy dokument i zaznaczcie, co rzeczywiście pomaga w tym zadaniu. Zamiast wysyłać całą wiadomość, czasem wystarczy rodzaj problemu, status oraz opis techniczny bez danych kontaktowych. O przygotowaniu takiego zakresu piszemy w artykule o porządkowaniu danych przed wdrożeniem AI.

Osobno ustalcie, czy analiza ma odbywać się w zatwierdzonym środowisku i jakie zasady dotyczą konkretnego dostawcy. Zastąpienie nazw nie daje automatycznie zgody na użycie dowolnego narzędzia. W tekście o danych przekazywanych dostawcy modelu omawiamy pytania o dostęp, przechowywanie i warunki usługi. Właściwy zakres trzeba ustalić dla danego procesu.

Usunięcie nazwiska i anonimizacja to nie to samo

Wyobraźmy sobie, że imię i nazwisko zastąpiono oznaczeniem „osoba A”, a firma zachowała tabelę pozwalającą odtworzyć pierwotne dane. Takie rozwiązanie może ograniczyć liczbę osób widzących oryginał, ale nie oznacza automatycznie, że informacja stała się anonimowa. W ocenie znaczenie ma między innymi to, kto dysponuje dodatkowymi danymi i co można ustalić na ich podstawie.

Brytyjski organ ICO opisuje pseudonimizację jako technikę, której projektowanie wymaga osobnego zabezpieczenia informacji pozwalających odwrócić zmianę oraz oceny ryzyka identyfikacji. To użyteczny materiał o metodach i zagrożeniach, ale nie zastępuje oceny prawnej właściwej dla polskiej organizacji. W projekcie nie nazywajcie wyniku anonimowym wyłącznie dlatego, że automatycznie usunięto kilka znanych pól.

Powiązanie może wynikać także z kombinacji szczegółów: rzadkiej funkcji, daty zdarzenia, miejsca i opisu sprawy. Każda informacja z osobna może wyglądać niewinnie, a razem zawężać krąg osób. Zespół powinien zdecydować, czy do zadania potrzebna jest dokładna data, czy wystarczy miesiąc, oraz czy szczegół lokalizacji można zastąpić szerszą kategorią bez utraty sensu analizy.

Ustal, czego system ma szukać

Lista kategorii wynika z dokumentów i celu. W zgłoszeniach mogą pojawiać się dane kontaktowe, identyfikatory spraw, numery umów, informacje o zdrowiu albo dane osób trzecich. W dokumentacji technicznej problemem mogą być hasła, klucze dostępu, wewnętrzne adresy i szczegóły konfiguracji. To różne rodzaje informacji i nie zawsze wykrywa je ten sam mechanizm.

Przed uruchomieniem filtra przygotujcie przykłady charakterystyczne dla firmy, najlepiej fikcyjne albo odpowiednio zabezpieczone. Uwzględnijcie odmianę nazwisk, literówki, skróty, numery zapisane ze spacjami i fragmenty pojawiające się w nietypowym miejscu. Sprawdźcie również, czy dane występują w tabelach, komentarzach, nazwach plików lub w tekście rozpoznanym z obrazu.

Samo wyszukanie wzorca, na przykład układu cyfr przypominającego numer telefonu, nie rozstrzyga znaczenia każdego ciągu. Może zaznaczyć numer części albo przeoczyć telefon zapisany nietypowo. Z kolei model rozpoznający kontekst może pominąć nazwę firmy, której nie zna, lub zaznaczyć zwykłe słowo. Oba podejścia trzeba oceniać na przykładach pasujących do rzeczywistych materiałów, a nie na jednej demonstracyjnej wiadomości.

Fałszywy alarm i przeoczenie mają różne skutki

Filtr może uznać bezpieczny fragment za dane wymagające usunięcia. Może też przeoczyć informacje, które miały nie opuścić środowiska. Pierwsza sytuacja utrudnia analizę i czasem usuwa ważny kontekst. Druga może spowodować ujawnienie danych. W obu przypadkach komunikat „przetworzono plik” mówi za mało o jakości wyniku.

Microsoft w dokumentacji funkcji rozpoznawania danych osobowych Azure Language opisuje oba rodzaje pomyłek i wskazuje potrzebę uwzględnienia przeglądu człowieka w scenariuszach redakcji tekstu. To opis konkretnej usługi, nie obietnica działania każdego filtra. Jego praktyczny wniosek jest prosty: próg pewności oraz sposób sprawdzenia wyniku należy dobrać do rodzaju danych i konsekwencji pomyłki.

Ustalcie, co dzieje się, gdy system nie jest pewny wyniku albo dokument nie pasuje do obsługiwanych formatów. Może skierować materiał do osoby uprawnionej, zatrzymać przekazanie lub poprosić o przygotowanie bezpieczniejszej wersji. Nie powinien po cichu wysłać oryginału dlatego, że etap ochrony zakończył się błędem. Dla zespołu ważna jest także informacja, którą część pracy można kontynuować bez dostępu do pełnej treści.

Zachowaj sens, ale ogranicz szczegóły

Usunięcie wszystkich nazw i liczb może sprawić, że wynik analizy będzie bezużyteczny. Zgłoszenie „urządzenie nie działało przez 48 godzin” odpowiada na inne pytanie niż „urządzenie nie działało”. Z drugiej strony dokładny czas, numer urządzenia i lokalizacja mogą razem ujawniać konkretną sprawę. Wybór zależy od celu, odbiorcy oraz ryzyka rozpoznania.

Można rozważyć zastępowanie wybranych wartości kategorią albo losowym oznaczeniem. Na przykład dwa wystąpienia tej samej osoby w jednym dokumencie mogą otrzymać spójny znacznik, jeśli jest to potrzebne do zrozumienia relacji. Tabela powiązań, o ile w ogóle jest potrzebna, wymaga osobnego dostępu i czasu przechowywania. Nie powinna podróżować z tekstem do tego samego odbiorcy tylko z przyzwyczajenia.

Przed analizą porównajcie wynik z zadaniem: czy zachowuje potrzebne związki, czy usuwa informacje, których odbiorca nie powinien dostać, i czy nie wprowadza nowego znaczenia. Ograniczenie treści można sprawdzić na fikcyjnym przykładzie, zanim zespół wybierze materiał rzeczywisty. Oceniajcie przy tym również dostęp do pierwotnej wersji dokumentu i możliwość wyjaśnienia błędnego zastąpienia bez ujawniania niepotrzebnych szczegółów. W artykule o testowaniu asystenta AI opisujemy przygotowanie przypadków i oczekiwanych wyników przed oceną odpowiedzi.

Sprawdź również załączniki, wyniki i logi

Tekst w polu formularza bywa tylko częścią sprawy. Informacje mogą zostać w nazwie pliku, metadanych dokumentu, komentarzu, skanie, arkuszu lub obrazie. Czarny prostokąt umieszczony na stronie nie zawsze usuwa tekst spod niego. Sposób przygotowania pliku trzeba sprawdzić w używanym narzędziu i otworzyć wynik w trybie pozwalającym ocenić, czy niepożądane dane nadal są dostępne.

Ochrona nie kończy się na wejściu. Wynik modelu może powtórzyć fragment materiału, a zapis diagnostyczny może zachować żądanie lub odpowiedź. Ustalcie, jakie dane trafiają do logów, kto może je przeglądać i jak długo są potrzebne. Jeżeli wynik ma być przekazany dalej, osoba odpowiedzialna powinna sprawdzić go przed publikacją lub wysłaniem do klienta.

W systemie przeszukującym dokumenty istotne jest również to, czy użytkownik ma dostęp do źródła. Filtr usuwający nazwy nie zastępuje kontroli uprawnień. O tym, jak ograniczać dostęp do dokumentów w systemie RAG, piszemy osobno. Przy materiałach z zewnątrz trzeba dodatkowo uwzględnić instrukcje ukryte w dokumentach, które próbują zmienić działanie asystenta.

Jak mierzyć działanie filtra na przykładach

Przygotujcie zestaw dokumentów, w którym uprawniona osoba wcześniej oznaczyła fragmenty wymagające usunięcia dla konkretnego zadania. Zadbajcie o przykłady typowe i trudniejsze: tekst bez polskich znaków, kilka osób o podobnych nazwach, skrót nazwy firmy oraz informację ukrytą w opisie zdarzenia. W takim zbiorze równie ważne są dokumenty, w których nie trzeba niczego usuwać. Pomagają sprawdzić, czy filtr nie wycina treści potrzebnej do analizy.

Po uruchomieniu porównajcie wynik z oznaczeniami i obejrzyjcie poszczególne pomyłki. Jeżeli narzędzie pominęło trzy numery zapisane ze spacjami, sama średnia skuteczność nie wyjaśnia problemu. Przy każdym rodzaju błędu zapiszcie, jaki materiał go wywołał, jaka była konsekwencja i czy zmiana reguły nie pogorszy innych przypadków. Przykłady używane do testów powinny być przechowywane z dostępem odpowiednim do zawartych w nich informacji.

Nie zakładajcie, że poprawka sprawdzona na jednym pliku zadziała na wszystkich dokumentach. Nowy dostawca może przysyłać inny układ tabel, a nowy formularz może łączyć pola, które wcześniej były osobne. Po zmianie źródła lub formatu warto ponownie wykonać uzgodnione próby. Odpowiedzialna osoba powinna również wiedzieć, jak wycofać zmianę filtra, jeśli po uruchomieniu pojawią się pominięcia albo wynik przestanie być użyteczny.

Jeżeli firma stosuje kilka etapów ochrony, sprawdźcie każdy z nich osobno i cały przepływ. Tekst może przejść przez rozpoznawanie znaków, następnie filtr, kolejkę do przeglądu i dopiero potem zostać przekazany do modelu. Błąd na którymkolwiek etapie zmienia obraz całości. Przy odbiorze warto sprawdzić, co dzieje się z oryginałem, wersją po zmianach i plikami tymczasowymi po zatrzymaniu procesu.

Wynik testu należy przypisać do określonej wersji ustawień i rodzaju danych. Informacja „filtr przeszedł test” bez tych szczegółów nie mówi, czy badano wiadomości klientów, skany dokumentów czy jedynie kilka fikcyjnych zdań. Dokumentacja powinna pozwalać następnej osobie odtworzyć próbę i zrozumieć jej ograniczenia, bez wglądu do danych, których nie potrzebuje. Zapiszcie również, kto zatwierdził uruchomienie, jakie problemy pozostawiono do dalszej oceny i kiedy zespół wróci do sprawdzenia tych problemów. Dzięki temu kolejna zmiana nie zacznie się od szukania ustaleń w prywatnych wiadomościach.

Zaprojektuj przegląd, który da się wykonać

Przegląd człowieka powinien mieć jasny zakres. Jeżeli osoba widzi tysiące stron i ma sprawdzić wszystko w kilka minut, sam fakt dodania przycisku „zatwierdź” nie rozwiązuje problemu. Ustalcie kolejkę, kryteria zatrzymania i dostęp tylko do materiałów potrzebnych w danej roli. Przy większym ryzyku można zaplanować szczegółową kontrolę określonych kategorii dokumentów przed przekazaniem ich dalej.

Przy testach zapisujcie nie tylko liczbę wykrytych fragmentów, lecz także przypadki pominięte oraz usunięcia, które zniszczyły sens potrzebny do analizy. Zmiana formatu dokumentu, nowy rodzaj zgłoszeń albo aktualizacja narzędzia może wymagać ponownego sprawdzenia. W tekście o ocenie jakości asystenta po wdrożeniu opisujemy, jak wracać do testów wraz ze zmianą procesu.

Nie potrzebujecie kompletu rozwiązań przed pierwszą rozmową. Przygotujcie opis zadania, przykładowy dokument bez prawdziwych danych, listę odbiorców i miejsca, do których wynik ma trafić. Możecie omówić go przez formularz kontaktowy albo zacząć od naszych rozwiązań AI dla firm. Wspólnie ustalimy, co warto ograniczyć przed analizą oraz jak sprawdzić działanie wybranego mechanizmu.