Halucynacje AI: raport o spółce bez źródeł to opowieść

Halucynacje AI to zdania, które mają rytm faktu i nie mają pod sobą dokumentu. W analizie spółki najgroźniejsze siedzą przy liczbie, bo liczbę czyta się szybciej, niż się ją sprawdza. Lekarstwem nie jest mądrzejszy model, tylko jedna reguła: każdy wniosek, który może zmienić twoje zdanie o spółce, wskazuje stronę, którą da się otworzyć. Raport bez takich wskazań zostaje opowieścią o spółce.

Czym właściwie jest halucynacja AI#

Nazwa jest przez to mylnie łagodna, bo sugeruje usterkę, której nie ma. Zdanie „spółka systematycznie poprawia marże dzięki efektywności operacyjnej” pasuje do prawie każdej spółki i prawie każdego kwartału, więc jest tanie do wygenerowania i rzadko kłóci się z resztą akapitu.

Skalę zjawiska da się zmierzyć. W badaniu opublikowanym w Journal of Legal Analysis modelom zadano sprawdzalne pytania o losowo wybrane sprawy sądów federalnych, a odsetek odpowiedzi z wymyślonym elementem wyniósł od 58% dla GPT-4 do 88% dla Llamy 2. Czyli nawet najlepszy z badanych modeli mylił się częściej, niż trafiał, przy pytaniach, na które odpowiedź leży w publicznym dokumencie.

Prawo nie jest giełdą, ale pytanie ma tę samą budowę: dotyczy konkretnego dokumentu, a odpowiedź przychodzi z pamięci o tym, jak takie dokumenty zwykle brzmią. Sprawozdanie jest pod tym względem trudniejsze od wyroku, bo wyrok ma jedną wersję, a marża segmentu tyle definicji, ile spółka zechce opisać w nocie.

Dlaczego przy liczbie boli bardziej#

Zmyślony przymiotnik zwykle przechodzi bez śladu. Jeśli raport pisze, że zarząd jest „ostrożnie optymistyczny”, nic z tego nie wynika i nic ci w głowie nie zostaje. Ta sama granica biegnie przez raport analityczny pisany przez człowieka, gdzie prognoza jest sądem autora, a tabela wskazuje sprawozdanie.

Liczba działa odwrotnie. Załóżmy, że raport podaje spadek marży brutto o 80 punktów bazowych, z 58,4% do 57,6%. Osiem dziesiątych punktu procentowego brzmi niewinnie, więc od razu pytanie: ile to właściwie jest? Przy miliardzie przychodu to osiem milionów rocznie.

Liczba ma tę wredną właściwość, że udaje własne źródło. Wygląda na wynik czyjejś pracy, więc wchodzi do notatki bez pytania, potem do tezy, a po roku pamiętasz ją jako fakt i nie umiesz już odtworzyć, skąd się wzięła.

Do tego w analizie spółki prawie żaden pojedynczy wniosek niczego sam nie przesądza. Przekonanie buduje się z kilkunastu drobiazgów naraz: marża idzie w dół trzeci kwartał z rzędu, zapasy rosną szybciej niż sprzedaż, zarząd przestał podawać liczbę, którą podawał wcześniej. Jeśli trzy z tych piętnastu drobiazgów są bez pokrycia, całość dalej brzmi spójnie, bo spójność jest cechą tekstu, a nie dowodów pod nim. Zauważysz to zwykle dopiero przy kolejnych wynikach, kiedy jeden z drobiazgów nie chce się powtórzyć, a ty nie masz gdzie sprawdzić, skąd się w ogóle wziął. Ta sama reguła obowiązuje liczby wychodzące nie z dokumentu, tylko z arkusza: w modelu dyskontującym przepływy jedno założenie potrafi podwoić wynik, więc bez zapisanych założeń wynik jest sądem, nie faktem.

Przypis to kaganiec, nie uprzejmość#

Przypis kojarzy się z pracą dyplomową: dowód staranności, ukłon w stronę czytelnika, coś, co dopisuje się na końcu. W tej wersji jest kosztem ponoszonym z grzeczności i pierwszą rzeczą, którą się tnie, gdy tekst trzeba skrócić. Brzmi sensownie.

Tylko że w systemie generującym tekst przypis pracuje na długo przedtem, zanim czytelnik go zobaczy.

Żeby napisać „strona 14 raportu kwartalnego”, trzeba tę stronę najpierw pobrać i mieć przed sobą w chwili pisania zdania. Kolejność się odwraca i dokument staje się warunkiem powstania zdania. Model, który strony nie znalazł, nie ma z czego zbudować przypisu, więc albo wniosku nie napisze, albo napisze go nagiego, a wtedy widać to gołym okiem.

Kaganiec zmienia w psie dokładnie jedną rzecz: zakres tego, co pies może zrobić.

Korzyść dla czytelnika, czyli cała ta możliwość sprawdzenia, jest skutkiem ubocznym. To samo ograniczenie działa nawet wtedy, gdy nikt nigdy w żaden odnośnik nie kliknie, i dlatego pytanie o źródła mówi więcej o tym, jak raport powstał, niż o tym, jak się go czyta. Najostrzej widać to tam, gdzie modelowi nikt dokumentu nie podał: ChatGPT poproszony o analizę spółki pisze z pamięci o spółkach, a nie z ich sprawozdań.

Dwa zdania o tej samej marży#

Różnicę widać najlepiej na parze zdań o tym samym kwartale. Załóżmy zmyśloną spółkę od oprogramowania dla firm i dwie wersje jednego akapitu.

Bez źródła: „Spółka mierzy się z rosnącą konkurencją w swoim głównym segmencie, a zarząd w ostatnich wypowiedziach przyznał, że presja na marże rośnie.”

Ze źródłem: „Na konferencji wynikowej za trzeci kwartał dyrektor finansowy mówił o »incremental pricing pressure from two new entrants in our enterprise segment« i wycenił jej wpływ na marżę brutto na około 80 punktów bazowych (transkrypt, wypowiedź przygotowana). Marża brutto segmentu spadła kwartał do kwartału z 58,4% do 57,6% (raport kwartalny, wyniki segmentów, str. 14).”

Pierwsze zdanie jest krótsze i nie da się go sprawdzić. „Ostatnie wypowiedzi” mogą znaczyć konferencję sprzed tygodnia albo wywiad sprzed roku. „Presja na marże” mieści w sobie i dziesięć punktów bazowych, i trzysta. „Przyznał” mieści i pełne wyliczenie strat, i zgrabne ominięcie pytania.

Drugie jest dłuższe, bo wykonuje pracę. Nazywa mówcę, wydarzenie i dokument, łączy opis z liczbą i pokazuje, gdzie ta liczba stoi. Tyle wystarczy, żeby ktoś, kto się z nim nie zgadza, wiedział, którą stronę otworzyć.

Trzyminutowy test narzędzia#

Tego nie trzeba brać na słowo, bo raz da się to zmierzyć samemu, na dowolnym narzędziu.

1. Wybierz jeden wniosek, który realnie zmieniłby twoje zdanie o spółce, najlepiej z liczbą.
2. Sprawdź, na jaki dokument wskazuje: nazwa, okres, sekcja albo strona.
3. Otwórz ten dokument. Amerykańskie spółki składają sprawozdania do SEC przez bazę EDGAR, a jak czytać roczny 10-K, tłumaczy poradnik SEC dla inwestorów.
4. Znajdź liczbę i przeczytaj dwa zdania obok niej.

Krok drugi rozstrzyga większość spraw i zajmuje pół minuty. Jeśli w miejscu dokumentu stoi „dane rynkowe”, „ostatnie komunikaty” albo nic, dalej iść nie musisz. Jeśli dokument jest nazwany, a liczby w nim nie ma, wiesz jeszcze więcej: narzędzie potrafi wskazywać źródła i mimo to je naciągać.

Krok czwarty ludzie pomijają, a wyłapuje najwięcej. Liczba bywa prawdziwa, a zdanie obok niej mówi coś innego, niż mówi raport: spadek okazuje się skutkiem jednorazowego odpisu, wzrost przejęciem zamkniętym w połowie kwartału, rekordowa marża efektem sprzedaży budynku. Dwa zdania kontekstu kosztują kilkanaście sekund i regularnie odwracają wymowę całego akapitu. Który dokument otwierać przy którym typie wniosku, rozstrzyga kolejność czytania sprawozdań, not i zapisu konferencji.

Test warto zrobić na spółce, którą znasz dobrze, a nie na tej, o której chcesz się właśnie czegoś dowiedzieć. Przy znanej spółce wyłapiesz naciągnięte zdanie, zanim jeszcze otworzysz dokument, więc mierzysz narzędzie, a nie własną niewiedzę.

Trzy przypisy, które niczego nie potwierdzają#

Test z poprzedniego rozdziału wykłada się najczęściej na tym, że odnośnik jest, tylko nie prowadzi do niczego sprawdzalnego. Po czym poznać taką atrapę? Trzy odmiany wracają najczęściej.

Pierwsza to przypis do strony głównej: odnośnik prowadzi do serwisu relacji inwestorskich albo do wyszukiwarki dokumentów, więc formalnie źródło jest podane, a praktycznie dostajesz adres, pod którym masz szukać sam. Dobry przypis kończy się na nazwie dokumentu i numerze sekcji.

Druga to przypis do cudzej narracji: zdanie o marży wskazuje artykuł, ten wskazuje kolejny artykuł, a ostatni powołuje się na „doniesienia rynkowe”. Da się tak przejść przez cztery odnośniki i ani razu nie otworzyć sprawozdania. Sprawdzasz wtedy, co napisał ktoś inny, i wracasz do punktu wyjścia z tą samą niewiedzą.

Trzecia to przypis do dokumentu z innego okresu. Liczba jest prawdziwa, dokument prawdziwy, a kwartał nie ten. Ta odmiana jest najbardziej podstępna, bo test na trzecim kroku wypada pozytywnie, dopóki nie spojrzysz na datę, i dlatego okres jest jedyną rzeczą, którą warto sprawdzać nawet wtedy, gdy reszta wygląda w porządku.

Czego przypis nie naprawi#

Byłoby wygodnie skończyć w tym miejscu. Tylko że przypis rozwiązuje dokładnie jeden problem, a badania nad narzędziami z wbudowanym wyszukiwaniem dokumentów pokazują, ile zostaje.

W Journal of Empirical Legal Studies sprawdzono trzy komercyjne narzędzia prawnicze, które reklamowały się jako wolne od halucynacji właśnie dlatego, że przed pisaniem sięgają do bazy dokumentów. Odsetek odpowiedzi z wymyślonym albo przekręconym elementem wyniósł od 17% do 33%, wobec 43% dla samego GPT-4. Czyli sięganie po dokumenty obcięło błąd, w najlepszym przypadku ponad dwukrotnie, i żadnego z tych narzędzi nie zrobiło bezbłędnym.

Dwa błędy przechodzą przez przypis bez trudu. Odnośnik prowadzi do prawdziwego dokumentu, który mówi co innego niż zdanie obok. Albo dokument mówi dokładnie to, tylko pochodzi sprzed trzech kwartałów, a spółka zdążyła w międzyczasie przeciąć segmenty inaczej.

Czy to znaczy, że źródła niczego nie załatwiają? Uważam, że załatwiają najwięcej, jak się da, bo zmieniają rodzaj pracy, jaką musisz wykonać. Sprawdzenie jednego zdania bez źródła oznacza przeczytanie całego sprawozdania, więc nikt tego nie robi. Ze wskazaną stroną schodzi na to minuta i weryfikacja przestaje być projektem na wieczór.

Nie wiem, czy modele kiedyś przestaną zmyślać. Wiem, że dopóki zmyślają, jedyna obrona, która nie zależy od tego, jak dobry jest model, leży poza modelem: to dokument otwarty obok zdania.

Kiedy brak źródła jest uczciwy#

Z tego wszystkiego nie wynika, że każde zdanie ma mieć odnośnik. Raport z przypisem przy przecinku jest nie do czytania, a gęstość przypisów zaczyna wtedy udawać rzetelność.

Granica biegnie po nośności. Zdanie, które łączy akapity, opisuje powszechnie znany mechanizm branży albo formułuje sąd autora, obroni się samo, pod warunkiem że jest oznaczone jako sąd. Zdanie, które niesie liczbę, cytat z zarządu, datę albo porównanie do konkurenta, wskazuje dokument, bo inaczej nie ma jak odróżnić ustalenia od wrażenia. Ta sama granica działa przy raportach pisanych przez ludzi: prognoza jest sądem autora, a tabela z wynikami segmentów wskazuje sprawozdanie.

Jest jeszcze trzecia kategoria, o której mówi się najmniej, a która wiele mówi o narzędziu: zdanie o tym, że dokumentu nie ma. Spółka nie podaje przychodu z podziałem na regiony, zarząd nie odpowiedział na pytanie o odpływ klientów, ostatni transkrypt milczy o cenniku. Raport, który to nazywa, oddaje czytelnikowi prawdziwą informację, bo brak ujawnienia sam bywa ustaleniem. Raport, który w to miejsce wstawia gładkie zdanie w rodzaju „spółka utrzymuje stabilną strukturę geograficzną”, właśnie zamienił brak danych na własne przypuszczenie i nigdzie tej zamiany nie zaznaczył.

W Briefie wynikowym cytat z zarządu otwiera Transkrypt konferencji, więc widzisz zdanie w oryginale i to, co padło zaraz po nim, a nie samą parafrazę.

Gdzie to widać w raporcie#

W Taufolio reguła stoi w miejscu, w którym powstaje tekst, a nie w regulaminie. Pełny raport pisze się z dokumentami otwartymi obok, a wnioski wskazują sprawozdanie, transkrypt albo komunikat, z którego wyszły. Pełny raport pro dokłada do tego mechanizm Trzy modele i sędzia: trzy modele piszą tę samą analizę niezależnie, czwarty porównuje wersje i zostawia to, co da się oprzeć na źródle. Ten układ łapie inny błąd niż sam przypis. Przypis pilnuje, żeby zdanie miało dokument. Sędzia sprawdza coś zupełnie innego, mianowicie czy trzy niezależne odczyty tego samego dokumentu dają ten sam wniosek. Wniosek, który pojawił się u jednego modelu, a zniknął u dwóch pozostałych, zwykle jest dokładnie tym, czego w dokumencie nie ma. Ten mechanizm rozkłada na części Trzy modele i sędzia, czyli co sędzia wyrzuca z raportu.

Skąd biorą się dane pod każdą sekcją, pokazuje opis metodyki.

Sam sprawdzam narzędzia w kolejności odwrotnej niż podpowiada odruch: najpierw patrzę, dokąd prowadzą odnośniki, dopiero potem czytam prozę. Kiedy odnośniki trzymają, proza zwykle też trzyma, bo powstawała pod tym samym ograniczeniem. Jeśli pierwszy odnośnik prowadzi donikąd, zamykam raport i reszty już nie czytam.