Wiele modeli AI do analizy spółek: po co raportowi sędzia

Wiele modeli AI do analizy spółek daje mniej, niż obiecuje. Trzy zgodne odpowiedzi to wciąż jedna odpowiedź, jeśli wszystkie trzy przeczytały ten sam akapit tak samo źle. Wartość mechanizmu Trzy modele i sędzia siedzi gdzie indziej: czwarty model wyrzuca każde zdanie, którego nie da się wskazać palcem w dokumencie. Dlatego Pełny raport pro bywa krótszy od zwykłego, nie dłuższy.

Sam z tego argumentu kiedyś żyłem, więc go nie osłabiam. Kilka lat przed Taufolio budowałem silnik dopasowujący ludzi do rzeczy i najlepszy pojedynczy model trafiał tam w mniej więcej siedmiu przypadkach na dziesięć. Czyli co trzeci człowiek dostawał dopasowanie do wyrzucenia. Zespół pięciu modeli, z których żaden nie był najlepszy z osobna, pobił każdy z nich po kolei. To moje liczby z mojego projektu, nie statystyka rynkowa, i wyniosłem z nich jedno: pojedyncza pewna siebie odpowiedź jest hipotezą, nie werdyktem.

Tylko że zgoda modeli mierzy podobieństwo, nie prawdę.

Jeden model ma jeden zestaw martwych punktów#

Zapytaj pojedynczy model, czy to dobra spółka, a dostaniesz odpowiedź napisaną tym samym pewnym tonem od pierwszego do ostatniego zdania. Model nie oznaczy miejsca, w którym zgaduje. Zdanie o ekspozycji na Chiny, gdzie wie niewiele, wygląda w tym tekście identycznie jak zdanie o przychodach, które ma policzone w tabeli. Dlaczego to za mało na całą analizę, rozbieram w tekście o tym, dlaczego jeden chatbot nie wystarcza do analizy spółki.

Nie wzywa się dwa razy tego samego świadka i nie nazywa się tego potwierdzeniem. Chcesz kogoś, kto uczył się na czym innym i z automatu boi się czegoś innego.

Zgoda trzech modeli to nie dowód#

Wspólny błąd nie jest w tej robocie wypadkiem, tylko normą. W benchmarku FinanceBench, zbudowanym z pytań o prawdziwe sprawozdania spółek, GPT-4-Turbo z wyszukiwaniem po dokumentach odpowiedział błędnie albo odmówił odpowiedzi w 81% ze 150 badanych przypadków, a ten sam model z całym dokumentem w kontekście mylił się w 21%. Czyli o wyniku decydowało nie to, który model pytasz, tylko czy w ogóle widzi właściwą stronę dokumentu.

Badanie jest z 2023 roku i modele od tamtej pory poszły mocno do przodu, więc tej liczby nie przenoszę na dziś. Przenoszę mechanizm. Błąd rodzi się tam, gdzie dokument jest trudny, a nie tam, gdzie model jest słaby.

To ma konsekwencję, o której głosowanie modeli milczy. Trzy modele czytające ten sam zawiły przypis o leasingach potkną się na nim z tego samego powodu i w tę samą stronę. Zgoda w takim miejscu nie jest trzema niezależnymi pomiarami, tylko jednym pomiarem powtórzonym trzy razy, za to z potrojoną pewnością siebie.

Uważam zgodność modeli za najbardziej przecenianą liczbę w całej tej branży.

Niezależność trzeba w takim układzie zbudować celowo, bo sama z siebie nie powstaje. Modele piszą swoje wersje osobno, nie widzą cudzych szkiców i nie dostają cudzych wniosków do przeczytania. Gdyby jeden zobaczył pracę drugiego, przestałby być drugim świadkiem i zaczął być echem, a echo brzmi jak potwierdzenie.

Co sędzia wyrzuca z raportu#

Sędzia dostaje trzy wersje tej samej analizy i nie ma prawa wybrać najładniejszej. Ma zrobić dwie rzeczy: pokazać, gdzie wersje się rozjeżdżają, i wykreślić z raportu każde zdanie bez adresu w źródle.

Żeby to sprawdzenie miało sens, wszystkie trzy modele muszą czytać ten sam, aktualny komplet dokumentów: ostatnie sprawozdania roczne i kwartalne, transkrypt konferencji wynikowej, zweryfikowane wiadomości z badanego okresu. Model zdany na własną pamięć zgaduje, co spółka zrobiła w zeszłym kwartale, i robi to płynnie. Model z dokumentem przed sobą też się myli, tylko że jego pomyłkę da się wskazać palcem, i o to w całej procedurze chodzi.

Załóżmy, że pierwszy model pisze o spadku marży brutto o 5 punktów procentowych, drugi o 2, a trzeci wcale o niej nie wspomina. Którą liczbę wpisać do raportu?

Głosowanie nie ma tu czego liczyć, bo dwa różne twierdzenia nie tworzą większości. Sędzia wraca więc do tekstu. Jeśli w formularzu 10-K z bazy EDGAR stoi konkretna liczba, zostaje ta liczba i przypis do niej. Jeśli nie stoi żadna, w raporcie nie ma zdania o marży, choć trzy modele miały o niej sporo do powiedzenia.

Ta reguła kosztuje objętość i tak ma być. Raport, w którym każde ustalenie prowadzi do dokumentu, który możesz otworzyć, jest krótszy od raportu, w którym część zdań brzmi mądrze i nie prowadzi donikąd.

Sędzia też ma swoją słabość#

Model w roli sędziego jest zaskakująco dobry w zgadzaniu się z człowiekiem. W pracy o MT-Bench silny model oceniający pokrywał się z ludzkimi ocenami w ponad 80% przypadków, czyli mniej więcej tyle, ile ludzie zgadzali się między sobą. Ta sama praca wylicza jego skazy, a jedna jest dla nas kłopotliwa: model sędziujący faworyzuje odpowiedzi napisane w jego własnym stylu.

Kto zatem pilnuje sędziego?

Sędzia zostawiony z pytaniem „która wersja jest lepsza” byłby więc czwartą opinią, nie kontrolą. Dlatego pytanie brzmi inaczej: „które konkretnie zdanie ma pokrycie w tym konkretnym akapicie”. Sprawdzanie tekstu jest odporne na gust w sposób, w jaki ocenianie stylu nigdy nie będzie.

Jest też przypadek, w którym sędzia nie pomoże wcale. Jeśli wszystkie trzy modele przeczytają to samo zdanie sprawozdania w ten sam błędny sposób, sprawdzenie wypadnie pomyślnie, bo adres w dokumencie się zgadza, a rozumienie już nie. Procedura odsiewa zdania bez pokrycia i nie chroni przed wspólną pomyłką w czytaniu. Właśnie dlatego przypis nie jest w raporcie ozdobą, tylko drogą do zdania, które w spornym momencie otwierasz sam.

Druga strata jest po stronie czytelnika. Razem z twierdzeniami zmyślonymi wylatują twierdzenia prawdziwe, których akurat nie dało się przypiąć do zdania w dokumencie, i nikt ci nie powie, ile ich było. Ile twierdzeń sędzia wykreśla w typowym raporcie, tego dziś nie publikujemy. Nie mam tej liczby w formie, za którą bym ręczył, i wolę to napisać wprost, niż podać wrażenie w przebraniu wskaźnika.

Różnica zdań jest produktem#

Najciekawsze miejsce w raporcie pro to nie zgoda, tylko spór, którego sędzia nie rozstrzygnął, bo obie strony miały źródła. Załóżmy raport o producencie okablowania do serwerów. Modele zgadzają się co do przewagi w segmencie AI i rozjeżdżają się kompletnie na pytaniu, czy miedź przetrwa. Jeden opiera tezę na tym, że aktywne kable miedziane są tanie i energooszczędne na krótkich odcinkach między układami. Drugi na tym, że optyka współpakowana dojrzeje szybciej, niż zakłada rynek, i podetnie miedziany silnik wzrostu.

Obie tezy stoją na dokumentach. To nie jest szum do uśrednienia, tylko dokładnie to miejsce, w którym zaczyna się twoja praca.

Żadne z tych głosowań nie kończy się rekomendacją transakcji i nigdy nie będzie kończyć. Dostajesz przewagi, ton zarządu, ryzyka i mapę spornych punktów, a werdykt zostaje po twojej stronie. Od tej zgodności między niezależnymi ocenami wzięła się zresztą nazwa Taufolio, bo tau to miara zgodności rankingów, a nie imię maskotki.

Kiedy Pełny raport pro zarabia na swoje Kredyty#

Pełny raport pro kosztuje 400 Kredytów wobec 100 za Pełny raport, czyli za jeden raport pro płacisz tyle, co za cztery zwykłe. Plan Free dostaje 100 Kredytów miesięcznie, więc darmowy miesiąc to dokładnie jeden Pełny raport i ani grosza więcej. Jak działa ta waluta, rozbieram w tekście o Kredytach.

Ta różnica ma sens tylko wtedy, gdy pomyłka jest droga. Sięgam po wersję pro przy trzech rodzajach spółek:

• takich, których technologii sam nie rozumiem na tyle, żeby wychwycić bzdurę w akapicie o produkcie,
• takich, w których jedno ogniwo łańcucha dostaw albo jedna spółka zależna decyduje o całym wyniku,
• takich, wokół których trwa spór narracyjny, a cena zawiera bardzo dużo oczekiwań.

Spółka, którą znasz od lat, i pytanie „co się zmieniło w tym kwartale” nie potrzebują sędziego. Potrzebują szybszego dokumentu, a różnicę między poziomami raportów rozpisałem osobno, porównując raport podstawowy z pełnym.

Gdy już masz przed sobą raport pro, czytaj go od miejsc spornych, nie od pierwszej strony. Sekcja, w której modele się rozjechały, pokazuje, gdzie teza jest najcieńsza. To ona układa listę rzeczy do sprawdzenia przed kolejnym kwartałem, a reszta dokumentu jest tłem dla tej listy.

Mechanizm nazywa się Trzy modele i sędzia i stoi wyłącznie za wersjami pro. Co dokładnie zostaje po jego przejściu i jak to wygląda w gotowym pliku, pokazuje nasza metodologia.

Wolę opracowanie, które przyznaje się do luki, od takiego, które o wszystkim mówi z równą pewnością. Pierwsze da się sprawdzić.