Dlaczego nie wystarczy poprosić ChatGPT o analizę spółki

To uczciwe pytanie i często je słyszymy. Skoro zwykły chatbot potrafi streścić powieść, naszkicować umowę i napisać działający kod, czemu nie poprosić go też o analizę spółki? Odpowiedź nie brzmi: „bo duże modele językowe są złe" - są wyjątkowe w tym, do czego je zbudowano. Odpowiedź brzmi: analiza giełdowa stawia konkretny, bezlitosny wymóg, którego typowe chatboty po prostu nie są w stanie spełnić, a różnica między „brzmi sensownie" a „jest poprawne" to dokładnie ten obszar, w którym traci się kapitał.

Ten wpis omawia typowe potknięcia, które pojawiają się, gdy zwykły model językowy traktujemy jak analityka, a następnie opisuje, co proces analityczny musi robić inaczej, żeby zasługiwał na zaufanie przy realnej decyzji inwestycyjnej.

Halucynacje są groźniejsze przy liczbach#

Najczęściej omawianą wadą uniwersalnych modeli językowych są halucynacje - pewne siebie odpowiedzi, które nie mają pokrycia w rzeczywistości. W swobodnej rozmowie wymyślony fakt jest co najwyżej irytujący. W analizie giełdowej dyskwalifikuje cały materiał.

Model, który wymyśli wiarygodnie wyglądającą wartość przychodów, trend marży albo cytat z konferencji wynikowej, nie popełnił drobnego błędu. Wygenerował liczbę, na podstawie której czytelnik podejmie decyzję - a liczba jest błędna. Język wokół niej będzie płynny i pewny, bo płynność to właśnie to, pod co te modele są optymalizowane. Nie ma tu wbudowanego sygnału, który podpowie: „ta cyfra jest zmyślona". Czytelnik musiałby z góry wiedzieć, jaka jest poprawna odpowiedź - co przeczy sensowi samego pytania.

Problem jest strukturalnie poważniejszy w przypadku liczb niż prozy. Akapit, który odbiega od źródła, wciąż czyta się spójnie i uważny czytelnik może to wychwycić. Pojedyncza zła cyfra w marży albo we wzroście prześlizgnie się niezauważona i wyląduje w pozycji w portfelu.

Tego nie da się naprawić lepszym promptem. To wynik tego, jak uniwersalne modele językowe generują tekst - token po tokenie, ważone tym, co prawdopodobnie pojawi się dalej, bez wymogu, by wynik zgadzał się z konkretnym dokumentem. Polecenie typu „uważaj na liczby" nie zmienia mechanizmu działającego pod spodem.

Przeterminowane dane treningowe niepostrzeżenie dezaktualizują wynik#

Druga wada jest mniej omawiana i równie groźna. Wiedza zwykłego modelu o spółce jest ograniczona danymi treningowymi, które zostały zebrane w pewnym momencie w przeszłości i zamrożone.

To znaczy, że pytając chatbota o spółkę, możesz czytać opis biznesu w stanie sprzed osiemnastu miesięcy. Wymieniany prezes mógł już odejść. Opisany segment mógł zostać sprzedany. Cytowana prognoza zarządu mogła zostać wycofana na kolejnej konferencji wynikowej. Nic z tego nie jest opatrzone ostrzeżeniem - tekst czyta się jak aktualny, bo model pisze w czasie teraźniejszym.

Analiza giełdowa jest, niemal z definicji, wrażliwa na czas. Opis strategii zarządu sprzed ostatniej konferencji wynikowej to opis strategii, która już może nie obowiązywać. Model, który nie potrafi powiedzieć Ci, czego nie wie, i nie umie sięgnąć po najnowszy raport okresowy, jest strukturalnie nieprzystosowany do tej pracy - choćby język, którego używa, brzmiał najbardziej autorytatywnie.

Najbardziej ryzykowny scenariusz to ten, w którym model dysponuje cząstkową wiedzą o niedawnym wydarzeniu. Wypełni luki tym, co prawdopodobne, a nie tym, co prawdziwe, a wynik zostanie odebrany jak relacja z najnowszego komunikatu spółki.

Brak zakotwiczenia w raportach SEC i transkrypcjach#

Trzecia kwestia jest najbardziej fundamentalna. Typowy chatbot nie jest podłączony do dokumentów, które mają znaczenie. Mówiąc o spółce, czerpie ze statystycznego streszczenia wszystkiego, co przeczytał - artykułów prasowych, wpisów na blogach, wątków na forach, wcześniejszych raportów - nie odróżniając źródła pierwotnego od komentarza na jego temat.

To rozróżnienie stanowi cały fundament analizy giełdowej. Raport 10-K to źródło pierwotne. Transkrypcja konferencji wynikowej to źródło pierwotne. Materiały na walne zgromadzenie to źródło pierwotne. Wszystko inne to komentarz - a w komentarzu rodzą się błędy, są powielane, aż w końcu utwardzają się w „powszechnie wiadomo".

Uniwersalny model językowy nie jest w stanie powiedzieć Ci, które jego odpowiedzi prowadzą do raportu, a które do streszczenia streszczenia raportu. Nie pobiera dokumentu i z niego nie cytuje; produkuje tekst, który przypomina to, co taki dokument powiedziałby. Czasem to przypomnienie jest dokładne. Czasem bliskie. Czasem błędne w sposób, którego żaden czytelnik nie wychwyci bez sięgnięcia po faktyczny raport - a wtedy czytelnik sam wykonuje tę analizę.

To granica między analizą a komentarzem, omawiana w naszym tekście o tym, czym jest raport analityczny spółki. Twierdzenie, które nie wskazuje źródła pierwotnego, nie jest twierdzeniem analitycznym. To po prostu wiarygodnie brzmiące zdanie.

Co musi robić inaczej analiza oparta na źródłach#

Alternatywą nie jest „mądrzejszy chatbot". To inny rodzaj systemu, zbudowany od podstaw wokół ograniczeń analizy giełdowej, a nie wokół swobody otwartej rozmowy.

Proces analityczny zakotwiczony w źródłach musi robić kilka rzeczy, do których uniwersalny model językowy po prostu nie jest stworzony:

• Pobrać konkretny raport i z niego czytać. Nie streszczać, co raporty tego typu zwykle mówią. Nie odtwarzać tego, co było prawdą w danych treningowych. Otworzyć dany raport 10-K, 10-Q, 8-K albo transkrypcję konferencji wynikowej i pracować na słowach, które tam padły.
• Każde istotne twierdzenie opatrzyć cytatem ze źródła. Wartość przychodów powinna wskazywać konkretną pozycję w raporcie, z której została pobrana. Cytat zarządu powinien wskazywać transkrypcję i osobę, która te słowa wypowiedziała. Twierdzenie, którego nie da się zacytować, nie jest twierdzeniem - to zgadywanie w kształcie zdania.
• Odmawiać wypełniania luk tym, co prawdopodobne. Kiedy źródło czegoś nie mówi, raport musi to przyznać, a nie generować płynnie brzmiące przypuszczenie. To dyscyplina, która oddziela analizę od opinii.
• Pracować na najświeższych komunikatach spółki. Raport o spółce, który ignoruje ostatni kwartał, jest nie tylko niekompletny - jest mylący. System analityczny musi wiedzieć, co jest aktualne, i odpowiednio reagować.
• Stosować wiedzę dziedzinową w interpretacji, a nie do wymyślania danych. Rozumieć, co oznacza zmiana w przychodach przyszłych okresów albo jak czytać wahania kapitału obrotowego - to realna ekspertyza. Wymyślanie liczb wyjściowych - już nie. Te dwie rzeczy muszą zostać oddzielone.

Sens tych ograniczeń nie polega na tym, by system „czuł się" bezpieczniejszy. Chodzi o to, by wynik dało się zweryfikować. Czytelnik, który nie zgadza się z wnioskiem, powinien móc kliknąć w cytat, przeczytać źródło i wyrobić sobie własne zdanie. To umowa, którą dokument analityczny zawiera z czytelnikiem - i to umowa, której zwykły chatbot z założenia nie jest w stanie dotrzymać.

Gdzie uniwersalne modele językowe naprawdę się przydają#

Nie znaczy to, że zwykłe chatboty są dla inwestora bezużyteczne. Są bardzo użyteczne - do właściwych zadań.

Uniwersalny model językowy doskonale wyjaśnia pojęcia. Jeśli nie wiesz, jak liczy się wskaźnik dług/EBITDA, co oznacza zastrzeżenie audytora dotyczące kontynuacji działalności albo jak działa struktura SPAC, zapytanie chatbota jest szybsze niż przeszukiwanie podręcznika. Odpowiedź jest ogólna, dobrze udokumentowana i niewrażliwa na czas - dokładnie tam, gdzie te modele błyszczą.

Zwykły model językowy świetnie radzi sobie też ze streszczaniem dokumentu, który mu podasz. Jeśli wkleisz fragment raportu 10-K i poprosisz o opisanie wyników segmentu własnymi słowami, opisane wyżej problemy w dużej mierze znikają - źródło jest w samym promptcie, model jest do niego ograniczony, a praca polega na przeformułowaniu, nie na wyszukiwaniu.

Czego typowy chatbot nie potrafi robić rzetelnie, to być procesem analitycznym - pobrać właściwy raport, przeczytać go poprawnie, zacytować konkretne fragmenty i przyznać się do tego, czego nie wie. Mylenie jednego z drugim to droga, którą inwestorzy zaczynają działać na podstawie pewnie brzmiącej odpowiedzi, która nie wytrzymuje konfrontacji z faktycznym dokumentem.

Jeśli chcesz zobaczyć, jak wygląda analiza oparta na raportach od początku do końca, nasze przykładowe raporty pokazują strukturę: twierdzenia powiązane z raportami, transkrypcje jako źródło dla wypowiedzi zarządu i te elementy, których źródło nie potwierdza, pozostawione poza raportem zamiast zgadywane.