Dlaczego ChatGPT za każdym razem poleca kogoś innego

Zadaj ChatGPT pytanie: jaki sklep z suplementami polecasz? Zapisz odpowiedź, otwórz nowy czat i zapytaj jeszcze raz. Część marek najpewniej się zmieni, kolejność też.

Tak wyszło z badania SparkToro i Gumshoe. 600 ochotników zadało 12 pytań o polecane marki i produkty w ChatGPT, Claude i AI w wyszukiwarce Google, łącznie 2961 razy. Tę samą listę w tej samej kolejności dawało mniej więcej jedno na tysiąc powtórzeń.

Model nie ma jednej ulubionej listy

Model językowy nie wyjmuje gotowej odpowiedzi z szuflady. Składa ją słowo po słowie i za każdym razem wybiera spośród słów, które pasują najlepiej, z odrobiną losowości. Kiedy korzysta z wyszukiwania, dochodzi druga zmienna: inne strony w wynikach dają inne źródła. Dlatego dwa identyczne pytania potrafią skończyć się dwiema różnymi listami.

Czego uczy wół z Plymouth

W 1906 roku na targach w Plymouth każdy mógł kupić kartkę i zgadnąć, ile wystawiony wół będzie ważył po uboju i oprawieniu. Francis Galton wypożyczył 787 czytelnych kartek. Połowa typów mieściła się w widełkach szerokich na ponad 30 kg. Galton ułożył kartki od najniższej do najwyższej i sprawdził środkową: 1207 funtów, czyli około 547 kg. Tusza ważyła 1198 funtów, około 543 kg.

Ta historia ma ciąg dalszy. W 2014 roku statystyk Kenneth Wallis przejrzał notatki Galtona i znalazł pomyłkę przy przepisywaniu liczb do artykułu: środkowa kartka wskazywała 1208 funtów, a tusza według organizatora ważyła 1197. Średnia ze wszystkich kartek, którą Galton policzył trzy tygodnie później w odpowiedzi na list czytelnika, wyniosła dokładnie 1197 funtów.

Pojedyncza kartka była szumem. Wszystkie razem trafiły w punkt. Z odpowiedziami AI jest podobnie: jedna rozmowa niewiele mówi, dopiero wiele powtórzeń pokazuje, które marki model naprawdę zna.

W tym samym badaniu ludzie napisali 142 różne pytania o słuchawki i dostali 994 odpowiedzi. Pytania brzmiały za każdym razem inaczej, a mimo to czterech producentów wracało w większości odpowiedzi. Stała nie jest kolejność. Stałe jest to, jak często marka w ogóle się pojawia.

Miejsce na jednej liście to przypadek

Jeśli ktoś pokazuje Ci miejsce Twojej marki w jednej odpowiedzi ChatGPT, pokazuje jeden rzut kostką. Autor badania pisze wprost, że pozycja w odpowiedzi AI nie jest miarą, na której można polegać. Sensowną miarą jest odsetek odpowiedzi, w których marka się pojawia, liczony na wielu pytaniach i wielu powtórzeniach.

Jak sprawdzić, czy ChatGPT poleca Twój sklep

1. Spisz 10 pytań, które zadają Twoi klienci, ich słowami i bez nazwy Twojej marki.
2. Każde pytanie zadaj kilka razy, za każdym razem w nowym czacie.
3. Zapisz, w ilu odpowiedziach pojawia się Twój sklep, a w ilu konkurencja.
4. Powtarzaj to co tydzień przez miesiąc i licz wszystkie odpowiedzi razem.

W pakiecie Bądź odpowiedzią w AI robimy to samo na większą skalę: każde pytanie co tydzień zadajemy po trzy razy w ChatGPT, Claude, Gemini i Perplexity, a wynik liczymy z czterech tygodni razem.

Wniosek dla sklepu jest prosty. Jedna zła odpowiedź nie znaczy, że AI Cię nie zna, a jedna dobra nie znaczy, że Cię poleca. Liczy się to, jak często pojawiasz się przez kolejne tygodnie.