Raport widoczności marek w AI. Usługi finansowe (pilotaż)

Komentarz eksperta

Przy tej wielkości próby najprostszym błędem byłoby czytanie tabeli SoV tak samo, jak w kategoriach liczących dziesiątki lub setki ukończonych odpowiedzi, czyli jako informację o tym, że "Ingenium ma 58,3% udziału w rynku widoczności usług finansowych". Liczba ta jest matematycznie poprawna, ale opisuje wynik jednego zapytania i garstki odpowiedzi, a nie ustabilizowany obraz rynku. Mechanizm tego zniekształcenia jest łatwy do wskazania. Cały zestaw danych tej kategorii pochodzi z jednego zapytania ("biuro rachunkowe dla małych firm w Poznaniu"), rozłożonego na 12 ukończonych odpowiedzi w czterech modelach, czyli około trzy odpowiedzi na model. Przy takiej wielkości próby pojedyncza odpowiedź może w całości zdefiniować wynik danego modelu, co tłumaczy, dlaczego Perplexity pokazuje jedną markę ze 100% wyniku, a Anthropic zupełnie inny zestaw trzech marek niż zbiorczy ranking. To nie jest sygnał o zmienności rynku między modelami, tylko konsekwencja arytmetyki małych liczb. Granica interpretacji jest tu bardzo wąska. Nie wiemy, jak wyglądałby ranking marek finansowych przy szerszym zestawie zapytań, bo dane po prostu na to nie pozwalają. Wiemy tylko, że Ingenium i Profitax to jedyne dwa podmioty, które w ogóle osiągnęły próg minimalnej próby, i że każdy z czterech modeli, patrzony osobno, opiera się na zbyt małej liczbie odpowiedzi, by cokolwiek z niego wywnioskować. Dla zarządu i zespołu marketingowego wniosek jest analogiczny jak przy innych kategoriach o niewystarczającej próbie w tej serii: nie należy wyciągać żadnych wniosków porównawczych z obecnego kształtu danych tej kategorii. Rekomendujemy poczekać na szerszy zestaw zapytań, obejmujący więcej niż jedno pytanie i więcej niż kilkanaście odpowiedzi, zanim wyniki dla usług finansowych zostaną potraktowane jako podstawa do jakiejkolwiek decyzji.