Jak mierzymy
Co liczymy i jak to czytać.
New Map mierzy, co wyszukiwarki AI mówią o firmie: jak często ją wymieniają, co odpowiadają, gdy ktoś pyta o nią z nazwy, i jakie strony cytują. Na tej metodzie opiera się każda liczba w panelu klienta i w raporcie.
01
Wyszukiwarki
Każda licząca się wyszukiwarka AI, w każdym języku, w którym sprzedają Państwo swoją ofertę. Każdy plan co tydzień mierzy: ChatGPT, Perplexity, Gemini, Google AI Overviews i Google AI Mode; dodatkowo można dokupić: Claude, Grok, Copilot i DeepSeek, w cenie 25 USD za wyszukiwarkę miesięcznie. Google liczymy podwójnie, bo odpowiada w dwóch miejscach: AI Overviews (podsumowanie nad wynikami) i AI Mode (wyszukiwanie w formie rozmowy) mierzymy osobno i nigdy ich nie łączymy.
Każde pytanie zadajemy tak, jak zadaje je kupujący: bezpośrednio w wyszukiwarce, z włączonym wyszukiwaniem w internecie, w kraju i języku danego pytania, w nowej rozmowie. Każdą wyszukiwarkę pokazujemy w osobnym wierszu. Kupujący korzysta z jednej wyszukiwarki, a nie ze średniej z dziewięciu.
02
Pytania
Trzy rodzaje, każdy z własnym mianownikiem, nigdy niesumowane:
- Kategoria: kupujący nie podaje żadnej marki („najlepsze narzędzia do X”). To wykrywalność: czy nowi kupujący słyszą nazwę Państwa marki?
- Konkurencja: kupujący podaje konkurenta („alternatywy dla Y”). Czy Państwa marka jest proponowana jako alternatywa?
- Z nazwą marki: kupujący pyta o Państwa firmę („czy Z to wiarygodna firma”, „cennik Z”). To zaufanie do marki: co mówią wyszukiwarki, gdy ktoś sprawdza Państwa firmę?
Zestaw pytań nie zmienia się między pomiarami. Jeśli się zmieni, najbliższy pomiar o tym informuje i nie ogłasza w tym tygodniu żadnej zmiany.
03
Pomiar
Co tydzień. Każde monitorowane pytanie w każdej wyszukiwarce. Każdą odpowiedź zapisujemy w całości razem ze źródłami, wyszukiwaniami wykonanymi przez wyszukiwarkę, modelem, który jej udzielił, i datą. Nie zadajemy pytania ponownie tylko po to, aby uzyskać lepszą odpowiedź. Nieudane zapytanie ponawiamy, a pustą odpowiedź zapisujemy jako pustą.
04
Co liczymy jako wzmiankę
Wzmianka to nazwa firmy użyta jako nazwa własna, poza kodem, albo jej domena. Następnie sprawdzamy, czy New Map w odpowiedzi to właśnie ta firma New Map. Wiele nazw to jednocześnie zwykłe słowa, tytuły książek, miejsca lub inne firmy. Gdy wzmianka może dotyczyć czegoś innego, model czyta otaczający ją fragment i jednozdaniowy opis firmy, a wzmiankę liczymy tylko wtedy, gdy model uzna ją za dotyczącą tej firmy z pewnością co najmniej 0,6. Każdą decyzję zapisujemy razem z uzasadnieniem.
Ta sama weryfikacja daje osobną liczbę: odsetek odpowiedzi na pytania z nazwą marki, które opisują coś innego o tej samej nazwie. Narzędzie, które liczy samą nazwę, tego nie zobaczy.
05
Cytowania
Na poziomie adresu URL, nie tylko domeny: każda strona cytowana w odpowiedzi, wraz z wyszukiwarkami, które ją zacytowały, pytaniami, przy których się pojawiła, i jej tytułem. Usuwamy parametry śledzące, więc każdą stronę liczymy raz. Każda domena ma etykietę: własne, zdobyte, konkurencja, społecznościowe, referencyjne lub inne. Widać więc, na czyich stronach opierają się wyszukiwarki, gdy opisują Państwa firmę.
06
Wydźwięk
Pięć stopni, od bardzo negatywnego do bardzo pozytywnego. Każdą wzmiankę ocenia model, który czyta wyłącznie fragmenty wokół nazwy. Przy każdej ocenie zapisujemy cytowany fragment i od jednego do trzech tematów (ceny, bezpieczeństwo, obsługa klienta). Wydźwięk netto to odsetek ocen pozytywnych minus odsetek ocen negatywnych. Wydźwięk jest oceną modelu i tak go oznaczamy. Przy mniej niż dziesięciu fragmentach to tylko anegdota.
07
Dokładność
Odpowiedzi na pytania z nazwą marki oceniamy względem faktów podanych przez samą firmę: czym jest dziś i czym już nie jest. Każdą odpowiedź oznaczamy jako dokładną, nieaktualną (opisuje dawny produkt lub stan jako obecny), częściowo poprawną, błędną albo jako brak odpowiedzi. Brak odpowiedzi to osobna kategoria, której nigdy nie wliczamy do błędnych. Twierdzenie, którego nie da się rozstrzygnąć na podstawie zapisanych faktów, oznaczamy jako wymagające stanowiska firmy. Nie zgadujemy.
08
Diagnoza
Jedno zdanie na początku każdego raportu mówi, co oznaczają liczby: problem z wykrywalnością, problem z zaufaniem, oba naraz, witryna blokująca wyszukiwarki albo pozycja do obrony. Diagnozę wyliczają stałe reguły na podstawie zmierzonych liczb, a nie pisze jej model. Dzięki temu raport, cotygodniowy e-mail i opiekun klienta zawsze mówią to samo. Podział pracy pod diagnozą pokazuje, ile wysiłku wymaga każda liczba.
09
Czego nie robimy
- Żadnych sztucznych działań w społecznościach: żadnych syntetycznych wpisów, fałszywych kont ani nieujawnionych publikacji. Swój udział w społecznościach ujawniamy.
- Żadnych gwarantowanych wyników. Nikt nie kontroluje odpowiedzi wyszukiwarki. My ją mierzymy, zmieniamy źródła, z których korzysta, i mierzymy ponownie.
- Żadnego zbiorczego wyniku, który ukrywa spadek w jednym wierszu za wzrostem w innym.
- Żadnych zmian ogłaszanych w granicach marginesu wahań.
Liczby
Każda liczba ma swój mianownik.
| Liczba | Co liczy | Mianownik |
|---|---|---|
| Widoczność w AI | Odpowiedzi, które wymieniają Państwa markę | Odpowiedzi w kategorii |
| Porównanie bezpośrednie | Odpowiedzi, które proponują Państwa markę jako alternatywę | Odpowiedzi na pytania o konkurencję |
| Marka wymieniona z nazwy | Odpowiedzi, które wymieniają Państwa markę, po sprawdzeniu, czy chodzi o Państwa firmę | Odpowiedzi na pytania z nazwą marki |
| Za kogo wyszukiwarki uważają Państwa firmę | Odpowiedzi o Państwa firmie, o czymś innym o tej samej nazwie lub niejasne | Odpowiedzi na pytania z nazwą marki |
| Dokładność odpowiedzi z nazwą marki | Odpowiedzi, które poprawnie opisują Państwa firmę dziś | Ocenione odpowiedzi na pytania z nazwą marki |
| Wydźwięk netto | Oceny pozytywne minus negatywne | Ocenione fragmenty |
| Cytowania | Odpowiedzi cytujące każdy adres URL i domenę | Odpowiedzi ze źródłami |
Jak czytać liczbę
Odsetek, nie pozycja w rankingu.
Odpowiedzi AI zmieniają się za każdym razem, gdy pada to samo pytanie. Niezależne badania wykazały, że ta sama lista marek pojawia się w mniej niż 1 na 100 powtórzeń pytania, a ta sama kolejność w około 1 na 1000. Dlatego każda liczba na tej stronie to odsetek z próby: jak często marka pojawia się wśród policzonych odpowiedzi, a nie stała pozycja.
Przy typowej liczbie pomiarów tygodniowe zmiany poniżej około 5 % odpowiedzi mogą być przypadkowe, podobnie jak miesięczne zmiany poniżej około 2 % odpowiedzi. Zmianę uznajemy za rzeczywistą tylko wtedy, gdy wykracza poza ten margines i się utrzymuje. Każda liczba pokazuje swój mianownik, więc małą próbę od razu widać.
„Co się zmieniło” łączymy z wykonaną pracą: każdą stronę, poprawkę i publikację wiążemy z pytaniami, których dotyczy, i mierzymy ponownie po jej wdrożeniu.
Warto sprawdzić to na własnej firmie: umów rozmowę, a pokażemy, jak wyszukiwarki odpowiadają na Państwa temat, albo przeczytaj, jak to działa.
Ostatnia aktualizacja: .