„Nieznany bot” to nie odpowiedź: jak opisujemy ruch automatyczny bez nazwy

Liczba, z którą nie dało się nic zrobić

Wiele raportów ruchu, które oddzielają ludzi od maszyn, kończy się trzema grupami: wizyty ludzi, boty z nazwą (wyszukiwarka, crawler AI, usługa monitorująca) i trzecia grupa, zwykle podpisana „nieznane boty” albo „inne”.

Trzecia grupa bywa najciekawsza, a jej podpis nie mówi nic. Właściciel strony, który widzi „kilkadziesiąt nieznanych botów wczoraj”, nie potrafi odpowiedzieć na jedyne ważne pytania: co to było i czy mam coś z tym zrobić?

Dokładnie o to zapytaliśmy sami siebie, czytając własne raporty. Nie mieliśmy dobrej odpowiedzi na ekranie, chociaż nasz system wiedział więcej, niż pokazywał. Zmieniliśmy więc to, co pokazujemy.

Co zmieniło się w raporcie dziennym

Obok liczby wizyt automatycznych bez nazwy bota dzienny raport e-mail wymienia teraz te wizyty według rodzaju:

Wizyty crawlerów z nazwą — wyszukiwarek, crawlerów AI, usług podglądu linków — są liczone tak jak wcześniej i nie wchodzą do tej tabeli.

Trzy zasady, które sobie narzuciliśmy

1. Rodzaj mówi co, nigdy kto. „Sieć serwerowa lub proxy” nie wskazuje firmy hostingowej, a „zautomatyzowana przeglądarka” nie wskazuje narzędzia. Nazwę crawlera nadajemy wizycie tylko wtedy, gdy pasuje ona do wpisu w naszym katalogu crawlerów; wizyta automatyczna, która nie pasuje do żadnego wpisu, jest opisana rodzajem, a nie nazwą. Wszystko inne byłoby zgadywaniem podanym jako fakt.

2. Opis musi być prawdziwy dla każdej wizyty, którą obejmuje. Opis, który pasuje tylko do typowego przypadku, nie nadaje się do raportu klienta. Jeśli czegoś nie możemy powiedzieć o każdej wizycie danego rodzaju, nie piszemy tego.

3. Reszta zostaje resztą — i jest pokazana uczciwie. Zawsze będą wizyty, których nie umiemy opisać dokładniej. Pokazujemy je jako „bez dalszej klasyfikacji”, na końcu listy. Nie chowamy ich w innym rodzaju, żeby tabela wyglądała na kompletną.

Co pozostaje bez zmian

• Werdykt „człowiek czy bot” jest liczony tak samo w każdym planie. Nowa tabela opisuje wizyty, które już wcześniej były liczone jako automatyczne; nie przenosi żadnej wizyty z jednej strony na drugą.
• Liczby to wizyty, a nie liczba odrębnych botów. W zapisach wizyt adres IP odwiedzającego przechowujemy wyłącznie jako skrót, który zmienia się każdego dnia, więc nie twierdzimy, że wiemy, ile osobnych maszyn stało za wizytami.
• Rodzaj nie jest regułą. Blokowanie i zezwalanie nadal działają na crawlerach z nazwą. Rodzaj to opis, który pomaga czytać liczby.

Co właściciel strony może z tym zrobić

• Wzrost liczby wizyt z „sieci serwerowej lub proxy” to powód, żeby sprawdzić we własnych logach serwera, na które strony trafiają. W pierwszej kolejności warto przyjrzeć się stronom bez wartości publicznej (logowanie, wyniki wyszukiwania, koszyk) i limitom zapytań.
• Wzrost liczby wizyt w rodzaju „zautomatyzowana przeglądarka” może oznaczać, że ktoś zbiera Twoje treści albo testuje formularz. Własne logi serwera pokażą, których stron to dotyczyło.
• Wizyty „bota, który sam się przedstawia” są tymi uprzejmymi: mówią, czym są. To kandydaci do naszego katalogu crawlerów z nazwą.
• Duży udział wizyt „bez dalszej klasyfikacji” to sygnał dla nas, nie dla Ciebie. Po tej liczbie oceniamy tę funkcję.

Masz pytania, jak czytać swój raport? Napisz do nas przez formularz kontaktowy.