Bezpłatne sprawdzenie strony głównej: zobacz, co czytają crawlery AI
Strona, którą widzi crawler, nie zawsze jest stroną, którą widzisz Ty
Gdy otwierasz stronę główną w przeglądarce, przeglądarka uruchamia skrypty strony i buduje to, co widzisz. Crawler, który nie uruchamia skryptów, dostaje tylko kod HTML wysłany przez serwer. To mogą być dwie bardzo różne rzeczy: tytuł, opis albo cały blok tekstu mogą pojawić się dopiero po uruchomieniu skryptów.
Tę różnicę łatwo przeoczyć, bo rzadko oglądasz surowy kod HTML. Dlatego zbudowaliśmy sprawdzenie, które Ci go pokazuje, dla publicznych stron, bez zakładania konta.
Jak to działa
Wpisz adres strony w polu na stronie głównej HumanKey albo na stronie bezpłatnego sprawdzenia. HumanKey odczyta te części, w tej kolejności:
- Zasady dla crawlerów (
robots.txt): czy wyszukiwarki mogą odczytać stronę główną i czy plik ma linię Content-Signal. - Strona główna (HTML): tytuł, opis, dane strukturalne, nagłówki i tekst, który jest na stronie przed uruchomieniem skryptów.
- Plik-przewodnik dla AI i lista stron (
llms.txt, sitemap): czy strona je udostępnia i dokąd prowadzi jej link kanoniczny. Strona w innej witrynie nie jest otwierana.
Wynik pojawia się część po części, kiedy czekasz, a ścieżka odczytu na górze pokazuje, ile rzeczy w każdej części warto sprawdzić.
Co dostajesz
Wynik zaczyna się od jednego prostego zdania, na przykład: „Sprawdziliśmy, co crawlery AI czytają na example.com. 2 rzeczy warto sprawdzić.” Pod nim ustalenia są pogrupowane:
- Warto sprawdzić: coś, czego HumanKey nie znalazł albo nie mógł odczytać.
- Można dodać: opcjonalne elementy, których strona jeszcze nie ma, na przykład plik
llms.txtalbo linia Content-Signal wrobots.txt. - Dobrze wiedzieć: informacje neutralne.
- Znaleziono: to, co już jest na miejscu. Ta grupa jest zwinięta, żeby nie spychała reszty w dół.
Rozwiń wiersz, aby zobaczyć szczegóły: dlaczego to ważne i — jeśli istnieje — opublikowaną zasadę, z której wynika, z datą, kiedy HumanKey ją odczytał. Tekst wzięty ze strony jest zapisany czcionką maszynową, jako dokładny cytat.
„Co crawler dostaje z kodu HTML”
Jedna karta pokazuje kod HTML strony głównej tak, jak dostał go HumanKey, bez uruchamiania skryptów. Cytuje dosłownie tytuł strony, opis, pierwsze nagłówki i więcej. Jeśli tytułu, który widzisz w przeglądarce, nie ma w tej karcie, crawler, który nie uruchamia skryptów, może go też nie dostać.
Dlaczego nie ma punktacji
Wiersze opisują kod HTML, który odczytał HumanKey. Nie są oceną strony. Jedna liczba ukryłaby to, czego naprawdę potrzebujesz: który wiersz sprawdzić najpierw. Sugerowałaby też, że wiemy, jaką wagę wyszukiwarki i systemy AI przypisują tym elementom. Tego nie wiemy, więc pokazujemy, co znaleźliśmy i skąd pochodzi zasada, a ocenę wagi zostawiamy Tobie.
Kiedy sprawdzenie kończy się wcześniej
Sprawdzenie stosuje się do zasad samej strony:
- Jeśli
robots.txtstrony prosi crawler HumanKey (HumanKey-Audit), by nie czytał strony głównej, HumanKey to respektuje i o tym informuje. - Jeśli nagłówki lub znaczniki meta strony głównej zastrzegają prawa do eksploracji tekstów i danych, HumanKey czyta tylko
robots.txtoraz te nagłówki i znaczniki meta.
Prywatność
- Nie potrzebujesz konta ani adresu e-mail.
- Wpisany adres nie pojawia się w pasku adresu przeglądarki.
- Sprawdzenie odczytuje tylko publiczne pliki wpisanego adresu i nie przechodzi za linkami do innych stron.
- Ponowne sprawdzenie tego samego adresu może pokazać wcześniejszy wynik; data pokazuje, kiedy go odczytano.
Jak HumanKey przetwarza dane sprawdzenia: polityka prywatności.
Po sprawdzeniu: co możesz ustawić w HumanKey
Pod wynikiem krótka lista pokazuje, co możesz ustawić lub zobaczyć w HumanKey, plan po planie; linie pasujące do wyniku są na górze:
- Free
- Ręczny wybór, które crawlery AI mogą czytać stronę (w ograniczonej liczbie).
- Określenie, jak AI może korzystać z Twoich treści (wyszukiwanie, odpowiedzi AI, trenowanie AI), i link do licencji.
- Gotowe linie robots.txt zbudowane z Twoich ustawień.
- Plik llms.txt zbudowany z Twojego opisu.
- Te wiersze sprawdzenia dla Twojej strony.
- Po instalacji skryptu HumanKey: crawlery AI wśród wizyt, które skrypt mierzy na Twojej stronie.
- Pro dodaje
- Linki do poprawy wierszy, które poprawisz na stronie, w sekcji head, w robots.txt lub w ustawieniach.
- Pakiet plików dla AI: linie robots.txt, plik llms.txt i znaczniki do sekcji head strony głównej, z instrukcją instalacji.
- Prowadzone dane strukturalne.
- Sugestie reguł dla crawlerów AI, każda z uzasadnieniem.
- Wizyty przychodzące z asystentów AI.
- Business dodaje
- Porównanie Twojego robots.txt z plikiem, który HumanKey buduje dla Twoich ustawień.
- Cotygodniowe podsumowanie AI.
- Skąd pochodzą crawlery AI.
- Wnioski o Twoim ruchu napisane przez AI.
- Szczegółowy raport dla każdego bota.
Ceny i limity znajdziesz w porównaniu planów.
Więcej do przeczytania
- Nie zablokujesz crawlera AI przed odczytaniem strony. Możesz zadeklarować, co wolno mu z tym zrobić.: co deklaruje linia Content-Signal, a czego nie robi.
- Twoja rekomendacja robots.txt powinna wymieniać każdego crawlera AI: dlaczego lista crawlerów nie powinna kończyć się na tych, które już widziałeś.
- RSL: druga linia w robots.txt: wskazanie crawlerom dokumentu licencyjnego, który hostujesz.
Wypróbuj
Sprawdź swoją stronę główną. Wystarczy jeden adres, bez rejestracji.
HumanKey jest usługą dla przedsiębiorców i osób działających w imieniu przedsiębiorcy.
Poznaj Swój Ruch AI
Zacznij śledzić crawlery AI odwiedzające Twoją stronę. Bezpłatnie do 1000 sprawdzeń miesięcznie.
Rozpocznij za darmo