Skip to main content
Wróć do bloga

Gotowe linie robots.txt dla crawlerów AI, zbudowane z Twoich ustawień

Rob, CEO & Founder3 min czytania

Co nowego

W AI Magnet, w zakładce Narzędzia zaawansowane, karta podaje teraz gotowe linie do Twojego pliku robots.txt. HumanKey buduje je z dwóch ustawień, które już masz:

  • Zarządzanie Botami: które crawlery AI wpuszczasz, a które blokujesz. Dla crawlera, którego nie ustawiłeś, HumanKey stosuje swoje ustawienie domyślne.
  • Prawa AI do treści: co AI może zrobić z tym, co przeczyta (wyszukiwanie, odpowiedzi AI, trenowanie AI). Jeśli nie zapisałeś wyboru, karta podaje, którego ustawienia domyślnego użyła.

Karta jest dostępna w każdym planie, także w planie Free.

Linie do dodania, a nie nowy plik

Karta podaje linie do dodania, a nie cały plik. Dodajesz je na samym końcu robots.txt. Reguły, które już są w pliku, zostają i nadal działają.

Gdy HumanKey odczyta Twój plik, linie nigdy:

  • nie dodają linii blokującej dla crawlera, którego wpuszczasz;
  • nie blokują crawlerów, które budują indeksy wyszukiwarek, takich jak Googlebot i Bingbot;
  • nie dodają drugiej grupy dla crawlera, którego Twój plik już wymienia. Karta podpowiada wtedy, żeby zmienić istniejącą grupę;
  • nie dodają drugiego zestawu reguł dla wszystkich crawlerów (User-agent: *). Jeśli Twój plik ma już taki zestaw bez linii Content-Signal, karta pokazuje jedną linię, którą wpisujesz do niego ręcznie.

Jeśli Twój plik już odpowiada Twoim ustawieniom, karta informuje, że nie ma nic do dodania. Jeśli strona nie ma jeszcze pliku robots.txt, linie tworzą kompletny plik na start. Jeśli w karcie Prawa AI do treści zapisałeś link do licencji, linie kończą się linią License:. Pomijamy ją, gdy Twój plik już ją ma (więcej o tej linii).

Kopiuj, pobierz albo wyślij do IT

  • Kopiuj umieszcza linie w schowku.
  • Pobierz zapisuje je jako plik tekstowy.
  • Wyślij do IT wysyła je e-mailem do osoby, która prowadzi Twoją stronę, gdy potwierdzisz, że masz prawo udostępnić ten adres e-mail.

E-mail mówi wprost: nie zastępuj istniejącego pliku robots.txt. Dodaj linie na samym końcu, bez zmian, i zostaw wszystkie linie, które już są w pliku. Mówi też, że robots.txt to prośba, a każdy crawler sam decyduje, czy się do niej stosuje. To nie jest techniczna blokada.

Zanim potwierdzisz stronę

HumanKey odczytuje Twój aktualny robots.txt dopiero wtedy, gdy potwierdzisz, że strona należy do Ciebie. Do tego czasu linie powstają tylko z Twoich ustawień, a karta wyjaśnia, gdzie ręcznie wpisać linię Content-Signal. Karta podpowiada też, by zmienić istniejącą grupę, jeśli plik ma już grupę dla wymienionego crawlera. Te linie możesz skopiować lub pobrać; przycisk Wyślij do IT pojawi się, gdy HumanKey odczyta Twój plik.

Co robią te linie

robots.txt to prośba: crawlery, które przestrzegają zasad, stosują się do niej, a Content-Signal deklaruje, a nie blokuje. Zobacz dlaczego wymieniamy każdego crawlera AI i dlaczego mówimy „zadeklaruj”.

Gdzie to znaleźć

AI Magnet → Narzędzia zaawansowane → robots.txt: linie do dodania i porównanie. W planach Pro i wyższych pakiet plików dla AI (zakładka Sprawdź i popraw) buduje linie robots.txt, plik llms.txt i znaczniki do sekcji head. Dołącza instrukcję instalacji.

Pytania o kartę? Napisz do nas przez formularz kontaktowy.

Poznaj Swój Ruch AI

Zacznij śledzić crawlery AI odwiedzające Twoją stronę. Bezpłatnie do 1000 sprawdzeń miesięcznie.

Rozpocznij za darmo