Twoja rekomendacja robots.txt powinna wymieniać każdego crawlera AI — nie tylko te, które już widziałeś
Rekomendacja kontroli crawlerów, która wymienia jedynie boty obecne już w Twoich logach, jest z założenia niekompletna. Oto dlaczego proponujemy jawną regułę dla każdego crawlera AI, którego śledzimy — również dla tych, które jeszcze Cię nie odwiedziły.