Twoja rekomendacja robots.txt powinna wymieniać każdego crawlera AI — nie tylko te, które już widziałeś

Dlaczego ten wpis powstał

To wpis o transparentności produktu i o zasadzie, do której sami się stosujemy, a nie ogłoszenie zupełnie nowej funkcji. Jeśli prowadzisz stronę, crawler AI, o którym nigdy nie słyszałeś, może zacząć Cię odwiedzać już w przyszłym miesiącu. Dlatego dobrym pytaniem do każdego narzędzia do „kontroli crawlerów AI" jest: gdy pojawi się nowy crawler, powiecie mi, że istnieje, i pozwolicie mi zdecydować — czy dowiem się o tym dopiero wtedy, gdy będzie już czytał moją stronę od tygodni?

Naszą odpowiedzią jest zasada kompletności. Rekomendacja, które crawlery dopuścić, a które zablokować, powinna wymieniać każdego crawlera AI, którego śledzimy, a nie tylko tę garstkę, która już pojawia się w Twoim ruchu. Ten wpis wyjaśnia prostym językiem, dlaczego tak robimy i dlaczego traktujemy kompletność jako kwestię uczciwości, a nie miły dodatek.

Pułapka niekompletności: rekomendowanie tylko tego, co już się wydarzyło

Najłatwiej zbudować rekomendację robots.txt tak: spojrzeć na niedawny ruch, wypisać crawlery, które faktycznie Cię odwiedziły, i zaproponować regułę dla każdego z nich. Wygląda to pomocnie i dla botów z Twoich logów rzeczywiście takie jest.

Ma to jednak martwy punkt, który jest dokładnym przeciwieństwem tego, czego potrzebujesz. Crawlerem, o którym najbardziej chcesz podjąć świadomą decyzję, jest często ten, którego jeszcze nie widziałeś — nowo uruchomiony asystent AI, crawler wyszukiwarki, z której nie korzystasz, albo crawler reklamowy, który zacznie się pojawiać, gdy ruszy kampania. Rekomendacja zbudowana wyłącznie z Twoich logów nie może wspomnieć o żadnym z nich, bo z definicji jeszcze się nie pojawiły. Potrafi opowiedzieć tylko o przeszłości.

Pominięcie ich nie jest neutralne. Po cichu zawęża Twoje wybory do tego, co już się wydarzyło — dokładnie w chwili, w której najbardziej skorzystałbyś na wyprzedzeniu tego, co dopiero nadchodzi.

Kompletność jako uczciwość, a nie tylko pokrycie

Traktujemy kompletność jako kwestię rzetelności, a nie pole do odhaczenia.

W ramach unijnych zasad uczciwych praktyk rynkowych pominięcie informacji, której kupujący istotnie potrzebuje, samo w sobie może wprowadzać w błąd — nawet jeśli wszystko, co powiedziałeś, jest prawdą. Narzędzie, które obiecuje „pełną kontrolę nad crawlerami AI", a potem po cichu pomija część crawlerów, w małym stopniu zaprzecza własnej obietnicy. Uczciwa postawa jest trudniejsza: pokazać Ci cały zestaw, który śledzimy, i pozwolić zdecydować, zamiast prezentować schludną, krótką listę w nadziei, że nie zauważysz, czego brakuje.

Dlatego nasz rekomendowany plik robots.txt wymienia każdego crawlera AI, którego śledzimy — ponad 60 z nich — każdego z sugerowaną postawą, niezależnie od tego, czy jest w Twoich niedawnych logach. Jeśli wolisz zignorować większość z nich, to Twoja decyzja — podejmowana z pełnym obrazem przed oczami.

Jak to wygląda, gdy poradę pisze model

Oferujemy też doradcę AI, który czyta Twój ruch i formułuje rekomendacje prostym językiem. Teraz stosuje tę samą zasadę kompletności.

Najważniejsze jest to, jak traktuje crawlera, który jeszcze Cię nie odwiedził. Nie udaje. Zaproponuje jawną regułę dla wartościowego crawlera, który się jeszcze nie pojawił, i mówi o tym wprost — „jeszcze niewidziany w Twoim ruchu, ale wart jawnej reguły" — zamiast wymyślać liczbę odwiedzin, aby uzasadnić sugestię. Prawdziwe liczby opisują prawdziwy ruch; sugestia wyprzedzająca jest oznaczona właśnie jako taka. Kompletność i uczciwość muszą iść w parze, inaczej ta pierwsza staje się przyzwoleniem na zmyślanie.

Rozróżnianie dwóch rzeczy: Twoje ustawienia a Twój plik na żywo

Kryje się tu subtelniejsza kwestia uczciwości, którą łatwo pomylić.

„Zablokowany" może oznaczać dwie różne rzeczy. Crawler może być zablokowany w Twoich ustawieniach wewnątrz naszego produktu albo zablokowany w rzeczywistym pliku robots.txt, który Twoja strona udostępnia światu. To nie to samo i mogą być ze sobą sprzeczne — możesz mieć crawlera oznaczonego w jeden sposób w panelu, podczas gdy Twój plik na żywo mówi coś przeciwnego.

Dobra porada musi te dwie rzeczy rozróżniać. Nasze rekomendacje starannie wskazują, którą z nich mają na myśli, więc nigdy nie usłyszysz, że crawler jest „zablokowany w Twoim robots.txt", podczas gdy plik faktycznie udostępniany przez Twoją stronę go przepuszcza. Mylenie tych dwóch rzeczy byłoby łatwym sposobem, by brzmieć autorytatywnie i mylić się jednocześnie.

Doradczo, nigdy automatycznie

Nic z tego nie zmienia Twojej strony samo z siebie. Każda rekomendacja jest doradcza: to wskazówka do Twojego przeglądu, a nie działanie podjęte w Twoim imieniu. Treści generowane przez AI wyraźnie oznaczamy jako maszynowe, zgodnie z wymogiem transparentności z unijnego aktu o sztucznej inteligencji, i nic nie zostaje zastosowane, dopóki sam tego nie wybierzesz.

Warto pamiętać, że sam robots.txt jest doradczy. Dobrze zachowujące się crawlery go respektują; inne go ignorują. Właśnie dlatego zobaczenie pełnego obrazu ma znaczenie: ten plik jest deklaracją intencji, a deklaracja intencji jest użyteczna tylko wtedy, gdy odzwierciedla decyzję, którą naprawdę podjąłeś wobec każdego istotnego crawlera — a nie tylko tych, które akurat przybyły najpierw.

Sami stosujemy tę samą zasadę

Używamy tego u siebie. Nasz własny plik robots.txt jest generowany z tej samej listy crawlerów AI, którą śledzimy, więc pozostaje kompletny samoczynnie, w miarę jak dodawane są nowe crawlery — witamy asystentów i crawlery wyszukiwarek, a odsyłamy niewielki zestaw agresywnych scraperów, dokładnie tak, jak zarekomendowałby to nasz produkt. Skoro mamy Ci mówić, że plik kontroli crawlerów powinien być kompletny, to najmniej, co możemy zrobić, to trzymać nasz własny w takim stanie.