Nie zablokujesz crawlera AI przed odczytaniem strony. Możesz zadeklarować, co wolno mu z tym zrobić.

Dwa różne pytania, jeden plik

Każdy właściciel strony, który zaglądał kiedyś do robots.txt, zna jego kształt: User-agent, potem Allow albo Disallow. Odpowiada dokładnie na jedno pytanie — czy ten crawler w ogóle może pobrać tę stronę? — i odpowiada na nie, dla wyszukiwarek, od trzech dekad.

Crawlery AI uwidoczniły drugie pytanie, na które robots.txt nigdy nie został zbudowany, by odpowiadać: skoro crawler już pobrał stronę, co wolno mu zrobić z tym, co przeczytał? Wykorzystać do wyników wyszukiwania? Wykorzystać jako wsad do odpowiedzi systemu AI w chwili, gdy ktoś zadaje pytanie? Wykorzystać do trenowania modelu?

To trzy naprawdę różne zastosowania, a pojedyncze Allow: / nie odpowiada na żadne z nich. Strona, która pozwala crawlerowi pobrać stronę, nie powiedziała nic o tym, na które z tych trzech zastosowań się zgadza — bo robots.txt, w swojej pierwotnej konstrukcji, nie ma słownictwa do zadania tego pytania.

Druga, dodatkowa linia — nie zastąpienie istniejącej

Rozwiązaniem nie jest nowa bramka, która cokolwiek blokuje. To druga dyrektywa, deklarowana obok istniejącej reguły Allow/Disallow, która mówi: spośród crawlerów, które wpuszczam, oto co pozwalam im zrobić z tym, co przeczytają. Trzy pytania tak/nie, odpowiedziane wprost:

• Wyszukiwanie — czy to może być indeksowane i pokazywane jako wynik wyszukiwania z krótkim fragmentem?
• Wsad AI — czy to może być użyte jako dane wejściowe dla systemu AI odpowiadającego na pytanie lub generującego podsumowanie, w chwili, gdy ktoś pyta?
• Trening AI — czy to może być użyte do trenowania lub dostrajania modelu?

Strona może na przykład pozostać w pełni widoczna w wyszukiwarce i cytowalna w odpowiedziach silników AI, jednocześnie deklarując, że trening nie wchodzi w zakres tej zgody — pozycja wcześniej niemożliwa do wyrażenia w robots.txt w ogóle. Te trzy pytania są niezależne; strona może odpowiedzieć na dowolną ich kombinację.

Dlaczego „zadeklaruj" jest właściwym słowem

To jest część warta precyzji, bo złe słowo tworzy tu złe oczekiwanie.

robots.txt — z tym dodatkiem czy bez niego — ma charakter doradczy. Nic w dodaniu deklaracji praw obok linii Allow: / tego nie zmienia. Crawler, który dziś ignoruje Disallow, mechanicznie zignoruje i to; nie ma nowej bramki technicznej, nowego kodu 403, nowej warstwy egzekwowania. Jeśli chcesz, żeby crawler nie mógł pobrać strony, to nadal jest zadanie dla Disallow — i nadal działa tylko wobec crawlerów, które decydują się przeczytać ten plik.

Co więc deklaracja faktycznie zmienia, skoro nie dostęp? Zmienia prawny punkt wyjścia — a to nie jest mniejsza sprawa, to zupełnie inny mechanizm.

Kotwica prawna: unijny opt-out, wyrażony w pliku, który crawler potrafi odczytać

Artykuł 4 unijnej dyrektywy o prawie autorskim na jednolitym rynku cyfrowym (Dyrektywa (UE) 2019/790) tworzy szeroki wyjątek: eksploracja tekstów i danych — czyli odczyt na dużą skalę, taki jak trenowanie modelu — jest domyślnie dozwolona, bez potrzeby osobnej zgody każdego uprawnionego.

Artykuł 4 ust. 3 to warunek tego domyślnego stanu: wyjątek stosuje się tylko wtedy, gdy uprawniony nie zastrzegł wyraźnie swoich praw „w sposób odpowiedni" — a dyrektywa wskazuje środki nadające się do odczytu maszynowego jako właśnie taki odpowiedni sposób dla treści publikowanych online. Zastrzeż prawa w ten sposób, a wyjątek przestaje obejmować użycie, na które się nie zgodziłeś; podmiot, który mimo to eksploruje twoje treści do trenowania, wraca do sytuacji, w której potrzebuje faktycznej licencji — tak samo jak w przypadku każdego innego utworu chronionego prawem autorskim.

Właśnie to robi deklaracja praw w robots.txt, prawnie rzecz biorąc: to jest maszynowo czytelne zastrzeżenie, o którym mówi art. 4 ust. 3, umieszczone w jedynym miejscu, gdzie operator crawlera nie ma wymówki, że go nie przeczytał. Nie przywołuje bota egzekwującego. Usuwa prawny punkt wyjścia, który wcześniej działał na korzyść crawlera. „Zadeklaruj", nie „zablokuj", to po prostu to, czym ten mechanizm jest.

Dwa uczciwe ograniczenia, wypowiedziane wprost:

• To prawo unijne. Artykuł 4 ust. 3 to mechanizm zastrzeżenia na gruncie unijnego prawa autorskiego. Obejmuje działania objęte unijnym prawem autorskim; nie jest uniwersalnym, wszędzie egzekwowalnym przełącznikiem.
• Nic w prawnym zastrzeżeniu nie czyni crawlera technicznie niezdolnym do jego zignorowania. Odpowiedzialny operator crawlera czyta i respektuje deklarację, bo postąpienie inaczej niesie ekspozycję prawną na gruncie art. 4 ust. 3 — tak samo, jak odpowiedzialny operator crawlera już dziś czyta i w większości respektuje Disallow, z mieszanki prawa, reputacji i motywacji jakości indeksu, a nie dlatego, że robots.txt może fizycznie zatrzymać żądanie.

Jak ta sama deklaracja wygląda w llms.txt

Strony publikujące llms.txt — plik w prostym języku, który niektóre strony oferują specjalnie dla systemów AI, osobny od robots.txt — mogą powtórzyć tę samą deklarację tam, prozą, tak żeby brzmiała spójnie niezależnie od tego, który plik system sprawdzi jako pierwszy. Warto jasno powiedzieć, czym llms.txt nie jest: to pomoc w odkrywaniu treści, nie mechanizm widoczności. Opublikowanie go nie podnosi pozycji w odpowiedzi AI ani nie gwarantuje, że ktokolwiek go w ogóle przeczyta; oznacza tylko, że jeśli coś odczyta twoją stronę, znajdzie tam czytelny plik mówiący to samo, co twój robots.txt.

Czym to nie jest

• Nie narzędzie do usuwania treści wstecz. Nie wpływa retroaktywnie na nic, co już posłużyło do trenowania istniejącego modelu. To deklaracja skierowana w przyszłość, dotycząca przyszłego crawlowania.
• Nie egzekwowanie. Nic w opublikowaniu deklaracji nie powoduje odrzucenia żądania. Jeśli celem jest zablokowanie konkretnych crawlerów, to osobna decyzja Allow/Disallow, podejmowana niezależnie.
• Nie mechanizm monetyzacji sam w sobie. Deklaracja praw mówi, co jest dozwolone, nie ile to kosztuje. Warunki licencyjne — jeśli strona chce je dołączyć — to osobna, opcjonalna warstwa, do której strona może wskazać z tego samego pliku; deklaracja sama z siebie nie wymyśla cennika.
• Nie gwarancja, że dowolny crawler ją respektuje. Zmienia prawny punkt wyjścia na gruncie prawa unijnego. To, czy konkretny operator crawlera się dostosuje, jest — podobnie jak w przypadku robots.txt w ogóle — kwestią postępowania tego operatora.

W praktyce

W HumanKey ta sama deklaracja odpowiadająca na trzy pytania to jeden element panelu, generowany wprost do robots.txt i llms.txt, które tworzymy dla podłączonej strony — punktem wyjścia jest widoczność-i-cytowalność-bez-treningu, a poszerzenie lub zawężenie tego zakresu to zmiana jednej linii. Sens napisania tego wpisu nie polegał jednak na przedstawieniu tego elementu; polega na tym, że sam mechanizm — unijne zastrzeżenie prawne wyrażone w pliku, który crawlery już czytają — jest wart zrozumienia niezależnie od tego, jak dana strona zdecyduje się go opublikować.

Odnośniki referencyjne

• Dyrektywa (UE) 2019/790, art. 4 — wyjątek dotyczący eksploracji tekstów i danych oraz mechanizm zastrzeżenia praw uprawnionego (ust. 3, środki nadające się do odczytu maszynowego)
• RFC 9309 — Robots Exclusion Protocol, definiujący sam robots.txt jako doradcze wytyczne dla automatycznych klientów

---

HumanKey to oparta na UE, natywnie zgodna z RODO platforma analityczna dla wydawców i serwisów e-commerce. Ten wpis wyjaśnia mechanizm prawny istotny dla crawlowania przez AI i nie stanowi porady prawnej — jeśli strategia zastrzegania praw ma znaczenie dla twojego biznesu, skonsultuj się z prawnikiem, który doradzi w twojej konkretnej sytuacji.

Jeśli chcesz zobaczyć, które crawlery AI faktycznie odczytują twoją stronę, zanim zdecydujesz, co zadeklarować, nasz bezpłatny raport crawlerów AI pokazuje to w kilka minut.