crawlery-airobots-txtlicencjonowanie
RSL: druga linia w robots.txt, wskazująca na dokument, który sam hostujesz
Nowa dyrektywa w robots.txt pozwala wskazać crawlerom dokument z warunkami licencyjnymi zamiast samej reguły allow/deny. Wyjaśniamy, co dokładnie robi, czym różni się od deklaracji praw — i szczerze mówiąc, czy jakikolwiek crawler AI już z niej korzysta.
Rob, CEO & Founder