#crawlers

Slik skriver du en robots.txt som faktisk blokkerer KI-skrapere

robots.txt kan blokkere mange KI-crawlere, men bare når den er skrevet presist – og bare for roboter som velger å følge den.