SEO & Discoverability
Slik skriver du en robots.txt som faktisk blokkerer KI-skrapere
robots.txt kan blokkere mange KI-crawlere, men bare når den er skrevet presist – og bare for roboter som velger å følge den.
9 min lesing