#crawlers

Så skriver du en robots.txt som faktiskt blockerar AI-skrapare

robots.txt kan blockera många AI-crawlers, men bara när den är exakt skriven – och bara för botar som väljer att följa den.