#crawlers

Как да напишете robots.txt, който наистина блокира AI скрейпъри

robots.txt може да блокира много AI crawler-и, но само когато е написан прецизно — и само за ботове, които избират да го спазват.