#crawlers

Jak napsat robots.txt, který skutečně blokuje AI scrapery

robots.txt dokáže zablokovat mnoho AI crawlerů, ale jen když je napsaný přesně — a jen u botů, kteří se rozhodnou ho respektovat.