SEO & Discoverability
Як написати robots.txt, який справді блокує AI-скрейперів
robots.txt може блокувати багато AI-краулерів, але лише якщо його написано точно — і лише для ботів, які вирішують його дотримуватися.
2 хв читання