#crawlers

如何撰寫真正能封鎖 AI 擷取器的 robots.txt

robots.txt 可以封鎖許多 AI 爬蟲，但前提是寫法必須精確，而且只對選擇遵守規則的 bot 有效。