#crawlers

AIスクレイパーを実際にブロックするrobots.txtの書き方

robots.txtは多くのAIクローラーをブロックできます。ただし、正確に書かれており、かつ従うことを選ぶボットに対してのみ有効です。