robots.txtの書き方
画像検索ボットの排除
User-agent: Googlebot-Image
Disallow: /
User-agent: Yahoo-MMCrawler
Disallow: /
User-agent: *
Allow: /
サイトマップ登録
User-agent: *
Sitemap: http://example.com/sitemap.xml
Allow: /
Disallow: /js/
Disallow: /api/
ウェブ魚拓を拒否
User-agent: Megalodon
Disallow: /
不要bot排除
User-agent: MJ12bot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: Yandex
Disallow: /
User-agent: baiduspider
Disallow: /
User-agent: SemrushBot
Disallow: /
参考：https://oxynotes.com/?p=9056