SEO/robots.txt

robots.txtの書き方

画像検索ボットの排除

User-agent: Googlebot-Image
Disallow: /

User-agent: Yahoo-MMCrawler
Disallow: /

User-agent: *
Allow: /

サイトマップ登録

User-agent: *
Sitemap: http://example.com/sitemap.xml
Allow: /
Disallow: /js/
Disallow: /api/

ウェブ魚拓を拒否

User-agent: Megalodon
Disallow: /