「SEO/robots.txt」の版間の差分
提供: 初心者エンジニアの簡易メモ
(→ウェブ魚拓を拒否) |
|||
| 行19: | 行19: | ||
==ウェブ魚拓を拒否== | ==ウェブ魚拓を拒否== | ||
| − | User-agent: Megalodon | + | User-agent: Megalodon |
| − | Disallow: / | + | Disallow: / |
2015年9月19日 (土) 11:12時点における版
robots.txtの書き方
画像検索ボットの排除
User-agent: Googlebot-Image Disallow: / User-agent: Yahoo-MMCrawler Disallow: / User-agent: * Allow: /
サイトマップ登録
User-agent: * Sitemap: http://example.com/sitemap.xml Allow: / Disallow: /js/ Disallow: /api/
ウェブ魚拓を拒否
User-agent: Megalodon Disallow: /
