「SEO/robots.txt」の版間の差分
ナビゲーションに移動
検索に移動
ページの作成:「=robots.txtの書き方= ==画像検索ボットの排除== User-agent: Googlebot-Image Disallow: / User-agent: Yahoo-MMCrawler Disallow: / User-agent: * Allow...」 |
編集の要約なし |
||
| 17行目: | 17行目: | ||
Disallow: /js/ | Disallow: /js/ | ||
Disallow: /api/ | Disallow: /api/ | ||
==ウェブ魚拓を拒否== | |||
User-agent: Megalodon | |||
Disallow: / | |||
2015年9月19日 (土) 02:11時点における版
robots.txtの書き方
画像検索ボットの排除
User-agent: Googlebot-Image Disallow: / User-agent: Yahoo-MMCrawler Disallow: / User-agent: * Allow: /
サイトマップ登録
User-agent: * Sitemap: http://example.com/sitemap.xml Allow: / Disallow: /js/ Disallow: /api/
ウェブ魚拓を拒否
User-agent: Megalodon Disallow: /