facebook twitter hatena line email

「SEO/robots.txt」の版間の差分

提供: 初心者エンジニアの簡易メモ
移動: 案内検索
(ページの作成:「=robots.txtの書き方= ==画像検索ボットの排除== User-agent: Googlebot-Image Disallow: / User-agent: Yahoo-MMCrawler Disallow: / User-agent: * Allow...」)
 
行17: 行17:
 
  Disallow: /js/
 
  Disallow: /js/
 
  Disallow: /api/
 
  Disallow: /api/
 +
 +
==ウェブ魚拓を拒否==
 +
User-agent: Megalodon
 +
Disallow: /

2015年9月19日 (土) 11:11時点における版

robots.txtの書き方

画像検索ボットの排除

User-agent: Googlebot-Image
Disallow: /

User-agent: Yahoo-MMCrawler
Disallow: /

User-agent: *
Allow: /

サイトマップ登録

User-agent: *
Sitemap: http://example.com/sitemap.xml
Allow: /
Disallow: /js/
Disallow: /api/

ウェブ魚拓を拒否

User-agent: Megalodon Disallow: /