SEO/robots.txt

提供: 初心者エンジニアの簡易メモ

2015年5月20日 (水) 02:58時点における127.0.0.1 (トーク)による版 (ページの作成:「=robots.txtの書き方= ==画像検索ボットの排除== User-agent: Googlebot-Image Disallow: / User-agent: Yahoo-MMCrawler Disallow: / User-agent: * Allow...」)

(差分) ←前の版 | 最新版 (差分) | 次の版→ (差分)

移動: 案内、検索

robots.txtの書き方

画像検索ボットの排除

User-agent: Googlebot-Image
Disallow: /

User-agent: Yahoo-MMCrawler
Disallow: /

User-agent: *
Allow: /

サイトマップ登録

User-agent: *
Sitemap: http://example.com/sitemap.xml
Allow: /
Disallow: /js/
Disallow: /api/

「http://wiki.nonip.net/index.php?title=SEO/robots.txt&oldid=8」から取得