「SEO/robots.txt」の版間の差分
提供: 初心者エンジニアの簡易メモ
(ページの作成:「=robots.txtの書き方= ==画像検索ボットの排除== User-agent: Googlebot-Image Disallow: / User-agent: Yahoo-MMCrawler Disallow: / User-agent: * Allow...」) |
(相違点なし)
|
2015年5月20日 (水) 02:58時点における版
robots.txtの書き方
画像検索ボットの排除
User-agent: Googlebot-Image Disallow: / User-agent: Yahoo-MMCrawler Disallow: / User-agent: * Allow: /
サイトマップ登録
User-agent: * Sitemap: http://example.com/sitemap.xml Allow: / Disallow: /js/ Disallow: /api/
