「SEO/robots.txt」の版間の差分
ナビゲーションに移動
検索に移動
| 21行目: | 21行目: | ||
User-agent: Megalodon | User-agent: Megalodon | ||
Disallow: / | Disallow: / | ||
==不要bot排除== | |||
<pre> | |||
User-agent: MJ12bot | |||
Disallow: / | |||
User-agent: AhrefsBot | |||
Disallow: / | |||
User-agent: BLEXBot | |||
Disallow: / | |||
User-agent: Yandex | |||
Disallow: / | |||
User-agent: baiduspider | |||
Disallow: / | |||
User-agent: SemrushBot | |||
Disallow: / | |||
</pre> | |||
2019年2月5日 (火) 16:14時点における版
robots.txtの書き方
画像検索ボットの排除
User-agent: Googlebot-Image Disallow: / User-agent: Yahoo-MMCrawler Disallow: / User-agent: * Allow: /
サイトマップ登録
User-agent: * Sitemap: http://example.com/sitemap.xml Allow: / Disallow: /js/ Disallow: /api/
ウェブ魚拓を拒否
User-agent: Megalodon Disallow: /
不要bot排除
User-agent: MJ12bot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: BLEXBot Disallow: / User-agent: Yandex Disallow: / User-agent: baiduspider Disallow: / User-agent: SemrushBot Disallow: /