facebook twitter hatena line google mixi email

「SEO/robots.txt」の版間の差分

提供: 初心者エンジニアの簡易メモ
移動: 案内検索
(ウェブ魚拓を拒否)
(ウェブ魚拓を拒否)
行21: 行21:
 
  User-agent: Megalodon
 
  User-agent: Megalodon
 
  Disallow: /
 
  Disallow: /
 +
 +
==不要bot排除==
 +
<pre>
 +
User-agent: MJ12bot
 +
Disallow: /
 +
 +
User-agent: AhrefsBot
 +
Disallow: /
 +
 +
User-agent: BLEXBot
 +
Disallow: /
 +
 +
User-agent: Yandex
 +
Disallow: /
 +
 +
User-agent: baiduspider
 +
Disallow: /
 +
 +
User-agent: SemrushBot
 +
Disallow: /
 +
</pre>

2019年2月6日 (水) 01:14時点における版

robots.txtの書き方

画像検索ボットの排除

User-agent: Googlebot-Image
Disallow: /

User-agent: Yahoo-MMCrawler
Disallow: /

User-agent: *
Allow: /

サイトマップ登録

User-agent: *
Sitemap: http://example.com/sitemap.xml
Allow: /
Disallow: /js/
Disallow: /api/

ウェブ魚拓を拒否

User-agent: Megalodon
Disallow: /

不要bot排除

User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: Yandex
Disallow: /

User-agent: baiduspider
Disallow: /

User-agent: SemrushBot
Disallow: /