「SEO/robots.txt」の版間の差分
提供: 初心者エンジニアの簡易メモ
(ページの作成:「=robots.txtの書き方= ==画像検索ボットの排除== User-agent: Googlebot-Image Disallow: / User-agent: Yahoo-MMCrawler Disallow: / User-agent: * Allow...」) |
(→不要bot排除) |
||
| (同じ利用者による、間の3版が非表示) | |||
| 行17: | 行17: | ||
Disallow: /js/ | Disallow: /js/ | ||
Disallow: /api/ | Disallow: /api/ | ||
| + | |||
| + | ==ウェブ魚拓を拒否== | ||
| + | User-agent: Megalodon | ||
| + | Disallow: / | ||
| + | |||
| + | ==不要bot排除== | ||
| + | <pre> | ||
| + | User-agent: MJ12bot | ||
| + | Disallow: / | ||
| + | |||
| + | User-agent: AhrefsBot | ||
| + | Disallow: / | ||
| + | |||
| + | User-agent: BLEXBot | ||
| + | Disallow: / | ||
| + | |||
| + | User-agent: Yandex | ||
| + | Disallow: / | ||
| + | |||
| + | User-agent: baiduspider | ||
| + | Disallow: / | ||
| + | |||
| + | User-agent: SemrushBot | ||
| + | Disallow: / | ||
| + | </pre> | ||
| + | |||
| + | 参考：https://oxynotes.com/?p=9056 | ||
2019年2月6日 (水) 01:14時点における版
robots.txtの書き方
画像検索ボットの排除
User-agent: Googlebot-Image Disallow: / User-agent: Yahoo-MMCrawler Disallow: / User-agent: * Allow: /
サイトマップ登録
User-agent: * Sitemap: http://example.com/sitemap.xml Allow: / Disallow: /js/ Disallow: /api/
ウェブ魚拓を拒否
User-agent: Megalodon Disallow: /
不要bot排除
User-agent: MJ12bot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: BLEXBot Disallow: / User-agent: Yandex Disallow: / User-agent: baiduspider Disallow: / User-agent: SemrushBot Disallow: /
