http://example.com/piyo/
http://example.com/hoge/
見たいなディレクトリがあって、piyoは全部の検索エンジンでインデックスされたくない。
hogeは、ペナルティを食らったとか何かで、特定の検索エンジンだけのインデックスを弾きたいっていうとき。
User-Agent: Googlebot
Disallow: /hoge/
User-Agent: *
Disallow: /piyo/という感じに書いていたけど、この状態でWebマスターツールから削除要請だしても全然要請が通らない・・・
というか、ちゃんとログ見てみて、上の書き方だとどうもrobots.txtがちゃんと効いてないような感じだったので・・・
User-Agent: Googlebot
Disallow: /hoge/
Disallow: /piyo/
User-Agent: *
Disallow: /piyo/のような感じに修正。
User-Agentで切り分けると、自分のUser-Agentの方だけ見るって事か
0 件のコメント:
コメントを投稿