Google Blogger 独自のrobots.txt 変更でラベルはインデックスされやすくなりますか

Google Blogger の管理画面に突如、「検索設定」という項目が現れていました。

中身をみてみると・・・

メタタグ－説明：meta description が書き込めるらしい
エラーとリダイレクト：ページが見つかりません404エラーを回避できるらしい
クローラとインデックス：robots.txtが編集できるらしい

Google Bloggerのrobots.txtでは、/search ディレクトリが初期値で disallow に設定されている。これを編集して /search ディレクトリも allow にできるということでしょうか。
チャレンジャーなので、このブログの Robots.txt を編集してみました。

Blogger Robots.txt 編集の主旨とは

検索してみると Google のヘルプに「独自の robots.txt」という項目がアップされたのは、2012年3月29日、英語版のヘルプには同3月22日だから最近の話。

ヘルプを読んで見ると、このrobots.txt編集を可能にしたのは「クローラによるアクセスを許可させる（allow）というよりも許可させない（disallow）」ことが主旨のようです。

前述の通り、Google Blogger 初期値のrobots.txt は何故か /search が検索されないように設定されているので、構造的には下位にある /search/label ディレクトリがインデックスされにくくなっているのかもしれない。

FC2 や Seesaa などの無料ブログサービスでは、タグ（Google Blogger のラベル相当）がすぐにインデックスされて、エントリー記事よりもタグが先にインデックスされたり、タグのほうが検索の上位にいたりすることも。もちろん、ブログサービスを提供するプロバイダのポータル的な意味合いでタグのほうがぶら下がっている記事数が圧倒的に多い、だからインデックスされやすいという事情もあると思いますが。

いずれにしても、インデックスされているタグが検索にヒットしてブログに訪問していただけるというケースもあるわけです。

Blogger のラベルはちゃんとインデックスされている

Robots.txt で /search ディレクトリが disallow となっているからといって、Google Blogger のラベルがインデックスされていないかというと、インデックスされています。このブログのラベルもひとつひとつ確認してみましたが、全てインデックスされている。なので、robots.txt で /search を allow にする、というか disallow の該当行を削除してしまうことに意味があるかどうかは、まったくもって不明です。

あまり意味はないと思われますし、やもするとインデックスからこのブログが全てぶっ飛ぶという危険はありますが、やっちゃいました。robots.txtの変更。
男の子であります。

Blogger の Robots.txt 編集作業

さて下記がBloggerデフォルトの robots.txt

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.blogger-customize-tips.com/feeds/posts/default?orderby=updated

改めて見てみると可哀想に178ページもインデックスしないようになっています。
ここから赤い文字の部分、ラベルをクロールしない行を削除して、そのまま設定に貼り付けときました。

いまのところ、前回クローラが巡回したのは16時間前で、robots.txt を更新してからは来ていないので結果待ちです。

暫くすれば結果がでると思いますし、ブロガーの皆さんからの情報が集まってくるはずですので、良い子の皆さんはまだ真似をしなほうがよろしいかと思います。

この実験によりインデックスが消滅し検索エンジンから存在が消える前に、ブックマークもしくはFeedのリーダー追加をおすすめしますLOL