blog.hekt.org

robots.txt を書き換え

自分であとから参照するためにメモ。Google が wp-feed.php をうまく読み取ってくれなくなっていたのを Google Webmaster Tools で確認したので、代わりに今までクロールを拒否していた /feed/ を読ませるための変更。

User-agent: *
Disallow: /?
Disallow: /page/
Disallow: /archives/date/
Disallow: /archives/category/
Disallow: /archives/*/feed/
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /wp-login.php
Allow: /feed/$

$ は末尾を意味する。つまり、最後の行は /feed/ のみを許可し、 /feed/ 以下(/feed/atom とか)は Disallow: /feed/ により非許可。)

ついでに、いくつかの URL がクロール対象から外れていたようなので、これまでのすべてのエントリーの URL を記録した sitemap.txt も作成し、 Webmaster Tools で送信。こういう地味な変更もしっかりとメモしておかないと、あとから差し戻したりしたときに混乱するのです。

どうでもいい話ですが、これまでのエントリーの数は約300で、このエントリーのナンバーは595です。エントリーには草稿段階からナンバーが与えられるので、半分近くものエントリーがお蔵入りしていることになります。どうしようもない文章とかはけっこう自重してるんですよ、これでも。