頻繁に内容が変わるディレクトリをクロールから除外してみました。

User-agent: *
Disallow: /page/
Disallow: /archives/date/
Disallow: /archives/category/

月が代われば内容の変更はほとんどないであろう”/archives/date/”（月別アーカイブ）をどうするか少し悩みましたが、個別で表示してくれれば問題ないのでDisallow.

一時的に検索エンジンからのアクセスは減るだろうけど、記事単独のページが検索結果に反映されるようになればそれでいい。というか、せっかく恒久URIを生成しているのに、記事単独のページってあんまりヒットしないんですよね。一応クロールはされているみたいですが、もしかしたら月別やカテゴリ別のアーカイブと同一ページとみなされているのかもしれません。そうだとしたら、それらを除いたことでより質の高いアクセスを得られるかも。

そういえば、一度まっさらにしてから記事のURIを引数がつかないかたちにしたのですが、Yahoo!Japanでは未だに引数付きのURIが上位に表示されてしまいます。http://www.hect.org ではありませんか？だなんて余計な世話を焼いてないで、早く生きたURIを掲載してくださいよ。