FeedのURIまで拾われていたので、robots.txtにさらに追加。

Disallow: /feed/
Disallow: /comments/feed/

robots.txtでは一度全部DisallowしてからいくつかをAllowする、みたいな書き方も出来るみたいなんですけど、Google以外のロボットだとどう解釈してくれるか分からないので怖い。

以下はGoogleのウェブマスターツールで確認したところ狙いどおりの動作をしてくれました。

User-agent: *             //全てのロボットを対象に
Disallow: *               //全て非許可
Allow: /$                 //トップディレクトリを許可
Allow: /archives          //archivesディレクトリを許可
Allow: /about             //Aboutページを許可
Allow: /archive           //Archiveページを許可
Allow: /bookmark          //Bookmarkページを許可
Disallow: /archives/*/*   //archivesディレクトリより下のディレクトリを非許可

こうして書いてみると今のrobots.txtより行数が増えてますが、ページを増やさない限り書き足す必要がないので、こっちの書き方のほうがいいかも。