Googleカスタム検索が言うこと聞かなくて困る

cgiで作っているページがロボット拒否してるわけでもないのにどうもインデックス化されない。

昔のcgiでつくったページは登録されっぱなしなのにな。

こっちが消えて欲しいんだけど。

インデックス化されない理由って簡単に調べられないのかな。