Baiduspider

久々にapacheのアクセスログをあれこれ眺めてたら、百度のクローラがやってきてるのに気づいた。百度からのアクセスはpfで一律に落としてたはずなのに、これはどうしたことかと思いきや、ネットワークブロックを新たに取ってたのね。

クローラの行儀を良くしますなんつってるけど、頻度が下がっただけ。しかも、うちではBaiduspilderに対して403返してるっつーのに、懲りる事なく数分おきにやってきてやがる。RFCくらい読めっつの。

というわけで、pfに喰わせるブロックアドレスに、122.152.140.0/23を追加。

122.152.128.0/23        # BAIDU-NRT-NETBLK01
122.152.140.0/23        # BAIDU-NRT-NETBLK02

BAIDU-NRT-NETBLK03はまだ無いみたいだけど、また増えるんだろうな。