もう気づけば12月。月日の経つのは早いものだ。
サーバ管理者たるもの、日々サーバー達のモニタリングが大事。
たとえ台数が少なくても、何かあってトラブってからでは遅いのです。
朝起きて眠い目を擦りながら監視画面を見ていると、1台のwebサーバーのトラフィックが激増していることが判明。
netstatを掛けると、211.14.8.240から80番ポートにかなりの数のアクセスがされている。
で、そのIPをlookupしてみると…
yahoo.co.jp なんですけど?
さらにwebログをチェックしていると
Y!J-BSCって何よ? と思い、書かれているアドレスに行ってみると
しかもこのクローラー、同じURLに2度アクセスしてくる。それもトラフィックが増えている原因になっているのだ。
しかし、こいつのせいでトラフィックが激増していることも事実。
「メンテナンスなどの目的」っていうところが気になるけど、サーバー落ちても困るので、上記IPからのアクセスを拒否することにした。
ふつうの行儀悪いクローラーなら、いくつか403が返されると速攻アクセスを停止させるのだが
Y!J-BSC は何度もしつこくアクセスしてくるんですけど?
もしかしてインデックスのチェックとかしているんだろうか?
その結果、検索結果から除外されたりするんだろうか?
でも、あんたアタック掛けすぎなんですけど?
最初に確認してからそろそろ20分ぐらい経ちますが、いまだアクセスが止まりません。
とりあえず、トラフィック減ったからまぁいいか…
#ネットで調べても、このクローラーを取り上げているサイトはほとんどない様子。
#やっぱり有名じゃないのかな?
サーバ管理者たるもの、日々サーバー達のモニタリングが大事。
たとえ台数が少なくても、何かあってトラブってからでは遅いのです。
朝起きて眠い目を擦りながら監視画面を見ていると、1台のwebサーバーのトラフィックが激増していることが判明。
netstatを掛けると、211.14.8.240から80番ポートにかなりの数のアクセスがされている。
で、そのIPをlookupしてみると…
yahoo.co.jp なんですけど?
さらにwebログをチェックしていると
211.14.8.240 - - [01/Dec/2005:xx:xx:xx +0900] "GET /xxx/xxx.html HTTP/1.1" 200 xxxxx "-" "Y!J-BSC/1.0(http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html)"というログが残っていた。
Y!J-BSCって何よ? と思い、書かれているアドレスに行ってみると
Yahoo! JAPANの検索エンジン用ロボットについてYahoo!のクローラーはyahoo.comから来るものと思っていたが、独自にクローラー持っているんだね。知らなかった。
(中略)
Yahoo! Inc.のインデックスクローラーのほかに、Yahoo! JAPANでは、研究・開発・メンテナンスなどの目的で、以下のような独自のクローラーを管理、運営しています。以下のクローラーの巡回を拒否したい場合は、ページ下部の[いいえ]ボタンを押して、お問い合わせフォームからご連絡ください。
Y!J-DSC
Y!J-BSC
しかもこのクローラー、同じURLに2度アクセスしてくる。それもトラフィックが増えている原因になっているのだ。
しかし、こいつのせいでトラフィックが激増していることも事実。
「メンテナンスなどの目的」っていうところが気になるけど、サーバー落ちても困るので、上記IPからのアクセスを拒否することにした。
ふつうの行儀悪いクローラーなら、いくつか403が返されると速攻アクセスを停止させるのだが
Y!J-BSC は何度もしつこくアクセスしてくるんですけど?
もしかしてインデックスのチェックとかしているんだろうか?
その結果、検索結果から除外されたりするんだろうか?
でも、あんたアタック掛けすぎなんですけど?
最初に確認してからそろそろ20分ぐらい経ちますが、いまだアクセスが止まりません。
とりあえず、トラフィック減ったからまぁいいか…
#ネットで調べても、このクローラーを取り上げているサイトはほとんどない様子。
#やっぱり有名じゃないのかな?