10/07/10 01:30:35 0
>>788
昔は糞のようなスパムクロールを飛ばして来たが、今はさすがに大陸系サーチエンジンBOTも1秒間に数件のリクエストを送っては来ないので、
UA詐称か何かでは。
そもそもrobots.txtは相手の自主規制を期待してのものだから、
IPアドレスやらで判断し、DBアクセスを行うスクリプトの実行を行わないという対応の方が現実的。
10/07/10 01:30:35 0
>>788
昔は糞のようなスパムクロールを飛ばして来たが、今はさすがに大陸系サーチエンジンBOTも1秒間に数件のリクエストを送っては来ないので、
UA詐称か何かでは。
そもそもrobots.txtは相手の自主規制を期待してのものだから、
IPアドレスやらで判断し、DBアクセスを行うスクリプトの実行を行わないという対応の方が現実的。