[クローラー]ロボット対策スレ[robots.txt]

[クローラー]ロボット対策スレ[robots.txt]at MYSV

[クローラー]ロボット対策スレ[robots.txt] - 暇つぶし2ch27:DNS未登録さん
03/03/12 12:15 .net
読まれたくないってんじゃなくて
CGIの出力とかクロールしてもしょうがないものをやめさせて
鯖の負担を軽くするもんじゃないの?