07/09/16 16:42:11
Baiduspiderがやってきた。
robots.txtを読んだようだが、全然理解してない。
User-agent: *のセクションは無視するのかな・・・
2chのdatログとそれらをHTML化したものを置いている。
datはrobots.txtでDisallowしてあるんだが、Baiduspiderはこれを
無視なさる。
datをクロールしても無駄だと思うけどね～・・・ご勝手にどうぞ。
07/09/16 16:42:11
Baiduspiderがやってきた。
robots.txtを読んだようだが、全然理解してない。
User-agent: *のセクションは無視するのかな・・・
2chのdatログとそれらをHTML化したものを置いている。
datはrobots.txtでDisallowしてあるんだが、Baiduspiderはこれを
無視なさる。
datをクロールしても無駄だと思うけどね～・・・ご勝手にどうぞ。