[クローラー]ロボット対策スレ[robots.txt]at MYSV
[クローラー]ロボット対策スレ[robots.txt] - 暇つぶし2ch116:DNS未登録さん
09/08/24 18:11:05 .net
とんだ先にアフィ貼るとかそういう落ちに期待したい(^◇^;

117:DNS未登録さん
10/09/27 10:57:04 9hieuaLl.net
robots.txtって、クローラはどこかのページにアクセスする際、
必ず見に来るものなのかな?

118:DNS未登録さん
10/09/28 02:34:40 .net
お行儀が良いクローラならね。
見る義務は無いし、見ても記述内容に従う義務は無い。

119:DNS未登録さん
10/11/01 13:26:41 .net
アクセスログを見ると、グーグルさんはちゃんとrobots.txtを見てくれてる

120:DNS未登録さん
11/01/24 23:43:10 .net
66.249.69.91 googlebotのIPらしいけど、
sshの辞書攻撃を毎日してくる。

121:DNS未登録さん
11/01/27 00:36:41 .net
なにそれ怖い

122:DNS未登録さん
11/01/29 23:13:36 .net
クレーム入れてみてくれ。

123:DNS未登録さん
11/01/30 11:49:53 .net
IP偽装してるだけだろ

124:DNS未登録さん
11/02/01 20:30:40 .net
どうやって偽装するんだ?

125:DNS未登録さん
11/03/13 08:04:32.30 .net
>>124
IPヘッダ書き換えりゃ偽装自体は出来る。
でもIPパケット送りつける事しか出来ない。

126:DNS未登録さん
11/10/16 02:11:24.30 .net
Ajaxばりばりのサイトでも突破できるクローラーってありますか?

127:126
11/10/16 13:33:18.84 .net
かんたんなDHTMLはいけても、
さすがに、GoogleMapも自動でリンクたどるとか無理ですよね?


128:DNS未登録さん
11/12/20 14:10:31.57 .net
yahooの検索結果に表示されては困る、でもgoogleやその他にはむしろガンガン表示して欲しいんだが、
そんな指定metaタグでできる?
無理ならブラウザ拡張のアドオンでもいいんだが。
教えてください。

129:DNS未登録さん
11/12/20 15:14:30.76 .net
今yahooの検索エンジンってgoogleのやつを使ってるんじゃなかった?

130:DNS未登録さん
11/12/20 17:10:58.19 .net
そこが問題なんだよなー。
なんかいい方法ないかな。
アドオン探してもgoogleのは見つかるが、yahooで検索結果から除外できるようなアドオンは無いみたいだし。

131:DNS未登録さん
12/02/20 20:02:21.28 .net
八巻正治さんについて思うこと。
いつもは宗教心あふれる教師面して"福祉とはかくあるべき"と講釈たれてるのに、
自分の気に食わないことを言われると個人的な感情全開にして、己の懐の狭さが露見するよね。

八巻正治さんは、他人には潔さを求めるのに、自身の発言には一切の責任を取らない。
これ程まで薄っぺらい人間を、他には知らない。
ニューポート大学大学院博士だけのことはあるね。

132:電脳プリオン 忍法帖【Lv=40,xxxPT】(1+0:8) 【21.4m】
13/08/31 NY:AN:NY.AN .net ?PLT(12080)
  ∧_∧
  ( ・∀・)            人 ガッ
  (    つ―-‐-‐-‐-‐-‐○ <  >__Λ∩
  人 Y ノ.             V`Д´)/
  し(_)                  /  ←>>59

133:DNS未登録さん
17/02/03 12:44:05.83 UpAhIUM+.net
yandexに本気で殺意を覚えた
どこから来やがった氏ね

134:DNS未登録さん
17/08/24 08:24:43.19 CVAFOrrA.net
最近,Baiduクローラーからのアクセスが来るよになったのでIPが変わったのかと思って,
確認したら変わっていない。
Apacheでアクセス拒否にしているのに…
で,しょうがないので上流のファイヤーウォールでアクセス拒否にしても何故かやってくる…
これは一体どういうことだw
送信元を詐称して,詐称先にパケットを返しているのかな?
謎挙動なんだがw

135:DNS未登録さん
23/02/09 13:11:35.96 .net
…-y(  ̄д ̄).。o○

136:DNS未登録さん
23/08/01 17:41:51.18 d5qrPU9fC
また岸田異次元増税憲法ガン無視地球破壞軍國主義文雄か゛今度は中東にまでノコノコ莫大な温室効果カ゛スまき散らしなか゛ら世界中にハ゛力晒して
しかもと゛の囗で脱炭素た゛のとほざいてやがんた゛か,力による一方的な現状変更によって都心まて゛数珠つなぎで鉄道のЗ0倍以上もの莫大な温室
効果ガスまき散らすクソ航空機倍増させて氣侯変動させて世界中て゛土砂崩れに洪水,暴風.猛暑、干は゛つにと災害連發させて核攻撃の何倍もの
人的物的被害を与えてるクソテ囗リス├か゛囗シア非難とか笑わせんのもいい加減にしとけや.気侯変動による世界の難民の数は1億人を超えて
いるわけだが.日本て゛も洪水やクソ航空騒音によって住む場所を追われる被害者だらけ.豪雨やら灼熱地獄によって被害を受けた連中は被災者
ではなく、テロ政府による人為的なテ口によって破壊され殺されたんた゛といい加減理解して立ち上がれよな,被災者支援た゛のと白々しい増税と
利権のネタにされて生命と財産を奪われるマソ゛体質マシ゛キモチワ儿ヰぞ,プ一チンや金正恩は.このデタラメシ゛ェ丿サイト゛プ□パガンダテロ
國家の本質を追求して正当性をアピ-儿すれは゛、世界的な悪者は曰本に原爆落とした世界最悪のならず者國家とその-味た゛と八ッキリするだろ

創価学會員は,何百万人も殺傷して損害を与えて私腹を肥やし続けて逮捕者まて゛出てる世界最悪の殺人腐敗組織公明党を
池田センセ‐が□をきけて容認するとか本気で思ってるとしたら侮辱にもほと゛か゛あるぞ!
hΤтРs://i、imgur,сom/hnli1ga.jpeg


最新レス表示
レスジャンプ
類似スレ一覧
スレッドの検索
話題のニュース
おまかせリスト
オプション
しおりを挟む
スレッドに書込
スレッドの一覧
暇つぶし2ch