14/04/29 19:28:07.71 c/OAB3Tm0
アイスランドに来てた majestic12.co.uk クローラについて調べた。
・「@SETI あたりを応用した分散検索」をやろうとしててクローラを配布してる
・細かい設定が可能なので、行儀の悪いクロールも可能
・が、特定の鯖に対してのクロールはできない模様（gLTD 単位でしか設定できない）。
未開の .name を集中的にクロールしようとしたオイタさん、という感じにしか思えなかった。
誰か異論ある人は意見求む。
14/04/29 19:28:07.71 c/OAB3Tm0
アイスランドに来てた majestic12.co.uk クローラについて調べた。
・「@SETI あたりを応用した分散検索」をやろうとしててクローラを配布してる
・細かい設定が可能なので、行儀の悪いクロールも可能
・が、特定の鯖に対してのクロールはできない模様（gLTD 単位でしか設定できない）。
未開の .name を集中的にクロールしようとしたオイタさん、という感じにしか思えなかった。
誰か異論ある人は意見求む。