19/12/04 13:27:45.32 .net
>>785
自前でアーカイブ取るか？
鯖からのソース保存じゃなく、その瞬間ブラウザで表示してる状態で保存する自作のブックマークレットある
ブラウザでブックマークすれば保存できる
冒頭のjavascript:はブラウザによってはペーストしたときに自動で剥がれるので、剥がれてたら自分で付け直してブックマークすること
javascript:(()=>{'use strict';const c=new Date(),h=document.documentElement.cloneNode(true);
let n=h.querySelectorAll('[href]'),i=n.length-1;while(i>=0){n[i].href=new URL(n[i].href,location.href).href;i--;}n=h.querySelectorAll('[src]');i=n.length-1;while(i>=0){n[i].src=new URL(n[i].src,location.href).href;i--;}
const b=new Blob([new XMLSerializer().serializeToString(document.doctype)+h.outerHTML],{type:'text/html'});const a=document.createElement('a');
a.download=c.toUTCString()+
' - '+decodeURI(location.href).replace(/\*/g,'＊').replace(/\//g,'／').replace(/:/g,'：').replace(/:/g,'：').replace(/\\/g,'＼').replace(/\|/g,'│').substring(0,123)
+'.html';a.href=(URL||webkitURL).createObjectURL(b);a.click();})();
809:名無しさん＠お腹いっぱい。
19/12/04 13:41:01.27 .net
>>788
レスの一行制限で改行入れたけど、多分「"+"の前の改行」で動かんと思うから
改行消してやってくれ
改行全部取っても動くようにしてあるからそれでも良いが
810:名無しさん＠お腹いっぱい。
19/12/04 18:15:27.35 .net
最近のarchiveisはもう駄目だな
待ち時間長くなったうえに今日は巻き戻るから取得すらまともに行われない
811:名無しさん＠お腹いっぱい。
19/12/04 20:12:20.89 .net
昨日は魚拓経由でつかえたけど今日は何やってもだめだ
812:名無しさん＠お腹いっぱい。
19/12/04 20:29:10.85 .net
どうせまたシュポーツのはなしなんでしょう
813:名無しさん＠お腹いっぱい。
19/12/04 22:21:53.92 .net
いえいえシュポーチュでちゅよ
814:名無しさん＠お腹いっぱい。
19/12/04 23:06:06.88 .net
Archive.isやら何やらの話してる人はウェブ魚拓スレに行ってや
IAの話の中で他サービスの話題が出るのは分かるがこの場合はそうじゃないだろ
815:名無しさん＠お腹いっぱい。
19/12/04 23:25:27.70 .net
pixivって今アーカイブできない？
昔はできてた気がするけど
816:名無しさん＠お腹いっぱい。
19/12/05 01:05:02.52 .net
>>795
いくつかSPNに突っ込んで試してきた
保存完了の表示は出るけどWayback自体が不安定なせいか、アーカイブが表示できたり出来なかったりするんだよな
スクリーンショットの方はとりあえず取れてたから、おそらく普通のアーカイブの方も取れてるんじゃないかと思う
まとめると、おそらくアーカイブIA側が不安定だから
817:名無しさん＠お腹いっぱい。
19/12/05 01:07:00.25 .net
途中送信してしまった
まとめると、おそらくアーカイブは出来るがIA側が不安定なせいで上手く行ってないだけだと思われる
あとアーカイブ時に日本国外の回線からアクセスするので、英語版ページへリダイレクトされる点にも注意
818:名無しさん＠お腹いっぱい。
19/12/05 01:37:24 .net
>>796-797
なるほどサンクス
819:214
19/12/05 22:39:02.46 .net
ここでは、動画の内容に関する話は抜きで。
URLﾘﾝｸ(web.archive.org)
普通にアクセスを掛けても、どういう訳か 200 OK ではなく 206 Partial Content を返してくる。
当然、返してはいけない応答なので一般的なクライアントではダウンロードできない。
レスポンスヘッダを見ると
X-Archive-Orig-Content-Range: bytes 0-3091160/3091161
という行があるので、あるクライアントが Internet Archive に当該ファイルを
保存するよう要求したときに
Range: bytes=0-3091160
の指定が何故か付いてしまっていて、それがそのまま IA から video.twimg.com に送
820:られ、 範囲指定付きリクエストとして処理された応答が IA にアーカイブされた、 ということだと思う。 しかし、何をどうやったら範囲指定付きのアーカイブ要求なんか出るのかねぇ。
821:名無しさん＠お腹いっぱい。
19/12/06 01:10:23 .net
>>799
グロ
822:名無しさん＠お腹いっぱい。
19/12/06 16:10:30 .net
検証用環境がなくて断定出来ないので完全な予想だが、Heritrixか何かの設定のせいなのかもな
Save Page Now経由で取得できる動画の容量にあらかじめ制限をかけてあるんじゃないだろうか
動画はかなり通信量を食うし、無制限の取得を許可したら色々な面で大変な事になるだろうから、
そういうリミッターが存在しても不思議ではないと思う
823:名無しさん＠お腹いっぱい。
19/12/10 03:14:02.77 .net
うーんpixiv保存するとなぜかどうしても保存されるのが真っ白なページになってしまう
なぜだろう
824:名無しさん＠お腹いっぱい。
19/12/13 20:50:45.96 .net
やたらと寄付呼び掛けてるの何だろうと思ったら
データ量が急激に増えててヤバイらしいな
URLﾘﾝｸ(gigazine.net)
825:名無しさん＠お腹いっぱい。
19/12/14 00:52:12.88 .net
>>803
これはヤバいな
2019年だけで10ペタバイト、1996年～2011年に保存した量の2倍ものデータが追加されたとか…
いくら寄付を集めたところでこんな膨大な量がずっと増え続けていくんじゃじり貧になるのは目に見えてる気が…
お金だけじゃなくて置き場所も足りなくなりそう
AI使って同じだったりほとんど変化の無いページは消していくとかしないと
あとは結局クロールする範囲を元と同じに減らすしかなくなる気がする
それとクラウド使ってないってことはここのサーバーが火事とかになったら全部パーってことでそれも怖いな
Googleみたいに世界中に何十にもバックアップとか入念な事はしてなさそうだし
826:名無しさん＠お腹いっぱい。
19/12/14 01:24:28.94 .net
save now機能付けたころこのスレでも大丈夫なんかとは言われてたよね
827:名無しさん＠お腹いっぱい。
19/12/14 02:32:43.65 .net
10PB（10000TB）多杉ワロタ
828:名無しさん＠お腹いっぱい。
19/12/14 06:18:10.30 .net
どっかの富豪がポンと出してくれねえかな
829:名無しさん＠お腹いっぱい。
19/12/14 09:20:55.55 .net
不安定なのに寄付なんかできないとか言ってる人をどこかで見かけたがアホかと思う
寄付しないといけない状況だからこそ不安定なんだろ
830:806
19/12/14 09:32:00.38 .net
逆だな
不安定だからこそ寄付しないといけない
831:名無しさん＠お腹いっぱい。
19/12/14 13:01:50.15 .net
追加データに際限はなく増大の一途
後20年持つサービスではないな
832:名無しさん＠お腹いっぱい。
19/12/14 14:14:54.67 .net
まー言い換えれば最悪の場合その1996-2011のだけ残せばコスパ高そうだな
833:名無しさん＠お腹いっぱい。
19/12/14 22:59:39.72 .net
客観的に勧化得た場合
もしも残す価値や必要性があると思ったらお金持ちは寄付するだろうね
荒らしみたいなことを言ってすみません
834:名無しさん＠お腹いっぱい。
19/12/14 23:42:51.87 .net
ちっとも荒らしみたいではないし、ちっとも客観的でもない
835:名無しさん＠お腹いっぱい。
19/12/15 00:25:51.05 .net
確かに荒らしっぽくないし同時に客観的でもない
慈善事業にしてもそんな地味なことに金使う富豪はいないだろ
苦しんでる人を援助することに優先して金を使うと考えるのが妥当
836:名無しさん＠お腹いっぱい。
19/12/15 00:39:01.46 .net
ツイッターで100万くれる人たちに運営がいいねするのはどうだろうか
837:名無しさん＠お腹いっぱい。
19/12/15 05:26:37 .net
試しにvプリカ買ってきて寄付しようとしてみたけど寄付の受付部門にメールして問い合わせろって文章が表示されて弾かれっぱなし
海外の住所の書き方の通りにフォームは埋めたし、カードの番号も期限もセキュリティ
838:コードも全部確認したけど受け付けてもらえない 普通のクレジットカードからの寄付しか受け付けないってんなら、日本語版の案内を用意してない不親切さも頭に来るし寄付は無しだな
839:名無しさん＠お腹いっぱい。
19/12/15 09:24:11.52 .net
関係ないけどarchive.isの方でYouTubeのコメントが保存できるようになってるな
昔もできてたけどここ何年かはできなくなってたから嬉しい
Internet ArchiveだとYouTubeは保存できないから
840:名無しさん＠お腹いっぱい。
19/12/15 10:20:06.78 .net
Vプリカは向こうからは完全にVISAクレカと同じにしか見えないはず
841:名無しさん＠お腹いっぱい。
19/12/15 10:24:48.92 .net
いやVプリカが使えるとかどこにも書いてないだろ
PayPalアカウント持ってるならあらかじめ入金しておいた上で支払う事は出来ると思うが
むしろクレジットカードと同じようにしてVプリカを使えると思ってる方が間違ってるぞ
842:名無しさん＠お腹いっぱい。
19/12/15 10:32:20.60 .net
個人的な経験で理由は分からないけど、国外との支払いでVプリカ使うと上手くいかない場合がそれなりにある
PayPal併用した方が確実
843:名無しさん＠お腹いっぱい。
19/12/15 11:13:52 .net
>日本語版の案内を用意してない不親切さも頭に来る
随分身勝手な奴だな、Wikipediaじゃあるまいしそこまでするリソースも余裕もある訳無いだろうが
寄付関連の案内が全く存在しなかったら不親切と言えるだろうがそういう訳でもないし、
Google翻訳使えば読めるものを不親切だとか言うのはおかしい
5chは使える癖にGoogle翻訳を使う脳味噌は無いのな、哀れ
844:名無しさん＠お腹いっぱい。
19/12/15 13:05:17 .net
親衛隊が裾野の広がりを阻害するよくある構図を見た
845:名無しさん＠お腹いっぱい。
19/12/15 14:35:08 .net
信者とは大体そういうもの
846:名無しさん＠お腹いっぱい。
19/12/15 18:36:34.75 .net
寄付のお願いだけで済ませてくる分宗教としてはだいぶ良心的
本物の宗教と違って無くなったら困るけど
847:名無しさん＠お腹いっぱい。
19/12/15 19:09:23.94 .net
Internet Archive以外でネット情報の保存活動に積極的なところが全然無いのは
著作権とかの問題もあるがそれよりも結局はこうやって天文学的な量の情報が日々無限に増え続けていって困るのが予想できるからなんだろうな
それだけにあえて頑張っているここは貴重で応援したいが
本当にどうするんだろうな
もはや現代ではほとんどの情報がネット依存状態なのに
もしここが無くなったら人類の歴史で現代の情報だけがすっぽり消えてしまって空白地帯になって大損失だろう
848:名無しさん＠お腹いっぱい。
19/12/15 19:43:27.59 .net
AWSとかGoogleとかがやってくんねーかなー
849:名無しさん＠お腹いっぱい。
19/12/17 01:26:51.36 .net
Googleはやろうと思えば出来るだろうけど
まぁ結局金にならないっていう問題にぶち当たるんだよねぇ・・・
850:名無しさん＠お腹いっぱい。
19/12/17 04:03:11 .net
>>827
そもそも金になった時点で問題。
フェアユースの範疇から外れて、アーカイブ自体が違法コピーに成り下がる。
851:名無しさん＠お腹いっぱい。
19/12/17 13:09:42.33 .net
非営利団体だからこそWayback Machineなんてグレーな代物を運用できるわけで
Googleが寄付するって形にすれば法的にはセーフかもしれないが、Googleの金がInternet Archiveにまで入ったら法律とは別の問題でマズいことになりそう
852:名無しさん＠お腹いっぱい。
19/12/17 13:53:45.28 .net
伊達直人待ちw
853:名無しさん＠お腹いっぱい。
19/12/17 16:37:02.92 .net
翌朝、Internet Archiveのサーバーの前にピカピカのランドセルが
854:名無しさん＠お腹いっぱい。
19/12/17 19:47:03.01 .net
せめてHDD贈ってやれよ
855:名無しさん＠お腹いっぱい。
19/12/17 22:05:43.63 .net
ランドセルは安いモデルでも実用上大差ないけど安価なHDDはSMRだし…
856:名無しさん＠お腹いっぱい。
19/12/18 01:57:01 .net
outlinksがSavingのまま止まる
調子悪いのか
857:名無しさん＠お腹いっぱい。
19/12/18 16:51:08.99 .net
寄付のお願いが出始める前後からずっとoutlinksは不安定
858:名無しさん＠お腹いっぱい。
19/12/19 15:57:12.43 .net
英国立図書館のWebCiteはどう？
IA以上に貧化してるか…
859:名無しさん＠お腹いっぱい。
19/12/19 19:01:15.90 .net
WebCite は新しい魚拓は取れないのではなかったかな？
860:名無しさん＠お腹いっぱい。
19/12/19 21:15:03.17 .net
>>835
そうだったのかThx
861:名無しさん＠お腹いっぱい。
19/12/19 23:45:04.57 .net
安全な接続ができませんでしたって出る
862:名無しさん＠お腹いっぱい。
19/12/20 09:54:11.83 .net
ここってアメリカ政府とかも利用してなかったっけ？いざとなったらお偉いさんが金出して保護するんじゃないかな
863:名無しさん＠お腹いっぱい。
19/12/20 19:46:31.57 .net
そこまで楽観的でもない
非営利の図書館やアーカイブ団体はどこも大体同じように財政難に直面してる
世界最大規模の図書館として有名なニューヨーク公共図書館でさえ、資金繰りに四苦八苦して寄付を求めて駆けずり回ってる訳で
864:名無しさん＠お腹いっぱい。
19/12/23 16:11:26.79 .net
Job failed
865:名無しさん＠お腹いっぱい。
19/12/24 11:02:46.59 .net
寄付600万ドルがゴールになってるけど、そんだけでやってけるもんなのかね？
とりあえず5ドル投げたけど
866:名無しさん＠お腹いっぱい。
19/12/24 20:13:46.86 .net
いずれ枯渇はするけど当面はそれだけあればやって行けそう、ってことだと思う
867:名無しさん＠お腹いっぱい。
19/12/27 22:10:02.02 .net
最近Twitterのどんなちょっとした下らないいいねもリツイートもないような呟きでも全て即座に網羅的にここに保存されてる事に気づいた
そりゃパンクするわ
868:
19/12/28 09:51:39.93 .net
ほんとだ
>>733 のためかな？
869:名無しさん＠お腹いっぱい。
19/12/28 10:35:54.56 .net
調べたところ>>733の発表を受けてArchiveTeamが動いてるみたいだな
URLﾘﾝｸ(archive.org)
一応「故人のアカウントを保存する方法が見つかるまで削除延期」とTwitter側は言ってるけど、ArchiveTeamはそれで満足するような組織じゃないし
870:名無しさん＠お腹いっぱい。
19/12/28 10:54:17.93 .net
裏を返せば「保全する方法が見つかったら削除開始するよ」って意味でもある訳だからそりゃアーカイブするわ
871:名無しさん＠お腹いっぱい。
19/12/28 12:14:58.98 .net
Twitterと連携して全公開TweetデータをIAに渡してくれれば一番楽？
872:名無しさん＠お腹いっぱい。
19/12/28 15:51:27.64 .net
そのまえにGoogleでのリアルタイム検索を再開してくれよ
873:名無しさん＠お腹いっぱい。
19/12/28 18:46:36.33 .net
とりあえずアーカイブされたがurlがわからず
二度と発掘されないただの化石と化してるデータも多いだろう
874:名無しさん＠お腹いっぱい。
19/12/29 12:37:56.09 .net
今のアーカイブ量で全文検索したら凄まじい事になりそう
875:名無しさん＠お腹いっぱい。
19/12/29 20:38:31.40 .net
全文じゃなくてドメイン+<title>+日付範囲でも相当役に立つんだけどな…
876:名無しさん＠お腹いっぱい。
19/12/29 22:24:56.57 .net
検索エンジンの運用みたいに、先に索引付けしておくんじゃないの？知らんけど
877:名無しさん＠お腹いっぱい。
20/01/01 18:24:14.87 .net
誰も本当のことなんて知らんのよ
878:名無しさん＠お腹いっぱい。
20/01/01 21:53:26.32 .net
今年は何PB増えるのだろうか
879:名無しさん＠お腹いっぱい。
20/01/04 17:34:41.70 .net
また落ちてるみたいね
全然取得できない
880:名無しさん＠お腹いっぱい。
20/01/04 18:48:46.85 .net
メンテ画面になったね
果たして今回は何時間かかるのやら
881:名無しさん＠お腹いっぱい。
20/01/04 20:37:04.38 .net
We're sorry ? something's gone wrong.
Our team has been notified.
882:名無しさん＠お腹いっぱい。
20/01/04 20:50:33.63 .net
”donate done”が邪魔
883:名無しさん＠お腹いっぱい。
20/01/05 00:37:15.55 .net
復活したのか
884:名無しさん＠お腹いっぱい。
20/01/06 13:21:37.31 .net
punycode表記のURLの挙動がおかしくなるの
何とかならないのかね
885:名無しさん＠お腹いっぱい。
20/01/07 00:05:36.73 .net
600万ドルは確保出来たのかね
あとpaypalを通じて寄付をするって日本では違法だし、良くて規約違反でアカ消滅か悪くて警察沙汰にならね？
886:名無しさん＠お腹いっぱい。
20/01/07 00:38:36.73 .net
>>863
違法の根拠は?
887:名無しさん＠お腹いっぱい。
20/01/07 01:56:13.79 .net
>>864
URLﾘﾝｸ(donate.wikimedia.org)
A4%E3%83%91%E3%83%AB%E3%81%A7%E3%81%AE%E5%AF%84%E4%BB%98%E3%81%8C%E6%8B%92%E5%90%A6%E3%81%95%E3%82%8C%E3%81%9F%E3%81%AE%E3%81%A7%E3%81%99%E3%81%8B%EF%BC%9F
888:名無しさん＠お腹いっぱい。
20/01/07 12:56:41.99 .net
>>865
これ情報古くないか？
今は普通に受け付けてるぞ
889:名無しさん＠お腹いっぱい。
20/01/07 16:15:54.94 .net
URLﾘﾝｸ(2chan.tv)
890:名無しさん＠お腹いっぱい。
20/01/07 22:50:28 .net
>>867
スポーツ報知のアーカイブ頻度すごいな
いつぞやの人がついに自動化でも始めたのか
891:名無しさん＠お腹いっぱい。
20/01/07 23:43:03.07 .net
個人の自由とはいえ何が彼を熱心にさせているのか
892:名無しさん＠お腹いっぱい。
20/01/08 10:17:03.71 .net
まぁアーカイブという面では
そういう無償で熱心にやってくれる人が多い方がいいので
なんでそれに拘ってるのかは知らんが
893:名無しさん＠お腹いっぱい。
20/01/08 10:42:18.77 .net
その辺が、ただマウスをポチポチするだけの人と
そうで無い人との違いなのかと。
PCを使った単純繰り返しの定型作業、自動化させてみたら
それが原因で首切られたなんて話もあるくらいだからねぇ。
894:名無しさん＠お腹いっぱい。
20/01/08 13:11:21.35 .net
それにしても同一IPからこんな立て続けにリクエスト送れないはずだよな、自動で弾かれそうなもんだが
895:名無しさん＠お腹いっぱい。
20/01/08 16:25:36.62 .net
報知だけバグ？
報知
URLﾘﾝｸ(2chan.tv)
日刊スポーツ
URLﾘﾝｸ(2chan.tv)
896:名無しさん＠お腹いっぱい。
20/01/08 23:20:07.30 .net
F5連打で無駄に負荷かけまくってる悪質荒らしに近いな
897:名無しさん＠お腹いっぱい。
20/01/10 01:46:22.74 .net
Base64エンコードで画像埋め込んでるサイトが文字化けするっぽい？
URLﾘﾝｸ(web.archive.org)URLﾘﾝｸ(up-img.net)
898:名無しさん＠お腹いっぱい。
20/01/13 07:11:00.39 .net
応答が不安定になってる
899:名無しさん＠お腹いっぱい。
20/01/13 15:48:21.42 .net
firstじゃないurlのは直近アーカイブからx週経過しないとNGの制限設ければいいのにな
未経過だと有料で取得できるようにすりゃタダで爆取得しやがる乞食のとばっちりもマシになる
900:名無しさん＠お腹いっぱい。
20/01/13 17:07:37.94 .net
>>851
5chの過去ログに貼られてる閉鎖済みサイトをURL検索で発掘したり…
>>871
手動だが、Wikipediaの編集記事とかYahooニュースとかTLS1.2未満のブラウザや端末から直接読めなくなったページを読むために保存している。
魚拓やisにも取ってるがアーカイヴサービスまでTLS1.2必須に仕様変えられないことを祈る。
901:名無しさん＠お腹いっぱい。
20/01/13 19:49:00.13 .net
Yahoo!ニュースをwaybackするとトップページがアーカイブされる
902:名無しさん＠お腹いっぱい。
20/01/13 21:13:26.42 .net
URLﾘﾝｸ(2chan.tv)
robots.txt noarchive
903:名無しさん＠お腹いっぱい。
20/01/13 23:25:29.31 .net
Yahooニュースはいったん他所で取ったアーカイブを重ね取りすれば流れないンだったか。
904:名無しさん＠お腹いっぱい。
20/01/14 06:15:46.82 .net
yjsecure.jsをNGすれば転送されない。散々既出
905:名無しさん＠お腹いっぱい。
20/01/14 20:36:57 .net
adblockの詳細設定のマイフィルターリストに「*/yjsecure.js」を登録してadblock有効
と設定すればいいんだっけ？
906:名無しさん＠お腹いっぱい。
20/01/15 09:16:22.85 .net
ここ数日は取得しても古いアーカイブにリダイレクトされて本当に取得してあるか確認できないようになっているので注意
907:名無しさん＠お腹いっぱい。
20/01/15 12:18:46 .net
5ちゃんのURLアーカイブできなくなってない？数日前からできないんだけど
908:名無しさん＠お腹いっぱい。
20/01/15 13:55:07.15 .net
で�
909:ｫる ttps://web.archive.org/web/20200115045246/https://mevius.5ch.net/test/read.cgi/esite/1475246713/l50
910:名無しさん＠お腹いっぱい。
20/01/15 15:44:52.91 .net
save page done. OK
URLﾘﾝｸ(2chan.tv)
911:名無しさん＠お腹いっぱい。
20/01/15 16:40:53.17 .net
スマホ(笑
912:名無しさん＠お腹いっぱい。
20/01/15 20:12:34.06 .net
なんか自分の環境からはなぜか5ちゃんだけがアーカイブできなくなってしまった
回線変えたり接続し直したりvpnかましたり何度もリトライしてみたり色々やったら何とかできたスレもあるけどできないスレはどうやってもダメだ…謎
913:名無しさん＠お腹いっぱい。
20/01/15 20:16:55.48 .net
しょうがないからscのスレでアーカイブしてる
914:名無しさん＠お腹いっぱい。
20/01/15 21:39:39.04 .net
ここ数日やっぱ調子悪いな～古いアーカイブ確認出来ない
915:名無しさん＠お腹いっぱい。
20/01/16 21:48:45 .net
また5ちゃん保存できるようになったわ
なんだったんだろう
916:名無しさん＠お腹いっぱい。
20/01/17 00:22:05.53 .net
pcからの利用なのに時々sp用ページになるのが地味にストレス
917:名無しさん＠お腹いっぱい。
20/01/17 20:23:12 .net
またアーカイブできない事がよく起きるようになった
5ちゃんだけじゃなくて他のサイトでもできなかったりたまにできたり…
不安定なのかな
918:名無しさん＠お腹いっぱい。
20/01/17 22:16:49 .net
ここ3~4日はアーカイブまともに取得できなくて厳しいは
ウェブアーカイブじゃないと正しく取得出来ない所あるのに・・・
919:名無しさん＠お腹いっぱい。
20/01/17 22:36:17 .net
SavePageNowのｸｯｼｮﾝﾍﾟｰｼﾞが頻繁に表示される
920:名無しさん＠お腹いっぱい。
20/01/18 16:57:15.18 .net
ステータスコード200以外でリトライするスクリプト組んで放置してたら400capturesとかになって笑ってる
921:名無しさん＠お腹いっぱい。
20/01/18 19:15:17 .net
クッションページ、画面は同じでURLに日付が入ってるやつと入ってないやつがあるっぽい。
922:214
20/01/19 18:51:43 .net
Internet Archive のファイルアップロード機能、あれを使うと
ユーザ登録に使っているメールアドレスが漏れるなぁ。
例としてこのファイルを挙げる。
URLﾘﾝｸ(archive.org)
右側の SHOW ALL のリンクからファイル一覧を開き、
ファイル名末尾が _meta.xml のファイルを見てみると、
<uploader> 要素の中にメールアドレスが記載されている。
元のページに戻り、Uploaded by で示されているアップロード者の
プロフページに入ってみる。
プロフのアバター画像は IA に直接アップロードすることもできるが、
この人はそれを行っていないため Gravatar の画像が参照されている。
Gravatar の画像 URL には、メールアドレスの MD5 ハッシュ値が含まれる。
先の XML から得たメールアドレスについて MD5 を取ってみると、双方の値が一致。
(大文字等を含むアドレスは一定の加工が必要だが、この例では無関係。)
つまり、XML から得たメールアドレスはユーザの登録アドレスで間違いない。
単に IA にユーザ登録を行ってプロフを持っているだけの状態からは
色々探してみたけど漏れっぽいものは見つからなかった。
ただアバター画像が初期状態のままだとメールアドレスのハッシュ値が
判るので、そこから他所で紐付けされてしまうことはあると思う。
923:名無しさん＠お腹いっぱい。
20/01/19 19:21:36 .net
>>899
それは本人のアドレスで間違ってない、数年前からセキュリティ面で指摘されてる。
念のために言うと漏れてるんじゃなくて、アーカイブの証明の為に記載してると思うけどね。
「アーカイブ」である以上何らかの本人確認は必要なので。
924:214
20/01/20 02:24:26 .net
>>900
やはり既出だったか。
メタ情報として「誰がアップロードしたか」を記録しておく必要が
あるのは解るが、こういう形で出てしまうのは「漏れる」と表現したいなぁ。
システム上でユーザ名を名乗らせておきながら、どうしてメアドで記録してしまうのか。
ユーザ名は「一度使用した名前は二度と再利用させない」
(一度変えたら元に戻すことすらできない) なんてロックを掛けたりしているので
こちらの方が重要な識別子なのかと思ったけど、そういう訳では無いんだな。
925:名無しさん＠お腹いっぱい。
20/01/24 19:49:09.37 .net
Browser crashedだらけ
926:名無しさん＠お腹いっぱい。
20/01/24 23:16:48 .net
>>902
Browser crashed visiting URL
chrome使いだが、ここ数日でよく見るようになったな。
かといって何回も取ったら、後になって「何でこんな大量？」ってなりそうだから、
マーキング感覚で、1～2回で留めるしかないのか。
927:名無しさん＠お腹いっぱい。
20/01/25 06:58:47 .net
最近どのサイトも全然アーカイブできない…
928:名無しさん＠お腹いっぱい。
20/01/25 15:55:38.68 .net
tamperだかgreaseだかでリトライし続けるようにすればいつかアーカイブされるし…
929:名無しさん＠お腹いっぱい。
20/01/25 17:15:48.05 .net
アーカイブ出来てないように見えて後日チェックしてみるとアーカイブされてたってのはある
チェックしてみろ
930:名無しさん＠お腹いっぱい。
20/01/25 19:41:42 .net
/save/で保存してapiで確認して取れてなかったらもっかい保存
931:名無しさん＠お腹いっぱい。
20/01/26 13:38:27 .net
最近APIも反映が遅くてな・・・
まぁ一定周期で重くなるのはいつもの事だし、気長に待つけども
932:名無しさん＠お腹いっぱい。
20/01/26 21:12:27 .net
save outlinksにチェックを入れて保存しようとすると↓みたいなエラーになるな。
URLﾘﾝｸ(2chan.tv)
まぁ、今朝の9時から18時前位まで全く保存が効かなかったからそれよりはマシだけどさ…
933:◆P0jSlC5fJs
20/01/27 01:59:35 .net
save outlinksなしでもJob failed
26日から
934:名無しさん＠お腹いっぱい。
20/01/27 02:32:40.79 .net
今サイトにアクセスできなくなってる
935:名無しさん＠お腹いっぱい。
20/01/27 17:18:56 .net
Job failed
ヨブがやらかした
936:214
20/01/30 20:22:04 .net
なんか玉葱経由で保管させると後でアーカイブが消されてるような気がするけど
気のせいかな。
sssp://o.5ch.net/1m0cm.png
937:名無しさん＠お腹いっぱい。
20/01/31 22:02:36.33 .net
Twitterの仕様変更のせいかアーカイブ出来なくなってしまった
938:名無しさん＠お腹いっぱい。
20/01/31 23:29:38.35 .net
save outlinksにチェック入れて保存するもリンク先が記録できず
今日でサービス終了するサイトなんで頼む…
939:名無しさん＠お腹いっぱい。
20/01/31 23:33:58.40 .net
保存時にエラーっぽい表示はなかったし
saveしたページ自体はもう反映されてるが、そのリンク先だけ見れないのでタイムラグだとしても妙
かといってもう一回叩くのも負荷になるしやめたい
940:名無しさん＠お腹いっぱい。
20/01/31 23:43:47 .net
試しにもう一回やったらsave outlinksにチェック入れてるのにそのページしか保存してないorz
941:名無しさん＠お腹いっぱい。
20/01/31 23:44:20 .net
Save error pages抜きとsave outlinksチェックは両立しない？？
942:名無しさん＠お腹いっぱい。
20/02/01 17:40:18 .net
ツッイターどうすれば
943:名無しさん＠お腹いっぱい。
20/02/01 20:01:43.92 .net
>>919
IAが苦手な形式になったから無理だと思う
download elementsを見ると画像とかは取れてるみたいだが・・・
944:名無しさん＠お腹いっぱい。
20/02/01 20:39:24.53 .net
最近本気保存してたことへの意趣返しなの？
945:名無しさん＠お腹いっぱい。
20/02/02 11:38:13 .net
TwitterはmegalodonやArchive.todayの方がまだ取りやすい気がしてきた
>>920
苦手な形式になったってどういうことなんや
詳しく教えてくれないか
946:名無しさん＠お腹いっぱい。
20/02/02 14:50:40.09 .net
todayの方だと普通に取れるね>Twitter
謎だ
947:名無しさん＠お腹いっぱい。
20/02/02 18:22:01 .net
IE11のUAだと古いのになるはずよね
948:名無しさん＠お腹いっぱい。
20/02/03 21:18:00 .net
save outlinksが無くなってる…
URLﾘﾝｸ(2chan.tv)
949:名無しさん＠お腹いっぱい。
20/02/03 21:33:12 .net
>>925
サインインしろって書いてるよ
950:名無しさん＠お腹いっぱい。
20/02/03 21:49:45 .net
アウトしてしまったか
951:名無しさん＠お腹いっぱい。
20/02/05 16:24:47 .net
Wayback はサインイン（ログイン）しないと
スクリーンショットが取れない仕様に改変された。
ヤフーニュースの魚拓を取るときには注意しよう。
952:名無しさん＠お腹いっぱい。
20/02/05 18:55:39 .net
>>928
前からじゃなかったか？
953:名無しさん＠お腹いっぱい。
20/02/05 19:43:07.89 .net
>>929
半月ぐらい前はそうではなかった。
954:名無しさん＠お腹いっぱい。
20/02/07 11:17:42 .net
Twitterが全然とれん…
955:214
20/02/07 12:36:52.45 .net
Firefox で general.userag
956:ent.override に Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; Touch; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 2.0.50727; .NET CLR 3.0.30729; Tablet PC 2.0; rv:11.0) like Gecko と入れてやってみたら、こんな感じ↓。 http://web.archive.org/web/20200207033245/twitter.com/TwitterJP/status/1224802584650584064 (deleted an unsolicited ad)
957:214
20/02/07 12:42:22.25 .net
>>932 の User-Agent、たまたま拾ったのがこの文字列だっただけなので
Internet Explorer と判定されるような内容なら何でも良いと思う。
958:名無しさん＠お腹いっぱい。
20/02/07 14:01:40 .net
おお
959:名無しさん＠お腹いっぱい。
20/02/07 14:02:43 .net
最初からgeneral.useragent.override.web.archive.orgに入れっぱなしでもいいのかも
960:名無しさん＠お腹いっぱい。
20/02/15 11:51:31.56 .net
なぜかInternet Explorer経由でないとTwitterのアーカイブが取れないのね
961:名無しさん＠お腹いっぱい。
20/02/15 18:14:13.15 .net
別に何故かでもないんだけど今後IAはこういうのどうするのかな
962:名無しさん＠お腹いっぱい。
20/02/15 20:28:10 .net
なんかTwitter何も対策せずに取れるようになってるな
要望が多かったんだろうか？
963:名無しさん＠お腹いっぱい。
20/02/16 15:56:32.12 .net
504 Gateway Time-out
964:名無しさん＠お腹いっぱい。
20/02/17 20:37:04.68 .net
もしかしてルートパスのリンク取れないのか
965:名無しさん＠お腹いっぱい。
20/02/22 09:16:04.83 .net
ロイター通信の記事キャプチャがおかしくなる
本文が空白で読めない
米とタリバン、29日に和平合意調印 暴力削減期間の終了後に - ロイター
URLﾘﾝｸ(web.archive.org)
コラム：円急落、「安全通貨」の機能終えんか＝佐々木融氏 - ロイター
URLﾘﾝｸ(web.archive.org)
アマゾンはURLエンコードすれば通るんちゃう？
URLﾘﾝｸ(a%4Dazon.co.jp)
966:名無しさん＠お腹いっぱい。
20/02/22 09:22:08.04 .net
アマゾンは無関係
テストスレと間違えて追加してしまった失礼
967:名無しさん＠お腹いっぱい。
20/02/22 16:29:21.75 .net
>>941
> 米とタリバン、29日に和平合意調印 暴力削減期間の終了後に - ロイター
> URLﾘﾝｸ(web.archive.org)
今見たら問題ないみたいだけど？
968:名無しさん＠お腹いっぱい。
20/02/23 13:49:38.14 .net
なんかToo Many Requestsの判定おかしくないか？
明らかに上限に達してないのにブロックされるんだが
969:名無しさん＠お腹いっぱい。
20/02/23 15:47:02.49 .net
制限がより厳しくなったのでは？分からないけど
970:名無しさん＠お腹いっぱい。
20/02/23 18:40:51.62 .net
要求間隔が短すぎると弾かれる。
少しあければ５分経ってなくても返ってくる。
971:名無しさん＠お腹いっぱい。
20/02/24 23:02:16 .net
気持ち悪いくらいｻｸｻｸ応答するな
今のうちにいろいろやっておくべきか
972:名無しさん＠お腹いっぱい。
20/02/26 14:26:12.32 .net
>>943
ありがとう
今見たらアーカイブ自体が消えていたから取り直したら見れた
973:名無しさん＠お腹いっぱい。
20/02/26 19:35:58.41 .net
URLﾘﾝｸ(gigazine.net)
マジか
974:名無しさん＠お腹いっぱい。
20/02/26 20:37:40.94 .net
まとめてとったやつも全部消えてる…
975:名無しさん＠お腹いっぱい。
20/02/27 00:26:30.17 .net
20年以降に保存したのが見えないのか消えてんのか知らんけど
最後に保存したのが2019のものになってんな
976:名無しさん＠お腹いっぱい。
20/02/27 00:29:13.91 .net
消えてないのもあるな
向こうでメンテか何かやってるだけか
977:名無しさん＠お腹いっぱい。
20/02/27 01:53:05 .net
魚拓音痴の質問もいいのかな…
魚拓の確認でカレンダーを開いた時に緑丸のページは絶対に見れない仕様ですか?
自分で調べたら緑丸=リダイレクトはわかったのですが緑丸を見る方法が見つからなくて書き込みまし
978:た 初心者過ぎる質問で申し訳ないです
979:名無しさん＠お腹いっぱい。
20/02/28 00:14:02 .net
申し訳ないんだが「緑丸のページを見る」ってのが何を言いたいのかよく分からない
リダイレクト先のページがWayback Machineに保存されてたら見れるし、保存されてなかったら見れない、という仕様のはずだけど
980:名無しさん＠お腹いっぱい。
20/02/28 11:25:46 .net
Yahooみたいなページの話なら
JavaScript無効化すれば見れるはず
981:名無しさん＠お腹いっぱい。
20/03/02 16:30:56 .net
>>955
ダメみたいです
スマホで閲覧してるのですがjavasScriptをオフにしても特に変化はありませんでした
因みに調べているのはbekkoameというサイトです
982:214
20/03/03 09:45:19.77 .net
リダイレクト応答のコンテントボディが見たいとか、
そんなニッチな話かと思ったけどどうやら違うようだ・・・。
そもそもリダイレクトがどういうものか、質問者氏は理解されていますか。
他の URL を提示して「代わりにここを見よ」と指示するものですから、
リダイレクト自体にそれ以上の内容はありません。
Internet Archive のカレンダで緑色で表示されている、つまり
クロール時にリダイレクトが返された旨記録されているアーカイブを
開くと、数秒後にその当時リダイレクト先として示されていた URL の
アーカイブの読み込みが始まります。
いくらリダイレクト先として示されていたからと言っても、所詮は別の URL です。
当該 URL が Internet Archive にアーカイブされているかどうかは、
元の URL がアーカイブされていることとはあまり関係がありません。
983:名無しさん＠お腹いっぱい。
20/03/05 21:02:07.03 .net
/save/ではなくて/web/2/でもToo Many Requestsが出るようになったっぽいね
984:名無しさん＠お腹いっぱい。
20/03/08 12:59:52.71 .net
Summaryタブがあるドメインと無いドメインの違いって何なんだろ？
数年経ってるのに無いのもあれば、半年程度であるドメインもあるし
取得数って訳でも無さそうだしなぁ・・・
985:名無しさん＠お腹いっぱい。
20/03/09 08:46:14 .net
本日で一旦、毎日やっていた作業を休止します。
986:名無しさん＠お腹いっぱい。
20/03/09 08:57:41 .net
何の話だよ
987:名無しさん＠お腹いっぱい。
20/03/10 19:21:31.04 .net
画像とかアーカイブするときのプログレスバー消えた？
988:名無しさん＠お腹いっぱい。
20/03/12 22:50:35 .net
また改悪しやがったな
989:名無しさん＠お腹いっぱい。
20/03/13 05:03:41.08 .net
なんか保存にすごく時間がかかる...
どうなってんだ
990:名無しさん＠お腹いっぱい。
20/03/16 00:16:36 .net
使い物にならない
991:名無しさん＠お腹いっぱい。
20/03/16 08:06:34.04 .net
The same snapshot had been made 38 seconds ago.
↑これ出てるのにAPIでは保存されていないことになってる
/save/でも保存できないし、できるのは保存済みアーカイブの閲覧だけか
992:名無しさん＠お腹いっぱい。
20/03/16 15:04:49 .net
なんだアゴ
993:名無しさん＠お腹いっぱい。
20/03/16 21:11:50.13 .net
>>967
いまどきアゴ勇のステマをやる人がいるとは！
994:名無しさん＠お腹いっぱい。
20/03/17 15:30:21.74 .net
昨日アーカイブしてさらに数時間後に確認もしたのに
今日になったらアーカイブされていないことになってる
やり直したらFirst Archiveとなって確認してもちゃんとアーカイブできてるのだが
明日は消えていそう
995:名無しさん＠お腹いっぱい。
20/03/18 07:31:20.97 .net
>昨日アーカイブしてさらに数時間後に確認もしたのに
>今日になったらアーカイブされていないことになってる
URLﾘﾝｸ(web.archive.org)の事なら俺もまったく同じ状態
URLﾘﾝｸ(archive.fo)は問題なかったけど、昨晩から使えなくなって保存中の画面になったまま終わらない
996:名無しさん＠お腹いっぱい。
20/03/21 10:28:41 .net
【保存・記録】ウェブアーカイブ総合 Page.01
2020/02/25(火) 23:55:53.96 ID:jlsY//Cy0
>>347
Internet Archiveはアーカイブ実行用クローラ(Heritrix)と
保存したアーカイブの専用ビューワ(Wayback)を組み合わせて動いてるんで、
保存したアーカイブがサーバ不調で一時的に見られなくなってても、
アーカイブさえきちんと出来てればそのうち問題なく見られるようになる
997:名無しさん＠お腹いっぱい。
20/03/21 15:32:44 .net
cube newsの単純な構造なら動画も一緒に保存できるっぽい
998:名無しさん＠お腹いっぱい。
20/03/21 17
999::03:14 .net
1000:名無しさん＠お腹いっぱい。
20/03/25 05:21:37.56 .net
保守
1001:214
20/03/29 07:42:30.68 .net
調子悪いですねぇ。
URLﾘﾝｸ(o.5ch.net)
1002:名無しさん＠お腹いっぱい。
20/03/29 18:02:52 .net
Summary死んでる
1003:名無しさん＠お腹いっぱい。
20/03/30 07:51:46 .net
URLﾘﾝｸ(i.imgur.com)
1004:名無しさん＠お腹いっぱい。
20/03/30 12:16:23 .net
API止まってるのかな
1005:名無しさん＠お腹いっぱい。
20/03/31 09:57:47.50 .net
503ばっか出て繋がんねぇと思ったらまたメンテか
1006:名無しさん＠お腹いっぱい。
20/03/31 14:32:48.47 .net
APIおかしい
大昔のキャプチャがちゃんとあるのに、APIでは保存されていないことになってる。
1007:名無しさん＠お腹いっぱい。
20/03/31 19:39:22 .net
コロナのせいでアクセスが増えてるんかね？
1008:名無しさん＠お腹いっぱい。
20/04/01 02:08:14.04 .net
IA特有のヘッダが表示されなくなった
1009:名無しさん＠お腹いっぱい。
20/04/01 12:42:17.49 .net
>>981
Internet Archiveが無料で色々な本を公開したからアクセス増えてキャパオーバーした可能性あるね
1010:名無しさん＠お腹いっぱい。
20/04/01 21:18:57.29 .net
そろそろ次スレたのんます
1011:名無しさん＠お腹いっぱい。
20/04/02 02:09:07 .net
立てたよ
URLﾘﾝｸ(mevius.2ch.sc)
1012:214
20/04/02 03:35:05.77 .net
>>985
乙
テンプレの二つの Q&A は永久保存ですかw
2011 年夏の UTF-8 化以降意味を成さなくなってますが。
1013:名無しさん＠お腹いっぱい。
20/04/02 12:24:52 .net
API何時になったら直るんだ・・・
1014:983
20/04/02 13:23:35.28 .net
>>986
テンプレはとりあえずそのままにしただけです
4スレ目以降はQ&Aちゃんと整理しなくては
1015:名無しさん＠お腹いっぱい。
20/04/06 15:12:29.34 .net
インターネット・アーカイブの無料電子書籍貸し出しに著者団体が抗議
URLﾘﾝｸ(hon.jp)
インターネット・アーカイブ（Internet Archive）は先月24日、
140万冊のEブックが読める「National Emergency Library」
をオープンし6月末までをめどにユーザーが1人10冊まで借りて
読むことができるようにしたが著者団体が反対の声を上げている。
1016:名無しさん＠お腹いっぱい。
20/04/08 12:50:51 .net
URLﾘﾝｸ(web.archive.org)URLﾘﾝｸ(www.mynewsjapan.com)
> 現在メンテナンス中です
> 現在、アクセス妨害行為によって、サイトにアクセスできない状況となり、
> ご不便をおかけしております。何者かが業務妨害をしている模様です。
> 警察庁サイバー犯罪対策班が犯人を逮捕次第、詳細にご報告します。
> 万全を期すため、一時的に停止して、安全を確認しております。
> 対策のうえ、早々に復旧しますので少々お待ちください。
> My News Japan
1017:名無しさん＠お腹いっぱい。
20/04/10 14:21:05 .net
半年以上前に保存されてたページを保存しなおしたら何故かFirst Archiveになった
1018:名無しさん＠お腹いっぱい。
20/04/10 16:00:15.06 .net
次スレが立っているからこっちのスレは埋めよう
1019:名無しさん＠お腹いっぱい。
20/04/10 16:00:35.20 .net
埋め宮アンナ
1020:名無しさん＠お腹いっぱい。
20/04/10 18:49:01 .net
コロナだろうと保存するぜ
1021:名無しさん＠お腹いっぱい。
20/04/10 20:53:52 .net
埋め
調子悪いの直らないねぇ
コロナでスタッフも休んでるんだろうか
1022:名無しさん＠お腹いっぱい。
20/04/10 21:39:21.30 .net
コロナ資料を保存
1023:名無しさん＠お腹いっぱい。
20/04/10 22:48:35.61 .net
test
1024:名無しさん＠お腹いっぱい。
20/04/10 22:48:50.40 .net
test2
1025:名無しさん＠お腹いっぱい。
20/04/10 22:48:59.86 .net
💩
1026:名無しさん＠お腹いっぱい。
20/04/10 22:49:11.01 .net
💩💩
1027:名無しさん＠お腹いっぱい。
20/04/10 22:49:21.10 .net
1000
1028:名無しさん＠お腹いっぱい。
20/04/10 22:49:35.05 .net
#,
1029:1001
Over 1000 Thread.net
このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 1287日 23時間 4分 22秒
1030:過去ログ ★
[過去ログ]
■ このスレッドは過去ログ倉庫に格納されています