【統計分析】機械学習・データマイニング31at TECH
【統計分析】機械学習・データマイニング31 - 暇つぶし2ch320:デフォルトの名無しさん
22/01/05 07:37:22.29 Hu7GUsiR0.net
じゃあどの本を読めばいいの?

321:デフォルトの名無しさん
22/01/05 09:56:41.43 boZRblrC0.net
そのうちAIで一発充てて億万長者

322:デフォルトの名無しさん
22/01/05 10:10:11.14 MZdsrg4wa.net
>>315
勝手に分類したというソースとかあります?
最適化や統計学を参考に発展したのかなと言ったら激怒されたことがありまして。
でも、例えば最尤法なんてのはロナルドフィッシャーの前からあるわけで。

323:デフォルトの名無しさん
22/01/05 21:30:42.32 /CcLnr/X0.net
>>313
プログラミングがあと数年で淘汰されるとか本気で言ってるとしたら本当のバカだよ。

324:デフォルトの名無しさん
22/01/05 23:57:29.94 F3S7rWEZa.net
ここで言ってるのはプログラミングじゃなくて「既存の機械学習ライブラリにデータを突っ込んでいい感じのモデルを生成する作業」だぞ

325:デフォルトの名無しさん
22/01/06 08:28:37.04 u5MkFJx/r.net
>>320
昔よりどんどん設定が楽になってるからなあ
深層学習関連で厄介だったのって結局はデータセットをどんな形式(XMLかJSONか)
でしかもそれを各要素をどんな順番にしてどのディレクトリに置くかで動かないとか
あるいはオンプレミスならGPUドライバのインストールとか
そういうIT関連の初歩だけど躓きやすいところでうまく行かない人が多かっただけで、
そのお膳立てが出来てるならそんな難しい話ではないからなあ

326:デフォルトの名無しさん
22/01/06 11:27:51.20 xlF+IlBCd.net
>>318
その3つはここ最近できた分類。
2010年以前に初版の機械学習の本を参照のこと。その分類殆ど書いてない。
例えば『カーネル~』『パターン認識~』とかの本を読んみな。
>激怒された
どの分野の誰が激怒した?

327:デフォルトの名無しさん
22/01/06 12:57:18.54 xJhDjxiza.net
>>322
ありがとうございます。記述がないか見てみます。
> どの分野の誰が激怒した?
もう辞めた元同僚です。詳しくは知りませんが、建築系の分野で深層学習の応用をやっていたようです。

328:デフォルトの名無しさん
22/01/06 12:59:34.26 uGZ6S9x0M.net
>>322
dudaとhartの本1973に既にその分類あった気がする

329:デフォルトの名無しさん
22/01/06 13:53:25.23 Pj/tWPoWd.net
激怒したのがただのおっさんだった件について

330:デフォルトの名無しさん
22/01/06 14:05:13.26 LDLctEfP0.net
>>320
そんな輩は淘汰とかの前にそもそも成り立ってすらいないがな。

331:デフォルトの名無しさん
22/01/06 21:51:07.42 oLHV7XNga.net
1クラスSVMで正常データが原点から遠く、未学習データが原点付近に写像されるって説明よく見るけどどういう原理なの?

332:デフォルトの名無しさん
22/01/07 06:52:41.42 L0lrZIze0.net
どこの説明?

333:デフォルトの名無しさん
22/01/07 09:19:56.68 WRKzkFuxa.net
シューティングゲームやらせたら最初はスコアゼロ=原点近くだけど、そのうち点が入りだして原点から遠くなって
でもそれ以上点がとれなくなってくるとそこで収束する(何万点って決まったとこ以上遠くならなくなる)みたいなことかな

334:デフォルトの名無しさん
22/01/09 17:33:58.49 eb/UjTK60.net
専門分野がんばろ

335:デフォルトの名無しさん
22/01/10 12:26:00.91 +n2liWIE0.net
コロナ感染者数予測ですら当たり外れしか見えず外れただろ謝れとか言う阿保が多いから
機械学習でどんなに精緻にモデリングしても見合った成果が得られない気がする
線形回帰くらいじゃないと納得しないだろうな

336:デフォルトの名無しさん
22/01/10 13:32:36.73 Mq5wjuVba.net
阿保に評価されることを成果目標とするならどんなに頑張っても成果得られないだろうな
でもそんなとこを目標としてないからw

337:デフォルトの名無しさん
22/01/10 13:54:34.12 HJZ3/7EYF.net
非専門家に理解させるのが面倒だと思うなら機械学習だけやっていたのでは不十分で、機械学習の成果を利用したサービスを自分で立ち上げる必要がある
そのサービス自体に価値があれば中身の機械学習が一般人に理解不能なアルゴリズムであろうと外部の人には関係ない
DeepLとか中身がどうであろうと便利だから使われているが、もしDeepLのアルゴリズムだけ作ってそれを誰かに売りたいならその説明をして理解させなければ売れるわけがない

338:デフォルトの名無しさん
22/01/10 16:36:12.87 igH5zo3Pa.net
>>331
8割おじさんが最近出した本読んだんだが
モデルの説明がめちゃくちゃ多い
機械学習も取り入れてるみたいでちゃんとやる人がやれば予測できるんだなと思った
国民がバカすぎる

339:デフォルトの名無しさん
22/01/10 17:49:20.98 1+LBTjzR0.net
>>334 予測できるはずがない 統計学をちゃんとやっている人なら データが恣意的なので無理 とすぐに分かるはず



341:デフォルトの名無しさん
22/01/10 18:01:50.82 HlxyVgfXa.net
どこまで予測するかだよ
日々の新規感染者報告数を一人の単位できっちり当ててく予想なんてのはそりゃできるはずないが
元データが恣意的だったり正確じゃなくてもおおよそなら十分予測できる
過去の動きから実効再生産数は連休に跳ね上がってるから、連休後は増えるなんてのは馬鹿でも予想できるだろ
だから日付だけでなく休日情報をデータに含めとくとかそういうのの積み重ねだよ

342:デフォルトの名無しさん
22/01/10 18:07:25.70 71YPGGTY0.net
コロナの予測に必要なのは機械学習ではない

343:デフォルトの名無しさん
22/01/10 18:44:16.50 igH5zo3Pa.net
>>335
そりゃ予測なんだから当たり前でしょ
問題はそういうモデルを専門家が色々出すことで
政府や国民が判断できる環境を作ることだよ
現場ほとんどの専門家が何も出してない
Googleと8割おじさんくらいしか出してない

344:デフォルトの名無しさん
22/01/10 21:48:02.54 eDT1pyq70.net
今現在知りうる情報から少し先の状況を大まかに把握することは良くやる事だよな
スポーツなんかでもボールの動きの少し先を予測して動くし
対戦形式だと相手の少しの動き予備動作とか癖とかで予測したり
台風の進路予想とかも
経済活動や人間の活動や会社の業績予想、株価予想なんかもある
ウイルス感染も人間の活動とウイルスの特性とかで大まかに予測できるだろう

345:デフォルトの名無しさん
22/01/10 23:28:34.52 1+LBTjzR0.net
>>338
だから「できない」からやらないわけで
せめてランダムにPCR検査をやってくれたら
参考になったのに
今後もランダムサンプリングはやらないのだろうけど

346:デフォルトの名無しさん
22/01/11 00:38:34.33 U5N42xsja.net
ランダム検査って検査受けたくないと考える人も対象に選ばれれば検査しなければ無意味なわけで、
例えば受験生とかその家族が今検査して陽性なんて出たら困るから絶対検査など受けられない
他にも同様な事情で受けない人が出るので結局対象に偏りが生じるから本当のランダムにはならない

347:デフォルトの名無しさん
22/01/11 01:01:34.22 Vus+Hcqaa.net
ランダム検査したとして、その結果をどう活用するの?

348:デフォルトの名無しさん
22/01/11 01:18:47.71 4qGoqi+ca.net
ランダム検査すれば信頼性の高い市中感染率の推移データが得られる
そのデータをLSTMにぶち込めばっていう古典的な統計学に基づいた予測だろうな
いわゆる深層学習的な考え方じゃない

349:デフォルトの名無しさん
22/01/11 09:10:36.85 sw0izdDpa.net
>>343
それを市中感染の注意喚起に使うってこと?
新規陽性者数の報道だけでは足りないかな?
新規陽性者数って蔓延状況の関数とも考えられるよね。

350:デフォルトの名無しさん
22/01/11 12:30:42.01 4qGoqi+ca.net
何に使うかは別次元の話
新規陽性者報告数は蔓延状況の関数だけど、検査場が飽和したら数値が下側になるし、大規模無料検査が行われたら上側になる
真の感染者数を求めるには変数が多すぎる関数なんだよ
ランダム検査の方がそういう変数を少なくできる

351:デフォルトの名無しさん
22/01/11 12:50:53.52 cXz2aMN9a.net
>>345
ランダム検査の結果を何に活用するか知りたいのが最初の質問です。
新規陽性者数が注意を要する指標なのは同意で、陽性率を報道してるのもそのためかと。
ランダム検査は強制力を伴うので、それに見合った活用法があるのかなと思って。

352:デフォルトの名無しさん
22/01/11 13:15:48.20 4qGoqi+ca.net
検査せずに動き回ってる市中感染者数が見えてくる
例えば、そういう人たちと感染したらリスクある基礎疾患抱えてるような人が接触しないようにする
~ワクチンパスポートの基礎疾患バージョンみたいな新たな対策をする根拠(効果予測)となる
でも一番大きいのは疫学的な科学データの蓄積。今役に立たなくてもデータを集めること自体に価値がある
協力金として100万円差し上げますってすりゃいいだろ。「ハズレた!もっと大規模にランダム検査しろ」ってクレームしか起きないぞw

353:デフォルトの名無しさん
22/01/11 15:22:10.54 gisUZ/Sj0.net
科学データの蓄積
といっても株によって性質がかなり異なるみたいだから
意味があるかどうかは疑問
国が大好きな前例に基づいた対策には使えるけど
新例は前例とは違うのであまり意味がないかと

354:デフォルトの名無しさん
22/01/11 23:54:39.59 On+Ztxm90.net
未来はわからんから計測する必要ないとかどんだけ思考停止だよ。
言うほど増減のパターンなんてそんなにはないわ。

355:デフォルトの名無しさん
22/01/12 10:34:23.29 r0jF0Nl2d.net
何の話
いつから株の話?

356:デフォルトの名無しさん
22/01/12 10:46:58.74 BLJCWDpKa.net
株価とかじゃなくて変異株のことだろ
従来株の感染者数データからは、オミクロンのような変異株が流行したときの予測ができないってこと
逆に通常株としての予測値との差から変異株の実社会中での特性を見出すこともできるし
データはあればあるほどいいのにな。データを集めるコストに見合うかっていうとまた別問題だが

357:デフォルトの名無しさん
22/01/12 13:07:12.36 Q/IpVZ+x0.net
感染経路とか基本再生産数とかウイルスの特徴があるからそれらを参考にできると思うけどな
実行再生産数は色んな条件を統合した結果だと思う
ウイルスの特性とか人間側の感染対策とかワクチンの有効性とかワクチン接種率とか
オミクロン株は感染力はデルタ株より高いとわかれば
感染者数は増えると予想するのは自然だと思う
有効な感染対策が普及したらそれで変化するだろうし

358:デフォルトの名無しさん
22/01/15 21:05:54.36 Nh+HcuMrd.net
神経回路は潜在的な統計学者だった
─理研、脳神経が自由エネルギー原理に従っていることを明らかに
URLリンク(www.riken.jp)
>どのような神経回路も「自由エネルギー原理」と呼ばれる近年注目される脳理論に従っており、
潜在的に”統計学的な推論”を行っていることを数理解析により明らかに
>神経生理学的に妥当な「コスト関数」を逆算し、それが自由エネルギー原理のコスト関数と同一であることを数理的に解明

359:デフォルトの名無しさん
22/01/15 21:07:13.39 Nh+HcuMrd.net
自由エネルギー原理 とは

生物の知覚や学習、行動は自由エネルギーと呼ばれるコスト関数を最小化するようになっており、
その結果生物は外界に適応できる という理論
今回、
神経回路のコスト関数と、自由エネルギーは数式の構造が全く同じであることが判明
統計学者が行うように、観測データから背後の原因をベイズ推論することを自律的に行っており、
そうして外界を模倣することが”神経回路の普遍的な特性”であることを証明

360:デフォルトの名無しさん
22/01/15 21:48:06.91 jfiWoDR70.net
これ何も新しいこと説明していなくない?

361:デフォルトの名無しさん
22/01/15 22:01:11.99 Se72RKU9d.net
最適な未来予想の実現化をモニターする神経細胞の発見 ゼブラフィッシュ
URLリンク(www.riken.jp)
>最適な未来の予測(脳内モデル)と現実との予測誤差を脳内において表現する魚は、その予測誤差を最小化するように行動する、
すなわち見える景色が


362:いつも後方に移動するように休むことなく尻尾を振り続けることで、 素早く最も効率的な逃避行動を取ることができる



363:デフォルトの名無しさん
22/01/15 22:28:15.49 WGdw9iF50.net
エネルギーが最小になるように関数系が確定するのは何となくわかるが‥、、
ここは機械学習のスレです。
脳の話は他でやれ。

364:デフォルトの名無しさん
22/01/16 00:28:38.95 tGF8resU0.net
正規化されてない確率密度をエネルギーって言ってるだけだぞ。

365:デフォルトの名無しさん
22/01/16 02:32:25.93 0BwvrTRY0.net
それは失礼。より最悪やわ。
>>353-356誰も信じないから去れや。

366:デフォルトの名無しさん
22/01/16 09:43:00.35 OROfcgkB0.net
自由エネルギー原理てなに?

367:デフォルトの名無しさん
22/01/16 21:58:00.09 kwcp0Z900.net
自由エネルギー原理は、簡単にいうと「生物の知覚や学習、行動は自由エネルギーと呼ばれるコスト関数を最小化するように決まり、その結果生物は外界に適応できる」という理論です。
と下のサイトに書いてある
URLリンク(www.riken.jp)

368:デフォルトの名無しさん
22/01/16 22:15:42.15 T4qYoH6G0.net
経済学みたい

369:デフォルトの名無しさん
22/01/17 10:49:12.20 zjk81v8i0.net
ボルツマンマシンみたいなもの

370:デフォルトの名無しさん
22/01/20 15:25:19.44 dsetb5Ul0.net
お前らの誰かだろw
AI使いわいせつ動画を「モザイクなし」、ネット公開…男を著作権法違反で在宅起訴
URLリンク(www.yomiuri.co.jp)

371:デフォルトの名無しさん
22/01/21 03:11:23.15 A0wDd6Wv0.net
GANか

372:デフォルトの名無しさん
22/01/21 07:48:17.86 Gz0vCIiGa.net
Generative Asoko Networks

373:デフォルトの名無しさん
22/01/21 09:59:21.21 +mYnI3nw0.net
モザイク外してモロ映像ができてたんなら猥褻物陳列罪に問われそうなもんだが違うのか
公開するのにわざわざモザイクかけ直したってことはないよな?w
猥褻物とは認識できないほどクオリティ低かったか

374:デフォルトの名無しさん
22/01/21 10:28:32.81 r4Y+9SbuF.net
モザイク外したのではなくあくまで何らかの方法で生成した画像をモザイク部分に貼り付けただけだからな

375:デフォルトの名無しさん
22/01/21 11:10:51.29 a7B69/kD0.net
GANで顔のすげ替えみたいな昔のコラ画像はできるけど、やっぱ変な不自然さは残ってるね。微妙に視線がおかしかったり表情がほとんど変わらなかったりってなってる。
実用性はちと微妙

376:デフォルトの名無しさん
22/01/21 11:16:40.32 uBlVLxnd0.net
>>369
顔を変えるのはディープフェイクって言うので少し前に問題になってた
中国で作られてたと思う

377:デフォルトの名無しさん
22/01/21 14:40:28.34 y96NzjgJM.net
ディープフェイク出たときはこんなに簡単にうまく合成できるなんてと感心したっけ
陰影もそれなりについてるし

378:デフォルトの名無しさん
22/01/22 02:01:53.05 rtM4cQrL0.net
Kerasを使わない純粋なTensorflowを学ぶための参考書ってある?

379:デフォルトの名無しさん
22/01/22 03:47:59.38 yfbq4hUz0.net
>>372
公式ページで十分じゃないか?実際自分は自動微分付きCPU/GPU切り替え可能なテンソル計算ツールとして使ってるけど
公式ページと、謎のエラーはstackoverflowでこまってない。

380:デフォルトの名無しさん
22/01/22 16:18:55.66 5bKwicQg0.net
>>369
上手く出来てる奴は見分け付かないし、学習が足りんだけだと思う

381:デフォルトの名無しさん
22/01/22 19:30:35.71 60KCKgbr0.net
>>371
去年のSSIIでそれを見破る方法の
講演があったらしいが聞き逃した。orz
郡飛系のオブジェクト検出が一昨年。
これも聞き逃した。orz
※SSDとかYoloが苦手とする分野との事

382:デフォルトの名無しさん
22/01/23 00:56:32.18 YqyZ1Qs/0.net
眼を瞑っている学習データが少ないから
ディープフェイクは瞬きしないとか何とか

383:デフォルトの名無しさん
22/01/25 12:28:11.33 PE/3DhWgM.net
hnswて日本語で何て言うの?

384:デフォルトの名無しさん
22/01/25 16:10:19.93 PE/3DhWgM.net
URLリンク(ledge.ai)
この記事、間違ってる
修正すれば投稿していいと言われたのに、ゲブが修正せずに出せないんなら辞める、と啖呵を切ったら、ググルからじゃあどうぞと言われ、ググルから辞めることになった

385:デフォルトの名無しさん
22/01/31 00:22:16.22 4JdPr4k80.net
IIFES行ってるやついるか?

386:デフォルトの名無しさん
22/02/04 13:36:58.80 h5DsEeYg0.net
MoEてアンサンブルじゃないの?

387:デフォルトの名無しさん
22/02/13 01:04:28.48 IGUX1tkr0.net
Rの勉強初めて1ヶ月ですが楽しいです
仕事への活かし方を知りたいです

388:デフォルトの名無しさん
22/02/15 16:37:07.78 JLfyJXS3M.net
KL-divergenceってなんなの?

389:デフォルトの名無しさん
22/02/15 20:15:04.10 ZgEJA9aE0.net
>>382
URLリンク(ja.m.wikipedia.org)カルバック・ライブラー情報量
2つの分布が似ているかどうか
似ていると小さな値になる

390:デフォルトの名無しさん
22/02/15 20:28:22.06 JHJlgDKR0.net
分布のmetricだったのかthx

391:デフォルトの名無しさん
22/02/16 10:56:19.23 A7GVyGAt0.net
さすがにググレカス言いたくなるぞ

392:デフォルトの名無しさん
22/02/16 13:26:34.85 nSQkECn5M.net
Don't get on the chart

393:デフォルトの名無しさん
22/02/17 08:54:47.80 AsBd8CHT0.net
>>381
仕事で活かすならまずは社内のERPやCRMで得られるcsvファイルを加工する所から始めるといいと思う
時系列データの加工やtableの集約、簡単なクラスタ分析で傾向視覚化することに慣れて、そこから色々なライブラリの活用などを勉強して適用範囲を増やすといいのでは?
ネットにも色々と情報があるけど、個人的にはamazonのUse Rシリーズの本から興味のありそうな本を買って読んで使っている
当たり外れがあるけど、個人の趣味と仕事の実益を兼ねられるので悪くないと思っている
これで休日や移動時間の使い方もかなり変わったけど、コロナで余計な飲み会などがなくなってよかったかも

394:デフォルトの名無しさん
22/02/19 22:32:37.76 qf8G19DW0.net
>>387
ありがとうございます。
勉強するにはいい環境になりましたよね。
しかし、use R 高いですね!

395:デフォルトの名無しさん
22/02/20 18:59:22.79 JIYDVwQs0.net
転移学習てすごいとおもいました

396:デフォルトの名無しさん
22/02/20 19:20:15.07 9jCFrF3j0.net
>>388
確かに高いのでAmazonの関連書籍を探してみてもいいと思います
Packt社のRシリーズもコード付きで結構良かったと思います
日本語の書籍でも色々と出ていますね

397:デフォルトの名無しさん
22/02/21 00:01:27.48 BJPaf2drp.net
仮想通貨botterデビューしたいんだがどこから始めればいいのやら

398:デフォルトの名無しさん
22/02/21 00:01:49.58 BJPaf2drp.net
リッチマンさんの本も買って読んだんだが初心者には厳しい

399:デフォルトの名無しさん
22/02/21 04:18:03.59 qxYV5dXga.net
>>392
あれがわからないなら基礎が抜けてるから機械学習の勉強すべき
まず学習に使うアルゴリズムである勾配ブースティングを理解する(ぶっちゃけこれ以外は捨てて良い)
次に予測に使うための特徴量エンジニアリングの勉強
この2つをやればまずは基礎はクリアできるし
実際あの本でやってるのもこの2つを雑に説明しいるだけ
本質的な部分は全部隠されてるから自分でやるしかない

400:デフォルトの名無しさん
22/02/21 05:40:37.41 pVfu0NQOp.net
>>393
オススメの本かサイトありますか?

401:デフォルトの名無しさん
22/02/21 12:24:47.43 2NsewvNeM.net
リッチマンて誰?

402:デフォルトの名無しさん
22/02/21 13:26:31.45 UNQqZbc00.net
>>395
richmanbtc

403:デフォルトの名無しさん
22/02/21 16:51:47.61 nXH9Q7SEM.net
ファインチューニングも転移学習だよね?

404:デフォルトの名無しさん
22/02/21 19:19:44.00 qxYV5dXga.net
>>394
ないっす
とりあえずlightgbmを理解しな?
あの本でも使われてる
ほぼあらゆる回帰と分類はこのアルゴリズムによって精度が上がることがkaggleで実証されてる

405:デフォルトの名無しさん
22/02/25 21:52:09.08 jsx2tRykM.net
> お前は毎朝起きるたびに俺に負けたことを思い出すよ^^
あー、ホンッとに思い出すなあ(笑)
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い!」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君!
クソチョンw
クソチョンはウンコを食べる糞食人種w
クソチョンはゲリ便をじゅるじゅると
うまそうに食うw

406:デフォルトの名無しさん
22/02/26 17:09:49.03 Mo92dIkS0.net
100万クラスの物体認識てどう実装すればいいの?
mlpだけでメモリ不足になりそうなんだけど。。。

407:デフォルトの名無しさん
22/02/26 17:28:54.64 qwmlSYo70.net
そのくらいの多さだったら普通のクラシフィケーションはしない。
URLリンク(qiita.com)

408:デフォルトの名無しさん
22/02/26 17:40:32.48 ZKTTZM1Q0.net
>>400
Extreme classificationという研究分野があるけど、非実用的。
哺乳類>有袋類>カンガルー、的に段階的に認識する。

409:デフォルトの名無しさん
22/02/26 18:02:08.45 Mo92dIkS0.net
>>401
>>402
ありがとう!
調べてみるよ

410:デフォルトの名無しさん
22/02/28 21:24:48.02 +4dJWnM3a.net
>>400
学習データは何件くらいあるの?
100万クラスでゼロから学習だと、億単位が必要になりそう。

411:デフォルトの名無しさん
22/03/01 07:31:45.97 /hxGRmN70.net
小室哲哉が理研に入ってて草

412:デフォルトの名無しさん
22/03/01 17:37:55.12 /hxGRmN70.net
>>404
1クラスほぼ1枚、運が良くて2、3枚て感じ
転移学習でやるか、siftを使うしかないかと思ってた

413:デフォルトの名無しさん
22/03/01 18:02:29.10 FuAp7249a.net
普通の十数クラスでも数枚じゃろくな結果にならないのに
100万クラスで数枚だと絶望だよ

414:デフォルトの名無しさん
22/03/01 18:51:28.00 3Psft4do0.net
百万クラスが互いに余程かけ離れた特徴量を持ってる対象とかですかね。
クラスタリングとかならわかりますけども、分類だと分岐の調整がほぼ働きませんし訓練データに対してさえ精度でなさそうですね。

415:デフォルトの名無しさん
22/03/04 17:53:22.48 ttmxFHAC0.net
metric learningが良くね?

416:デフォルトの名無しさん
22/03/07 20:19:41.23 rt5+4z1/0.net
統計検定4級って社会人が受けてたら浮く?

417:デフォルトの名無しさん
22/03/07 20:19:49.19 rt5+4z1/0.net
28歳です

418:デフォルトの名無しさん
22/03/07 21:07:31.50 tkIiu1D0M.net
今は1級を除いてCBT試験(オンライン試験)しかないから浮くとか浮かないとかないぞ。

419:デフォルトの名無しさん
22/03/08 03:35:43.59 j86Alb1Kp.net
中学数学からやり直さなきゃいけないレベルだったorz
とりま統計学が最強の学問である(数学編)を参考に最短ルートを行く

420:デフォルトの名無しさん
22/03/08 20:00:59.24 oZ6/P7l70.net
混乱してるんだけど
↓の理解で良いの?
表現学習
└距離学習
 └対照学習

421:デフォルトの名無しさん
22/03/08 20:29:30.66 UoI28FIv0.net
>>414
距離と対照は包含関係ではない

422:デフォルトの名無しさん
22/03/08 20:39:17.51 cb69q7TIa.net
日本語に訳してるのが混乱の元のような気がしてならない

423:デフォルトの名無しさん
22/03/08 20:54:13.09 oZ6/P7l70.net
contrastive lossによるmetric learningと
contrastive learningて微妙に違うの?コンテキストが違う感じ?

424:デフォルトの名無しさん
22/03/10 02:36:40.93 9EXgn1350.net
メトリックで探索する用途じゃなくてpre-trainのためのcontrastive learningというのはある。

425:デフォルトの名無しさん
22/03/12 15:52:28.60 uM+A2K8xa.net
サポートベクター回帰とカーネル回帰って同じですか?

426:デフォルトの名無しさん
22/03/12 18:10:34.04 dyEMn7KC0.net


427:デフォルトの名無しさん
22/03/12 20:01:47.52 LmAttRcX0.net
企画職で、プログラミングできないなりに勉強してて、何かしら予測するところまではできるようになった。
ただ精度を検証したり精度上げたりってとこがうまく出来ないから、仕事で使うには難しいね。

428:デフォルトの名無しさん
22/03/12 20:43:47.27 gcF4cN34a.net
>>421
精度上げるならドメイン知識豊富な企画職の方が有利かもしれない。
予測に寄与しそうな特徴量を考えるのが大切だから。

429:デフォルトの名無しさん
22/03/12 21:45:40.55 rU52NueIa.net
ランダムにサンプルを分けるんじゃなくて、あらかじめ決められた膨大なサンプルでバギングってできますか?

430:デフォルトの名無しさん
22/03/13 00:12:08.08 Il614IX30.net
>>422
確かに。よそのチームに掛け合ってデータとってくるとか、そういうのは得意かな!
ただ、それで精度上がったとかよくわかんなくて悩む。予測の出し方とか解説してる記事とかはよく見るけど、どうやってそれを継続的に運用発展させるのかわかる本が欲しいよね

431:デフォルトの名無しさん
22/03/13 00:27:37.40 RAUtzhZX0.net
ランダムフォレストが特徴量を選択する性質がありますね。
ただそれを頼ってなんでも放り込んでしまうと学習コストが跳ね上がるので、結局は設計者が選別したものを使うのですが。
他にアルゴリズム自体が特徴量を選択する手法ってありますかね?

432:デフォルトの名無しさん
22/03/13 02:18:47.32 kmu2JeApa.net
>>424
表形式データならXGBoostに入れてハイパラ調整するだけじゃないの?

433:デフォルトの名無しさん
22/03/13 06:36:10.83 AxgJmjg/a.net
>>421
仕事で使う場合、MLは目的ではなくて手段だと考えないと。誰の目にも見える形で成果を出さないと評価はされない。
詳しいことは河本:データ分析・AIを実務に活かす データドリブン思考などを参照。

434:デフォルトの名無しさん
22/03/13 10:01:59.98 CLd+TFnM0.net
>>424
MLOpsっていう分野だけど正解は無いから、どこも悩んでいる

435:デフォルトの名無しさん
22/03/13 10:41:45.71 CGmKfYtk0.net
専門家じゃなくても現場レベルで機械学習適用が容易になってきてるからね
画像分類やらテーブル形式データからの予測とか、もう誰でもできるレベルだし
これからは何か他に専門を持って、その課題解決に機械学習適用するのがいいよ

436:デフォルトの名無しさん
22/03/13 11:05:33.21 Il614IX30.net
>>427
ありがとう、読んでみるよ!
>>429
そうだね、思ったより簡単だった。今はいろんな実務の人に実演して驚いてもらって、一緒に課題を見つける協力関係つくるのをがんばってる

437:デフォルトの名無しさん
22/03/13 17:11:48.11 BGsB05Tfp.net
「マスターアルゴリズム」って本面白いな
まだ序盤までしか読んでないけどワクワクしてくる
「われわれは仮想世界を生きている」も最高に知的好奇心くすぐられたり今年は当たり本によく当たるわ

438:デフォルトの名無しさん
22/03/13 17:12:46.30 BGsB05Tfp.net
>>421
君たいな人にこそ「マスターアルゴリズム」はオススメっぽい

439:デフォルトの名無しさん
22/03/13 22:04:56.57 Eg2cTOah0.net
> お前は毎朝起きるたびに俺に負けたことを思い出すよ^^
あー、ホンッとに思い出すなあ(笑)
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い!」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君!
クソチョンw
クソチョンはウンコを食べる糞食人種w
クソチョンはゲリ便をじゅるじゅると
うまそうに食うw

440:デフォルトの名無しさん
22/03/14 09:43:51.31 FoWlqH9xp.net
でもさ、ぶっちゃけ機械学習の研究者やエンジニアよりデザイナーとかアーティストとかクリエイティブ系とかの方が文化的にも世界を豊かに彩って楽しくしてれるよね
人工知能は発展していけばインフラみたいになるものだし、そこからはより人間らしく創造的な活動が重要になる
結局、人にしか出来ないようなスキルの方が本質なんだと思うわ

441:デフォルトの名無しさん
22/03/14 09:45:43.27 FoWlqH9xp.net
芸術家の方がカッコいいしモテるんだよなあ
数学やプログラミング出来たって「わあすごーい」と言われるだけで、、、辛えわ

442:デフォルトの名無しさん
22/03/14 10:10:47.18 5Usr8w4I0.net
どうでもよくてわろた

443:デフォルトの名無しさん
22/03/14 10:42:35.45 FoWlqH9xp.net
どうせなら大きな経済的成功を成さないと機械学習やってる意味ねえから仮想通貨botterにでも転生しようかと思ってる

444:デフォルトの名無しさん
22/03/14 11:19:15.97 x/d2BPmba.net
どうぞどうぞ

445:デフォルトの名無しさん
22/03/14 11:26:19.84 XtxfFNUva.net
伸びてると思ったら書き込み一人だけ。しかもポエム系w

446:デフォルトの名無しさん
22/03/14 20:22:26.24 Yv2yZ3azM.net
アートで食ってくのと、数理的スキルで食ってくの、楽なのは圧倒的に後者
数理的スキルそれなりにあったらそこそこ割の良い仕事取れると思うけどなあ
そう思えないんだとしたら多分案件を探している市場がミスマッチなんだと思うけどな

447:デフォルトの名無しさん
22/03/15 00:56:33.52 hoTvDLrvp.net
リーマン的な思考から来る小銭稼ぎならそうだろうね
そもそも今どの市場でも数理的スキル持ってたらアンマッチなんてまず起きない
ただ>>435みたいなのはエンジニアでは無理だし、億単位の圧倒的な成功も余程卓越したものを持ってないと無理
俺はリーマン的成功には何の興味も無いんだよ

448:デフォルトの名無しさん
22/03/15 07:56:41.40 dAfhO/vu0.net
自分もマスターアルゴリズム買った
たしかにいい本だね
本屋で表紙見かけた時ラノベか何かかと思ってたw

449:デフォルトの名無しさん
22/03/15 10:50:00.24 uMMbd4OGp.net
>>442
わいも本屋で何気に手に取ってパラパラっと見たら良本の匂いがしたから即買ったクチ
仮想通貨botで市場から資金調達しつつ、マスターアルゴリズムや真理の探究するわ

450:デフォルトの名無しさん
22/03/15 12:33:22.68 IHRlJ72h0.net
マスターアルゴリズム、って学部1, 2年生には魅力的な内容かも
エッセイだし

451:デフォルトの名無しさん
22/03/15 23:51:36.94 bmN8unQB0.net
>>441
分野がアートだろうとクリエイターだろうとエンジニアだろうと億単位の圧倒的な成功なんて一握りだろ
戦略コンサルとかにでも転職したらいいんじゃね、そんなに成功にこだわるなら
アートもクリエイターもエンジニアも成功を目指して選ぶ業態というよりは、金銭より大事なものがあってどうしても金に心を売れない人種がする仕事だと思うがなあ
夢見すぎだよ

452:デフォルトの名無しさん
22/03/16 18:55:26.68 fZVtDLaMp.net
エンジニアは金銭目当てだよ
特に昨今の機械学習ブーム見れば一目瞭然
少なくともアーティストやクリエイターと同列扱いなど勘違いも甚だしい、次元が違う

453:デフォルトの名無しさん
22/03/16 19:09:10.14 7OKKR0BUM.net
ヒントンやルカンやベンジオがアーティストか?違うだろ

454:デフォルトの名無しさん
22/03/16 19:10:19.19 7OKKR0BUM.net
smtやってた連中は金融に行って大儲けした

455:デフォルトの名無しさん
22/03/19 21:48:51.08 JtgPwbGW0.net
こういうのはどういう仕組みなんですか?
11万件のデータを学習させているそうです
なんとなく胡散臭いような…
URLリンク(twitter.com)
(deleted an unsolicited ad)

456:デフォルトの名無しさん
22/03/19 22:09:24.89 5pRz1xqY0.net
>>449
ウソです

457:デフォルトの名無しさん
22/03/20 11:21:04.95 2NkKmYw70.net
anacondaってゆうほど便利じゃなくない?
モジュールのインストールが超遅かったりコンフリクト解決してくれなかったり

458:デフォルトの名無しさん
22/03/20 11:44:01.28 RMYANpbIa.net
conda install使うとはまるな
総合的に普通よりもちょい上ぐらいのイメージ

459:デフォルトの名無しさん
22/03/20 18:44:56.60 AqIDsxxna.net
>>451
ソースコードからPython実行環境を構築してみると分かる。パッケージ管理ツールの有り難さが。
文句を言う前に自分が努力してみよう。

460:デフォルトの名無しさん
22/03/20 18:46:40.29 2NkKmYw70.net
opencvのインストール、6時間経っても終わんない😭

461:デフォルトの名無しさん
22/03/20 20:22:45.30 2NkKmYw70.net
>>453
普段はpip使ってるけど使いたいライブラリがanacondaおすすめしてたから使ってみたらこうだよ(o´・ω・`o)

462:デフォルトの名無しさん
22/03/20 23:28:12.61 clBqY9hv0.net
condaは仮想環境構築には便利

463:デフォルトの名無しさん
22/03/21 00:56:53.16 avj/Dp0k0.net
anaconda は、モジュールの依存を解決してくれないの?
嘘でしょ? そんなパッケージマネージャーってある?
Ubuntu のapt, Ruby のBundler, Node.js のnpm/yarn は、依存を解決するけど

464:デフォルトの名無しさん
22/03/21 01:12:35.94 ft3mqpFHa.net
anaconda今年から商用利用有料になったからminicondaに変えて取得リポジトリ変えないといけない
だったらvenvで環境切ってpipで自分で解決したほうがいい

465:デフォルトの名無しさん
22/03/21 06:35:51.00 RxCXPNTc0.net
wordcloudって面白いけど
単語の重みの数値とか単語間の繋がりの数値とか順位とかを出力してくれる機能はあるのかなあ?

466:デフォルトの名無しさん
22/03/21 18:06:01.26 xxek/EEk0.net
>>459
特定ライブラリの機能じゃないから実装によるだろ

467:デフォルトの名無しさん
22/03/22 10:26:04.56 123isjY5M.net
谷中瞳とか女はイージーで良いなあ
広告塔にもなるし

468:デフォルトの名無しさん
22/03/23 10:09:00.76 UN1vKWzyr.net



469:pydotplusとgraphvizいいなあ



470:デフォルトの名無しさん
22/03/29 01:28:15.27 omLa31ht0.net
optunaって、同じパラメータを重複して試行することあるよね?
仕様なの?

471:デフォルトの名無しさん
22/04/02 06:29:57.41 SlF55qRa0.net
当方超絶初心者なのですが質問をお許しください。
やりたいことは、5小節分のベートーヴェンの楽譜をデータセットとして、
学習後諸パラメータからベートーヴェンの曲のある瞬間の音を推論するというもの
その際、まずは手作業で一小節づつ手作業でデータセットを作り、
また目標値を単純にある音の次の音、ということにしました。
つまり一つの音に音高・音価・音量等があるのですが、それが四声同時に鳴るので、
3×4×(記録する音との数)という3次元配列なのですが、目標値もまた3次元配列です。
このとき、from chainer import Sequentialして
入力変数を12、出力変数と12として、
目的関数を適切に選べばやりたいことができるでしょうか(最終的にはライブで、自分の演奏を一定期間学習させてリアルタイムに学習済みモデルを作り、こちらの入力に対し推論値をOSCで演奏システムの方に送ってパラメータを設定させる、ということを考えています)
またその際の目的関数として何が適切なのかも教えて頂けると幸いです。

472:デフォルトの名無しさん
22/04/04 18:40:17.74 oFLIZQp1a.net
そういう単純な方法だとだいたいにおいて目的にかなわない推測になるなw
適当にぐぐってそこから論文みつけてreferenceおっかけて方法ぱくるのがいいと思う
URLリンク(towardsdatascience.com)
URLリンク(arxiv.org)

473:デフォルトの名無しさん
22/04/04 21:41:20.09 6BKqFtko0.net
題材が面白い

474:デフォルトの名無しさん
22/04/08 11:39:54.46 JzsOoP0Ma.net
家庭用PCで学習できるオススメのレコメンドシステム教えて下さい

475:デフォルトの名無しさん
22/04/08 12:41:14.77 ViZWtTWj0.net
協調フィルタリング

476:デフォルトの名無しさん
22/04/09 07:31:19.07 RkeIeVAB0.net
>>465
ご紹介ありがとうございます、リンク先凄いですね・・・
ただ今回は、オーディオを扱うのでなく、あくまで自作ソフトウェアシンセの
各パラメータを学習させて、それを自動演奏させるのが目的なので、
MIDI信号つまり小数の配列で十分なのです。
そこで方策として、
まず教師用データとして、一定時間自分の演奏を記録(各パラメータをPythonに送りそれぞれ一次元配列に格納しておく)
入力用データとして、そのあと同じ時間(つまり同じ長さ分の配列)自分の演奏を記録して、それを入力用データとする
アウトプットをソフトウェアシンセに送り返して、パラメータとして設定
という大まかなものが出来ました。
ところで本当によくわかってないので初歩的な質問を失礼しますが、目標値やラベルが必要だと思うのですが、ここでそれに当たるものは何なのでしょうか・・?
自分のシンセのパラメータは20個くらいを考えています。それらを20個の配列に記録したとして、これを教師用データとしたとして、ある入力(20個のパラメータ)に対してその予測として20個のパラメータを推論してくれれば嬉しいのですが・・・
普通だったら複数のパラメータから、一つの別のパラメータを予測するものですよね。
考え方が混乱しているので、ご指南いただけますと幸いです。

477:デフォルトの名無しさん
22/04/09 11:08:34.82 wsR7En4lM.net
時系列かなと思ったけど
あんまり履歴情報は使わないの?

478:デフォルトの名無しさん
22/04/09 11:52:07.89 RkeIeVAB0.net
時系列、ということは例えば、データセットとして演奏データを送ったとして、
データ送信終了するときの一番最新のものを、目標値として使う、などということでしょうか。

479:デフォルトの名無しさん
22/04/09 22:36:41.08 ldStXoeua.net
クロスエントロピー誤差の偏微分って出力変数の合計が1になるって制約は考えなくていいのはナゼ(・・?
出力変数がz1とz2の2つならz1について偏微分するときはz2=1-z1としなくていい?

480:デフォルトの名無しさん
22/04/10 01:24:56.83 EKUiWMOD0.net
偏微分する変数はソフトマックスの前だから合計1の制約はない

481:デフォルトの名無しさん (ワッチョイ 1a55-wAOu [59.147.205.222])
22/04/11 09:22:54 lzGgtjtn0.net
新しく出たCLRS著『Introduction to Algorithms 4th Edition』

ですが、機械学習についての章が追加されましたね。

482:デフォルトの名無しさん
22/04/11 16:05:56.30 2fSBGaeoa.net
>>474
いらねーと思ったけどよく考えたらあらゆるジャンルのアルゴリズム扱ってたし
入れてもいいか

483:デフォルトの名無しさん
22/04/11 16:12:26.88 TQ9uCke7M.net
機械学習アルゴリズムは四則演算並みに常識化するのかも

484:デフォルトの名無しさん
22/04/11 17:10:35.01 qTt+hl+J0.net
>>476
アルゴリズムは知らなくても使えますし常識化はしないんじゃないですかね。
仕組みは分からないがツール経由で使い方を知っていると言うところに落ち着くのではないかと。

485:デフォルトの名無しさん
22/04/17 17:45:40.20 eq30vPTz0.net
セマンティックセグメンテーションを試そうとcolaboratoryでやろうとして
yolactは本家のデータセットが入ってないから止めた
そもそもyolactではPyTorchは1.4以上お薦めなのにPyTorch本家の指示に従うと1.1になってしまう
それでsemamtic segmentationという名前ので試そうとしたら今度はopenCVのバージョンを4.5でなく4.4に
する必要があった
しかも今度は教師データにアノテーションデータフォルダなしでこれも動かない
ちゃんとデータセット揃ってるのでやり直そう

486:デフォルトの名無しさん
22/04/17 19:37:04.77 JJettxAE0.net
ここは日記帳じゃな…

487:デフォルトの名無しさん
22/04/17 19:39:58.71 26nIbAS60.net
だってまともな書き込み少ないし

488:デフォルトの名無しさん
22/04/17 23:46:59.59 eq30vPTz0.net
データセットが揃ってる資料を使ってやってみたら
何とか最後まで行き着いた
しかし
1. PyTorch公式でpipすべきバージョンを調べた後で
わざわざそれと違う1.4をインストールするとか
opencvも4.4にするとか色々変える
2. 一見丁寧に書いてある資料と思わせて
公式のipynbの資料とやっぱり違ってて
そのまま丸写しすると
validdataのフォルダが作られてなかったり穴だらけになる
等などで、
「ここは最初の資料ではこう書いてあるがこうやらないと動かないぞ!!!!!」
と#コメント文が山のようにくっ付いたcolabの資料が完成した次第
しかし、別の時間帯に試したらGPUがK80とかT4とかだったりで
GPUガチャは避けられないからなあ

489:ハノン
22/04/18 00:02:15.50 fO2jMkbS0.net
>>29
さてそれはどうでしょうか
実は1月~3月ほど強度のストレス下にあり、一睡もできない日々が2ヶ月続きました(体力維持のためしっかり食べてビタミン剤で補強しても体重は15kgも減りました)が、じゃあ記憶が全然できなかったかというとそうでもなかったです…
今ではサイコパス呼ばわりされちゃっています、私は結構タフですねえ…

490:デフォルトの名無しさん
22/04/18 01:44:31.01 0HwQROji0.net
本当に2ヶ月(24x60=1440時間)覚醒し続けたならもう死んでる。
つまり、2ヶ月一睡もしなかったというのは妄想。そりゃ精神障害扱いされるわ。

491:デフォルトの名無しさん
22/04/18 10:27:14.26 ldvKvDDSM.net
今yandexクラウドって日本から契約できるかな?

492:デフォルトの名無しさん
22/04/23 00:30:31.12 dMbrZ21D0.net
機械学習メインでやってる人からすると、例えばGLMみたいな統計モデリングはどういう扱い?機械学習の一部?

493:デフォルトの名無しさん
22/04/23 00:48:26.73 vni05tAU0.net
学習データを元にモデルのパラメータを推定するんだから機械学習

494:デフォルトの名無しさん
22/04/23 20:31:19.17 YDHn6dIe0.net
最小二乗法も機械学習?

495:デフォルトの名無しさん
22/04/23 23:00:18.32 1pRqwchI0.net
うん

496:デフォルトの名無しさん (ワッチョイ cf63-g9NX [153.169.32.251])
22/04/23 23:24:04 KO5U6zCs0.net
というより機械学習が統計崩れ

497:デフォルトの名無しさん (ワッチョイ 6ff7-pAiX [61.25.140.151])
22/04/24 00:02:27 XmcVNZmY0.net
> お前は毎朝起きるたびに俺に負けたことを思い出すよ^^

あー、ホンッとに思い出すなあ(笑)
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い!」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君!

クソチョンw
クソチョンはウンコを食べる糞食人種w
クソチョンはゲリ便をじゅるじゅると
うまそうに食うw

498:デフォルトの名無しさん
22/04/24 02:26:30.49 zMrq6bhEM.net
最小二乗法は機械学習ではないな
計算過程に学習が必要でないから

499:デフォルトの名無しさん
22/04/24 03:32:27.95 JMbxt0Az0.net
「学習」という言葉をどう定義しているの?

500:デフォルトの名無しさん (アウアウウー Sa47-Ok77 [106.146.59.54])
22/04/24 09:31:15 O71gCCTUa.net
学習用データに応じて結果が変わるんだから最小二乗法も学習してるでしょ

501:デフォルトの名無しさん
22/04/24 16:32:36.67 2A9d2NDv0.net
クラスタリングも機械学習定期

502:デフォルトの名無しさん (ワッチョイ df10-rbym [153.243.53.4])
22/04/24 17:33:03 WgEnBMjc0.net
最近傍法も機械学習

503:デフォルトの名無しさん
22/04/24 17:57:41.63 +Nm8DxZxd.net
〇〇はAIですかも同系統の質問だけど何でそんなことが気になるのか不思議

504:デフォルトの名無しさん
22/04/24 21:10:28.13 C8yoCkZdM.net
いや最小二乗法は解析的に解くから学習してないだろう
学習の定義とかしらんが、機械学習ではない

505:デフォルトの名無しさん
22/04/24 21:13:53.85 +sg2jP07d.net
評価関数をMSEにして回帰してるなら機械学習

506:デフォルトの名無しさん
22/04/24 22:11:05.81 WgEnBMjc0.net
>>497
解析的に解けるかどうかってそんなに重要か?
最小二乗法をあえて確率的勾配法で解いたら機械学習と呼べる?
データが大量でメモリに乗らない時に使う手段だが

507:デフォルトの名無しさん (アウアウウー Sa47-mHJH [106.154.70.188])
22/04/24 23:04:26 b8mqC9pha.net
MLの定義なんて決まってないからな
入れる奴もいれば入れない奴もいるってだけ
俺は最小二乗法も入ると考えてるけど、内心では古典的なクラスタリング含めてそんなもんML扱いすんなよと思ってる

508:デフォルトの名無しさん
22/04/25 08:28:54.71 WWt+XW3b0.net
こんなこと言っても線形回帰に精度で負けちゃうんだよね

509:デフォルトの名無しさん
22/04/25 17:57:03.33 W8GcUQ3oM.net
成田悠輔ってどうよ?

510:デフォルトの名無しさん (ワッチョイ ab63-UtWS [180.22.54.207])
22/04/26 01:25:38 Kn8thUra0.net
回帰の勾配ブースティング木の勾配がMSEの微分で残差となるのは理解できたのですが、
分類問題の場合の各決定木の勾配って何になるのでしょうか?

511:デフォルトの名無しさん (ワッチョイ db6e-7xH5 [138.64.67.32])
22/04/26 06:10:44 +JXXpgOw0.net
mse

512:デフォルトの名無しさん
22/04/27 14:32:11.91 iTC4QIl5M.net
lecunとbengioとhintonは普通の研究者のひ


513:とつ上のレベルにいるのな 大体の技術の先駆者で驚愕 最近のlecunのインタビュー読んだけどまだアイデアがあるみたいだな arcfaceでひーこら言ってる俺とは違いすぎて挫折感ハンパない



514:デフォルトの名無しさん
22/04/28 01:23:19.89 jP1CmVa/0.net
割と微妙かな。いうほどクリティカルな論文は出してないんじゃ。

515:デフォルトの名無しさん (ワンミングク MM4f-7xH5 [60.45.221.227])
22/04/28 13:28:27 oc5VTTvkM.net
東大がディープフェイク検出アルゴリズムを出したみたい

516:デフォルトの名無しさん
22/04/28 13:39:10.55 moo4Gf/Ba.net
まばたきしないとか髪ぼやけるとか、人間なら検出できるって言ってたからな
そのうちディープフェイク側が精度上がるだろ

517:デフォルトの名無しさん (ワッチョイ 8b5f-MOU1 [14.12.4.1])
22/04/28 14:29:37 jP1CmVa/0.net
てかそうやって進歩させるのがGANのコンセプトではあるわな。

518:デフォルトの名無しさん
22/04/28 20:37:53.29 bi7reEEy0.net
違う

519:デフォルトの名無しさん
22/05/07 06:55:36.29 u2uFhB8a0.net
Qiita のこの記事、実にいいなぁ
機械学習でなんとかしようと安易に考えるな
URLリンク(qiita.com)
ディープラーニングなら学習すればできるんでしょ、と言う奴、どっか遠くの星にでもに行ってほしい

520:デフォルトの名無しさん
22/05/07 07:29:24.11 u2uFhB8a0.net
たとえば、お客さんが受け取った帳票が領収書か請求書かを自動判別したい場合、
今まで受け取った領収書と請求書の画像を学習データにしてDLに学習させて、できた簡単とか言う奴いるけど
・未知の帳票フォーマットに対して有効なのかそれ?
・受け取った帳票は全部印字・記入済なんだが、そんなんで学習していいのか?(未記入帳票は不要なの?)
そんなんには怖くってまかせられないんだが、おいらの感覚は合ってるよね

521:デフォルトの名無しさん
22/05/07 07:52:28.76 u2uFhB8a0.net
たとえば文字枠のある用紙に書かれた手書き文字を OCR する場合
・手書き文字だから枠からはみ出すし、はみ出す位置もさまざまだし、
・文字枠も1桁ごとだったり3桁ごとだったり点線だったりキリがない
こういうのは対象画像をそのまま(枠付きで)DLに学習させても、読めますよなんてとても言えんと思うんだが。最近はそうでもないのか?
昔は専門家がデータ眺めてうんうん唸ってロジックを考えていたが、そういうのも大切だよねと

522:デフォルトの名無しさん
22/05/07 08:12:58.95 u2uFhB8a0.net
あと、学習データで評価してお客に報告するアホ技術者?もシリウスβあたりに左遷して欲しい
スキャンしなおしたら同じ紙でも別データだよね、とかいうやつも
正読率80%はぎりぎり最低ラインで、どんな方法を使ってもこの程度はいきます
95%を超えるあたりからが勝負です。頑張りましょうね。と言いたい

523:デフォルトの名無しさん
22/05/07 12:37:56.46 Gp5QHcLl0.net
simclrはしんくらーで良いの?

524:デフォルトの名無しさん
22/05/07 13:07:42.38 TDwBHkCb0.net
>>512-514
基本的に事前に確認しておく内容かと
後から言われても対処できんよ

525:デフォルトの名無しさん
22/05/07 13:59:18.26 u2uFhB8a0.net
>>516
誰が何を確認するの?
学習データとして妥当なのかそれ、という話なんだが

526:デフォルトの名無しさん
22/05/07 14:17:45.58 TDwBHkCb0.net
学習データの妥当性や追加のデータが必要かどうかも普通は打ち合わせしとくよね?
最終的なアウトプットを出す為に必要なデータもエンジニアから提案あるよね?

527:デフォルトの名無しさん
22/05/07 14:31:19.87 9e79BjZl0.net
学習データが1000万件ぐらいあれば話が変わってくるけど
現実にあるのはせいぜい1万件、ひどいと100件ぐらいで
何とかしてくれと言ってくる

528:デフォルトの名無しさん
22/05/07 14:35:10.26 TDwBHkCb0.net
無茶なこと言ってくる人多いからね
最初にはっきりさせておかないと後々面倒になるんだよ
今は周りも大分理解が進んできてるけどさ

529:デフォルトの名無しさん
22/05/07 14:51:30.69 cvuJwPv2a.net
「100件でやれ」といわれて「それじゃ少なすぎてできない」というのは簡単だけど
本当にできないとは限らないからな
そこが難しいところなんだよ
「やる気になれない」とか「俺には無理」ってだけ

530:デフォルトの名無しさん
22/05/07 15:00:50.77 u2uFhB8a0.net
>>518
学習データの妥当性って基本的にベンダー側が確認するもんだよね?
お客さん的には、領収書と請求書が見分けられる提案が貰えれば、他はどうでもいい。
ベンダー側の危機感知能力に依存するんじゃないだろうか。
しくじると悲惨。しかも試験運用では完璧だったりする。

531:デフォルトの名無しさん
22/05/07 15:02:08.44 TDwBHkCb0.net
自分の研究開発テーマだったら取り組む
他部門からの依頼だと確証が持てないから断るかな

532:デフォルトの名無しさん
22/05/09 20:40:18.05 nBUQfFjcH.net
初心者の質問ですみません
学習中にバッチサイズを変更すると、lossとaccuracyが変わってしまうんですが、
バッチサイズによって収束値が変わるってことでしょうか?
それだとバッチサイズの設定が結果の精度に影響しませんか?

533:デフォルトの名無しさん
22/05/10 08:13:30.90 /XkHfgKF0.net
>>524
影響するよー。だからハイパーパラメータの調整はバッチサイズも含むんだよー。ミニバッチが内部的に何やってるかはググってね。でも、ざっくり、学習パラメータ最適化時のサンプリングサイズだと思えばいいよー

534:デフォルトの名無しさん
22/05/10 08:51:59.10 NCnPeIRkH.net
>>525
ありがとうございます
やっぱり影響するんですね
そうなると、モデルの作り方、パラメータの設定方法、必ず正しいというやり方がないので、
初心者にはハードルが高いですね
もうある程度適当にエイヤーでやってみるしかないですね

535:デフォルトの名無しさん
22/05/10 08:59:18.09 /XkHfgKF0.net
>>526
正しいやり方はないけど、単純なアルゴリズムでベースラインモデル作って評価基準を作り、独自のモデルがそれと比較して優位かを確認しながら進めるという、方法論のテンプレはあるよー。
今ならAutoMLを使うのもいいねー。対応しているタスクならだけどねー

536:デフォルトの名無しさん
22/05/10 09:43:02.83 Kl+PeJSAH.net
>>527
AutoML、初めて知りました
無知でもできそうですねw
試しに入れてみました
いろいろ勉強できそうです
教えてくださりありがとうございました

537:デフォルトの名無しさん (JP 0Hca-IBC7 [103.163.220.59])
22/05/10 11:29:37 a3woWy82H.net
tpot自動すぎて怖いwww
エポック数すら指定しないし
追加学習したほうがよさそうなのにこれ以上は過学習になるんだろうか

538:デフォルトの名無しさん
22/05/10 13:14:08.17 zWCxNbfy0.net
バッチはサイズだけでなくサンプルのまとめ方が重要になる場合も
たとえば数字の文字認識をする場合は1つのバッチに0-9のサンプルがバランスよく
含まれるようにした方が学習がうまく行く
逆に、0だけ、1だけとかでバッチを作ってしまうとなかなか収束しなくなる

539:デフォルトの名無しさん
22/05/10 13:20:34.71 OS09Ye+10.net
前にtpot使ったけどボロボロだったぞ

540:デフォルトの名無しさん
22/05/10 14:00:41.96 J0ydLFpDH.net
>>531
正直あんまり収束してない感じなので追加学習させたいのですが、やり方がわかりませんw

541:デフォルトの名無しさん
22/05/10 18:02:27.33 A/IfvceU0.net
>>530
確かにそういうこと起こりそうだけど、なんか指摘してる論文てあったっけ?

542:デフォルトの名無しさん
22/05/10 18:17:38.04 /XkHfgKF0.net
>>533
具体的な論文は把握してないけど、時系列予測で考えると直感的な理解が得られ易いと思うよー

543:デフォルトの名無しさん
22/05/10 18:35:36.21 zWCxNbfy0.net
>>533
俺も論文とかはわからないが教科書に載ってるレベルの話なような
バッチのサンプルでまとめて勾配を計算するので、サンプルのバランスが悪いと
ウエイトがあっちに行ったりこっちに行ったりしてしまうが、
バランスが良いとあるべき方向に真っ直ぐ進みやすい、ということかなと直感的には理解している

544:デフォルトの名無しさん
22/05/10 18:51:37.71 gcxSlYEt0.net
・日立、週休3日で給与維持 生産性向上へ働き方改革 時間から成果へ転換
・日立、最低勤務時間を撤廃 「週休3日」も可能に
・2022年の新入社員、79.8%がテレワーク オフィスの必要性は?
・日立、富士通、NEC…「ジョブ型雇用」を大企業が続々導入する理由
・日立やNECが導入へ 「週休3日」は人材獲得の切り札
・リクルートグループ、週休「約3日」に。4月から年間休日を145日に増加へ
・カルビー/国内社員3900人を対象に副業解禁

545:デフォルトの名無しさん
22/05/10 19:37:35.64 rAiWhgPwx.net
>>535
確率的最急降下法だから、偏った方向に突き進むのは良くないとか、そういう次元の話だと思っていた

546:デフォルトの名無しさん
22/05/10 19:43:41.75 OS09Ye+10.net
そういうことかと

547:デフォルトの名無しさん
22/05/11 02:35:50.86 n/T4USjf0.net
確率的勾配降下法と最急降下法が混じってないか?
最急降下法 : 全サンプルで一度に勾配を求めてウエイトを更新
確率的勾配降下法:1サンプル毎に勾配を求めてウエイトを更新
ミニバッチ勾配降下法:ミニバッチ毎に勾配を求めてウエイトを更新
んで >>524- あたりから話してるのはミニバッチ勾配降下法についてね

548:デフォルトの名無しさん
22/05/11 03:49:48.40 2hlm/96F0.net
ごめん訂正ありがと

549:デフォルトの名無しさん
22/05/11 06:58:42.56 168GVk5R0.net
ミニバッチも偏ってたら駄目じゃない?

550:デフォルトの名無しさん
22/05/11 09:33:13.11 2hlm/96F0.net
駄目だよね
偏ったサンプルの気持ちいい場所に捕まってしまう

551:デフォルトの名無しさん
22/05/11 09:43:34.76 n/T4USjf0.net
確率的勾配降下法でもミニバッチでもサンプルの与え方が偏るのはダメ
普通は学習ツールがランダムシャッフルしてくれるから気にしなくてもだいたいうまく行くが
性質の違うデータの種類がいっぱいあるような場合はランダムに任せてるとバッチ内のサンプルが
偏りやすくなる場合がある
そのため、たいていの学習プラットフォームではバッチを生成する処理を上書きするための
手段が用意されてたりする
バッチの処理順序はランダムでok

552:デフォルトの名無しさん
22/05/11 13:57:20.69 SfomTu1y0.net
ミニバッチでもバッチのデータと全データで勾配方向が違うから確率的になるけどな
バッチサイズが小さいとそのズレは比較的大きくなる

553:デフォルトの名無しさん
22/05/11 15:02:21.52 F52sGOdk0.net
でもその差を理論的だったり実験的に検証してる論文はないんじゃない?

554:デフォルトの名無しさん
22/05/11 15:06:03.86 xW75jOAua.net
さすがにあるだろ。80年代にありそう

555:デフォルトの名無しさん
22/05/11 16:21:53.90 SfomTu1y0.net
学習に使う全データは実際に発生するデータの部分集合である事は変わらない
全データで勾配を計算したとしても母集団の情報を使っている事にはならないから確率的勾配降下とも解釈できる
あくまでも学習データに限定して最急降下というだけ
未知データに対する汎化能力で見ると最急降下になっているかは分からない

556:デフォルトの名無しさん
22/05/11 20:06:44.40 n/T4USjf0.net
それはなんかズレてるような
学習データでしか学習しない(勾配を求めて降下させることもない)んだから母集団とか持ち出さなくても
確率的と最急降下の本質的な違いは、確率的に学習することによりローカルミニマムを抜け出す
チャンスがあるかどうかなのでは
そういう意味ではミニバッチ法も確率的だというのはあってると思う

557:デフォルトの名無しさん
22/05/11 20:15:05.10 168GVk5R0.net
サイコロふってサンプル選んでミニバッチ作ることが確率的なの?

558:デフォルトの名無しさん
22/05/11 20:32:09.62 n/T4USjf0.net
サンプルの選び方によって勾配が変わるので学習の方向はあっち行ったりこっち行ったりする
でもどちらかと言うと正しい方向に進む確率の方がちょっとだけ高い
そういう意味で確率的、なんだと思う
これはアニーリング問題と同じで、分子を最初は大きくランダムに動かして
(でもちょっとだけ正しい方向に進みやすくして)少しずつ動きを小さくしていくと
最も安定したところに収束する
分子の動き=温度で、温度を十分にゆっくり下げると最適解に到達することが証明されてる
だからDLでも学習率(温度と等価)の下げ方が重要なんだが最近は自動になって便利だね

559:デフォルトの名無しさん
22/05/11 20:57:45.21 SfomTu1y0.net
>>548
テスト用にデータを分けておいて汎化能力を評価する
過学習になっていないかを確認するため
それでもその後運用すると未学習データに対する精度が要求より低かったりする

560:デフォルトの名無しさん
22/05/11 23:37:55.47 cJjkDDOX0.net
過学習
意味: うまくいかないときの言い訳

561:デフォルトの名無しさん
22/05/11 23:47:40.71 xXaj6qvMa.net
過学習できるってことはうまくいってるってことだよ

562:デフォルトの名無しさん
22/05/12 09:15:39.58 24mxIbhrM.net
初期の学習率てどうやって決めれば良いの? それとオプティマイザも

563:デフォルトの名無しさん
22/05/12 09:16:43.48 24mxIbhrM.net
adam選んどきゃ正解なの?

564:デフォルトの名無しさん
22/05/12 11:51:42.19 ssfk6Zuqa.net
ユニット数とかすべてひっくるめて、無限にある組み合わせの中から適当に選んで試しまくってよさげなのを決めるしかないよ
autokerasみたいなの使って半自動で探すのもいいけど、制限も多いから自力(コーディング)で探すのが楽

565:デフォルトの名無しさん
22/05/12 15:04:07.76 mMTw6/Aad.net
過学習なんて言葉いい加減禁句にしてほしい。
エラソぶったおっさんが学会でわかった口して過学習、過学習‥‥‥ブツブツ。、
(苦笑)

566:デフォルトの名無しさん
22/05/12 15:07:39.54 mMTw6/Aad.net
ただの造語に騙されないように‥‥‥

567:デフォルトの名無しさん (ササクッテロル Sp91-YKh1 [126.234.43.89])
22/05/12 15:30:13 TPnOtntRp.net
オーバーフィッティングならいいのか?

568:デフォルトの名無しさん (JP 0Hca-Ix6I [103.163.220.94])
22/05/12 17:20:58 l5soNYRaH.net
たとえばオセロや囲碁などのボードゲームではビットボードが使われてると思うんですが、
学習をさせるときは配列にビットを展開しないといけないんでしょうか?
それともインプットをビットボードの数値にしてもうまく学習できますか?
展開するとしたら結構な計算量とメモリ消費量になると思うのですが、現実どう処理されてるんでしょうか?

569:デフォルトの名無しさん (アウアウウー Sac5-e+q+ [106.154.69.155])
22/05/12 17:40:20 ssfk6Zuqa.net
bit単位で扱うことはないな。画像データのほうがはるかにメモリ食う
具体的にはゲーム処理は1マス1enum(内部的には4byteかな)でやるし、学習データは1マス1floatの割り当てでやる
オセロなら8x8マスだからfloat[64] 用意して自駒あるとこ1、敵-1、何もなしzero、入力マスク用にbool[64]用意して駒おけるとこだけtrueにして
lstmも何も使わない単純なPPOに突っ込むだけで一日で勝てないとこまでいくよ

570:デフォルトの名無しさん
22/05/12 18:07:08.93 XThBUtns0.net
配列のほとんどの部分が0なので
疎な配列、疎行列あたりのライブラリを使って
メモリを節約する

571:デフォルトの名無しさん
22/05/12 18:20:42.07 y2m3n7NiM.net
適当なオープンソースのやつみたら分かるんじゃね?

572:デフォルトの名無しさん
22/05/12 18:43:11.76 MKi5Gk5o0.net
>>555
3層パーセプトロンのような、小さいニューラルネットならAdam
VGGやResNetのような、深いネットワークなら、SGDが良いとされる
学習率はとりまデフォルトで様子見

573:デフォルトの名無しさん
22/05/12 19:08:36.43 eWCwulp9F.net
過学習の何が気に入らないのか
過学習は過学習だろ

574:デフォルトの名無しさん
22/05/12 19:13:03.75 SeeVGpfXx.net
>>565
過学習って学習しているわけじゃなく、学習データを丸暗記してるのと同じだよね
それを学習といいたくないんじゃないかな

575:デフォルトの名無しさん
22/05/12 19:17:06.59 QHBqVOhI0.net
過学習と学習不足(未学習)は機械学習の基本的な考え方だねー。varianceとbiasと考えてもいいよー
ところがディープラーニングの世界では、過学習の先に突然精度が上がる現象が確認されてるよー
不思議だねー

576:デフォルトの名無しさん
22/05/12 19:26:27.74 awPT4EK2M.net
>>567
この現象、体験したことないんだけどMNISTあたりでも観測できるの?

577:デフォルトの名無しさん
22/05/12 19:30:00.86 SeeVGpfXx.net
>>567
適当にぐぐったけどこれのこと?
過学習後も精度向上!?【論文】Deep Double Descent: Where Bigger Models and More Data Hurt の解説
URLリンク(www.acceluniverse.com)
ニワカに信じがたいので、ちょっと読んでみる

578:デフォルトの名無しさん
22/05/12 19:34:46.68 V9a83oNra.net
丸暗記だって学習は学習
人間でも暗記は必要最低限だけにして知識を効率活用できる人もいれば丸暗記したことしか理解できずちょっと応用問題出されただけで理解不能に陥る人もいる

579:デフォルトの名無しさん
22/05/12 19:35:33.93 QHBqVOhI0.net
Double Descentだねー
大規模言語モデルだと前提になってるよー

580:デフォルトの名無しさん
22/05/12 19:38:29.11 QHBqVOhI0.net
とはいえ過学習を是とすると、それはただの全文検索なので
Double Descent, Overparameterizationは既知の概念ではない何かなんだろうねー

581:デフォルトの名無しさん
22/05/12 19:41:34.38 QHBqVOhI0.net
>>568
トイプロブレムで実証したことはないけど、実務で大きめのモデルを扱っている人は、みんなそれっぽい現象を観測した経験があると思うよー
とはいえ、概念を先に知らないと偶然としか思わないんだけどねー

582:デフォルトの名無しさん (ワッチョイ 9d6e-xesJ [138.64.67.32])
22/05/12 20:23:08 gGBQiRDa0.net
>>573
ふうん

583:デフォルトの名無しさん
22/05/12 22:36:43.51 m2THFYn4M.net
>>567
局所解って話ではないの?

584:デフォルトの名無しさん
22/05/12 23:38:12.85 XThBUtns0.net
事例が多くなると
結局あらゆる事例が網羅されるという意味じゃね?

585:デフォルトの名無しさん
22/05/12 23:53:34.27 CoPLz2Vj0.net
この分野まともな理屈なんて何一つねーんだし
深く考えても無駄よ
他の工学分野とかもっと理論でガチガチに固めてるしな

586:デフォルトの名無しさん (ワッチョイ 9d6e-xesJ [138.64.67.32])
22/05/13 12:37:27 AsvYLwfP0.net
日本の研究者って理論も弱いよね

587:デフォルトの名無しさん
22/05/13 15:43:58.39 nFnwnz+O0.net
弱いというか、現実の


588:DNNの収束過程とは離れた、あまりに理論寄りすぎることばっかりやってる。



589:デフォルトの名無しさん
22/05/13 16:49:05.19 NE9V9IQG0.net
現実の結果の説明は多分この先もできないよね

590:デフォルトの名無しさん
22/05/13 16:53:12.85 N8AZ2EKD0.net
岡谷さんってどうですか?

591:デフォルトの名無しさん
22/05/13 20:05:28.18 UTtAr0xn0.net
>>577
あなたが知らないだけなんじゃないの?

592:デフォルトの名無しさん
22/05/13 20:07:45.53 UTtAr0xn0.net
学習は教師信号との誤差とかで決まる評価関数の値を小さくする結合とかのパラメータを見つける問題に帰着するんだろうな
大まかに言えば組合せ最適化問題

593:デフォルトの名無しさん
22/05/13 21:14:31.29 btyzcX5fa.net
問題にしてるレイヤーが違うんだろ
パラメーターだなんだってのは理論だらけだけど
そのデータからどうして予測できるんだ(どんな特徴が使われてるんだ)とか、このモデルよりもあっちのモデルのほうがうまくいく理由は?みたいなとこはこじつけだらけ

594:デフォルトの名無しさん
22/05/14 00:04:16.45 0dDHcT1o0.net
理論がないってのは言い過ぎだけど、まあまだわからんことは多いのは事実。
ある程度わかってもパラメータチューニングについては機械的に探すって話はずっと続きそうではある。

595:デフォルトの名無しさん
22/05/14 06:50:37.09 O8qOoha4a.net
>>585
別に言い過ぎではないよ。
色々試行錯誤してデモ向けチャンピオンデータ探して
発表や論文書いてそこまで、やりっ放し。
再現性無しじゃ理論も減った暮れも

596:デフォルトの名無しさん (スップ Sdde-qOGV [1.75.152.73])
22/05/14 16:15:39 tMZG04rkd.net
ただのフィッティング技法と考えてよい
教師なし学習は逆フィッティングだが

597:デフォルトの名無しさん
22/05/14 17:29:08.39 4saW8Bc8M.net
別の手法として発表されたものが
理論的には同じことをしてるという事もある

598:デフォルトの名無しさん
22/05/14 19:16:10.33 tMZG04rkd.net
ファッションでやってる輩が増えてて困る

599:デフォルトの名無しさん
22/05/14 19:28:08.46 3asw//Zv0.net
逆フィッティングとは

600:デフォルトの名無しさん
22/05/14 23:22:49.99 gU3pbgYf0.net
>>589
誰だって最初はにわかな存在ですし、分野としては新規参入者が多いことは喜ばしいことですよ。

601:デフォルトの名無しさん
22/05/15 05:04:53.83 RG3j7DCt0.net
>>590
集合と集合の分離する(最大限離す)境界を作成するという意味で用いた。多意はない
>>591
↓これ見たとき何か勘違いしてる輩のギャグかなと思った
URLリンク(youtu.be)

602:デフォルトの名無しさん
22/05/16 11:59:51.09 oRnyDlKgM.net
cnnで特徴抽出するときの中間層てどこでもいいの?
convの直後がいいの?それとも活性化通した後のがいいの?

603:デフォルトの名無しさん
22/05/16 12:08:39.95 ucnn58bs0.net
>>593
転移学習の話なら出力層の直前までを再利用することが多いよー
XAIの話ならなんとも言えないねー。ただ、あまり深い層だと(人が見て)解釈が難しいことが多いよー

604:デフォルトの名無しさん
22/05/16 15:03:25.33 04bK1tejM.net
>>594
fc入る直前のを特徴として使ってた
他の層も特徴として一緒に使えば精度か上がるかなって思った

605:デフォルトの名無しさん (ワントンキン MMda-94oM [153.159.67.46])
22/05/18 13:41:31 cOuIvIQpM.net
顔認識の肌色差別問題て、グレースケールでやれば良くない?

606:デフォルトの名無しさん
22/05/18 16:39:07.89 SlOJ3xLY0.net
>>596
余計強調されるんじゃないですかね。

607:デフォルトの名無しさん
22/05/18 16:45:09.98 1kgDoT/jH.net
monkeyとか出てくるの?

608:デフォルトの名無しさん
22/05/18 17:48:14.11 tbtjI4Jo0.net
>>596
グレースケールも次元削減の一種だねー
結局元データの特徴量が強調されるよー

609:デフォルトの名無しさん
22/05/18 17:51:38.15 cOuIvIQpM.net
コントラスト補正したくらいじゃ改善されないかな

610:デフォルトの名無しさん
22/05/18 19:44:51.20 z8mk94f90.net
>>596
白人と黒人の写真グレースケールにしてみ?

611:デフォルトの名無しさん
22/05/18 22:33:01.65 9twh3XQB0.net
ゴリラと認識されてしまった黒人画像見たが・・・
あれは仕方ないね、俺らの目でもそう見えかねん
な、黄猿ども?

612:デフォルトの名無しさん
22/05/18 23:29:26.78 SlOJ3xLY0.net
>>602
老眼では?

613:デフォルトの名無しさん
22/05/19 06:52:29.21 6liSYt1H0.net
すみません素朴な疑問ですが
>>596
学習データに偏りがあるんじゃ、と思ったんですがそんなことはない?
>>600
学習用の画像データはそのまま使うのが普通なんでしょうか? 定正準化とかしないもの?(よくしらない)

黒猫の撮影が難しいように(真っ黒い毛玉にしか見えない)
肌の色によっては識別が難しいのはしょうがないと思う
カメラ側が工夫して、そういう人でも特徴を出しやすい画像を作る方がよいのでは

614:デフォルトの名無しさん
22/05/19 16:52:03.32 edTczYU6M.net
グレーススケール後に適当なフィルタかけてエッジ画像にしてからでも駄目?⤵

615:デフォルトの名無しさん
22/05/19 18:30:15.97 zHi3KVOI0.net
>>605
CNNはエッジ検出も行っているといえるねー
それでも誤検出するなら、データの問題を先に考えるのが今のトレンドだねー
本質的に区別ができないという可能性もあるけど、それなら人が違和感持たないので、なんか不測があるんだろうねー

616:デフォルトの名無しさん
22/05/19 19:46:45.99 MWEO0MI00.net
>>605
骨格や髪型から人種判別して差別する可能性は残る

617:デフォルトの名無しさん
22/05/19 21:36:05.49 0P/kzYsp0.net
そもそも元レスの顔認識の肌色差別問題が具体的に何を指しているのか分からないですからね。

618:デフォルトの名無しさん
22/05/22 17:55:57.69 iVOTdrTva.net
未知語しかないコーパスに対して辞書無しで単語のわかち書きをやりたいんだけど今のスタンダードな手法はなんですか?
以下見つけたものですが他にオススメあったら教えて下さい
URLリンク(github.com)
行列分解による単語分散表現、出現頻度が低いワードは単語として認識されないのでわかち書きはできない
URLリンク(github.com)
良さげだけどwindowsで環境構築できなかった

619:デフォルトの名無しさん
22/05/22 18:45:40.92 rU+wfvkz0.net
>>609
目的が分かち書きだと万能な方法はないねー
何らかのタスクの前処理ならBPEやSPがいいねー

620:デフォルトの名無しさん
22/05/22 21:01:10.93 pMmiMThE0.net
モノリンガルコーパスがあるならベイズ教師無しで単語分割するやつがあったな

621:デフォルトの名無しさん
22/05/24 12:14:32.31 I+NBTrD50.net
モンテカルロ木探索をしてくれるPythonのライブラリはありますか?

622:デフォルトの名無しさん
22/05/24 12:23:50.92 +v3XfkcC0.net
ある

623:デフォルトの名無しさん
22/05/24 16:34:45.13 eTu9tEN2M.net
日経プログラム買え

624:デフォルトの名無しさん
22/05/24 17:11:53.62 9QRmEXzLM.net
自分でデータセット作るの面倒くさそうだね
適正数もわからんし
ネットなりカメラなりで揃えなきゃいけないし

625:デフォルトの名無しさん
22/05/24 18:11:03.03 +v3XfkcC0.net
なんの話?

626:デフォルトの名無しさん
22/05/24 18:47:38.96 FOAlso0MH.net
画像分類でもやりたそうな感じだけど具体的需要がなさそう

627:615
22/05/24 19:04:18.42 RN1pZpwH0.net
>>616
>>617
kerasの実用的な使用方法探してたんだけど、調べてもイマイチ
自分で思いつくものはOCRだったり時系列だったりで違うっぽい
植物分類とか車種のデータセット自分でつくるのもめんどくさいなーとなったところです

628:デフォルトの名無しさん
22/05/24 19:19:53.27 umKX1IFsH.net
手段が目的化してんだろ
考え直したほうがいい

629:デフォルトの名無しさん
22/05/24 20:05:35.87 +v3XfkcC0.net
卒研かよ(笑)

630:デフォルトの名無しさん
22/05/25 09:27:48.52 Mav3r0Hwr.net
生き物好きならネタは腐るほどあるが
それでもデータセット作りは面倒

631:デフォルトの名無しさん
22/05/26 13:24:36.20 mBsXmcA10.net
画像分類の練習したいんですが、画像のピクセル数ってデータセットで統一しないといけないんですか?
ネットで拾ってきてばらばらのときはどうすればいいですか?

632:デフォルトの名無しさん (ワンミングク MM32-eouP [153.251.244.80])
22/05/26 16:25:26 WPeCiMTRM.net
リサイズ

633:デフォルトの名無しさん
22/05/26 17:02:35.13 t8LrFIJ+0.net
Crop

634:デフォルトの名無しさん
22/05/26 17:37:50.23 xQN+HpOG0.net
昔のモデルを拾ってきて実行したらリサイズ関数が現在バージョンで無効になってて
そこだけ小改造したなあ

635:デフォルトの名無しさん
22/05/26 18:25:55.94 LACA6skg0.net
>>622
データセットの正規化や標準化で調べるとよいかと。
基本的にはライブラリに仕組みが用意されてます。

636:デフォルトの名無しさん
22/05/29 10:13:03.26 s6sbnJ7C0.net
本に書いてある通りにCartPoleやったのに全然学習してくれなくて、
コード見直したらコピペしてたところが微妙に違ってて自分が悪かったw

637:デフォルトの名無しさん
22/06/05 20:36:53.10 iN8cahSF0.net
PythonのtensorflowでResNETを書いたら、
CustomMaskWarning: Custom mask layers require a config and must override get_config. When loading, the custom mask layer must be passed to the custom_objects argument.
warnings.warn('Custom mask layers require a config and must override '
という警告が出て、うまく学習しません。
get_configとやらを書くようなのですが、どこにどのように書けばいいのでしょうか?

638:デフォルトの名無しさん
22/06/07 09:53:50.73 yKocZueUM.net
URLリンク(jdla.connpass.com)
なんでjdla会員と検定資格合格者だけに限定するのかわからん😡
人材を増やしたいんじゃないのか
すぐ利権化するのなこんな資格、日本限定のごく一部の組織しか重要視しないのに

639:デフォルトの名無しさん
22/06/07 12:45:06.42 53O0dhtQ0.net
>>629
その極一部の組織が主催してるからでは?

640:デフォルトの名無しさん
22/06/07 13:13:20.27 yKocZueUM.net
>>630
そういう閉じた発想を批判してる
講演の最初と最後にjdlaを紹介するだけでいいだろ
conpassのこの手のイベントは大体無料で、特別な参加資格を要さずに広く参加者を募るのに

641:デフォルトの名無しさん
22/06/07 14:53:21.30 53O0dhtQ0.net
>>631
そう思うのなら開かれた組織が開催する方だけに参加すればいいと言われるだけでは?

642:デフォルトの名無しさん
22/06/07 18:21:58.87 uJy/Pt6VM.net
Rの年収が高いのは一部の金融が入ってるからだろと思ってたけど、
実際はpythonで利益がたっぷり取れてて給料が高い会社がプラスアルファで学術的アプローチのものもフォローしたいからRの人を採用してるんだと気づいた。
Rを使える人が結果を出すわけじゃないが、Rができれば今のところ高給に就職できるのは間違い

643:デフォルトの名無しさん
22/06/07 21:42:22.03 npjA282C0.net
それはどの言語にも言える話で、特定の分野の高給取りが何かの事情で特定の言語を使っているとその言語の収入平均が上がる相関があるだけで、
特定の言語ができるから給料が上がる訳じゃないんだよな。
大体高給取りは優秀だからどの言語も必要になれば使うだろうっていう。
どの分野、どの会社で働くかの方がよっぽど因子としてはでかいと思う。

644:デフォルトの名無しさん
22/06/07 22:35:24.62 4dYY0IzZ0.net
統計を知らない人がR言語だけ覚えたって仕事にありつけるわけはないがな

645:デフォルトの名無しさん
22/06/08 15:02:01.86 FLJL3iOCM.net
>>629
取り合えず運営に文句言っといた

646:デフォルトの名無しさん
22/06/08 20:02:49.23 hN+YtWYD0.net
ngセンセの講義は学生じゃなくてもお金払わなくても見られるね
有名私大はお金払った人しか相手にしないということをしないで無料で講義を公開してうまくやってる
niconicoはお金払わない人冷遇してyoutubeが大繁盛

647:デフォルトの名無しさん
22/06/08 21:05:01.16 pcEQrtJPa.net
この世で最も鬱陶しいもの
業界通気取りの部外者からのアドバイス

648:デフォルトの名無しさん (ワッチョイ a301-fRoS [126.130.61.38])
22/06/10 23:17:09 FN9GlUM30.net
機械学習勉強しているとよくわからない間はベイズが偉いように感じるけど
本当はベイズはたいしたことなくて,偉いのはオイラーやラグランジュ,ハミルトンだよな。

649:デフォルトの名無しさん
22/06/10 23:57:15.52 z4Q3reov0.net
>>639
我々凡人が優劣をつけて論じる姿が滑稽なことは確かだと思いますが。

650:デフォルトの名無しさん
22/06/13 11:26:59.27 VNGpPyKIM.net
google brainとかopenaiに勤めてる日本人ているのかな

651:デフォルトの名無しさん
22/06/13 18:08:45.23 06/t495PM.net
これ実画像を数式で再現して、その再現された画像を使って学習するって話で合ってる?
結局数式で再現可能な画像しか学習出来ないなら実世界では使えないと思うんだけどどうなんだろう

大量の実画像データの収集が不要なAIを開発
-数式からAIが自動学習、人の判断を経た学習と同程度以上の認識精度を実現-
URLリンク(www.aist.go.jp)

652:デフォルトの名無しさん
22/06/13 18:45:12.30 WBHaax/Q0.net
>>642
仮に現実の空間を再現した仮想空間、メタバースみたいなのがあったとしたら
そこから2Dにした画像と、現実世界の写真と学習するAIにはどっちでもいいんじゃね?
結果的に役に立つモデルを作れるなら元データが実写かCGか絵画がとかはどうでも良いかも

653:デフォルトの名無しさん
22/06/13 19:02:28.63 ULQZauRw0.net
>>642
実世界によく見られるパターン(フラクタル)を数式で再現する訳だから使えるんだろう

654:デフォルトの名無しさん
22/06/15 11:17:31.40 UJIi++3CM.net
URLリンク(arxiv.org)
この手の論文に日本人がいなくて寂しい

655:デフォルトの名無しさん
22/06/15 11:22:52.64 DLWFzlOj0.net
機械は思考できるか

656:デフォルトの名無しさん
22/06/15 12:05:30.32 UJIi++3CM.net
他人が思考してるかなんて判断しようが無いし

657:デフォルトの名無しさん
22/06/15 15:39:57.11 sQ3kwlup0.net
本で読んだけど、われわれもラジオのようなものかもしれないって話
ラジオは自分を分解して、しゃべれる謎やボリュームやチャンネルが変わる謎を解き明かそうとするが、電波塔から電波が飛んできてることを知らないからいつまでたっても謎が謎のままだと
われわれも思考したり自由意思で何かしたりしているけど、実は全部操られてるかもねって話
そうするとわれわれの思考とPCでプログラム動かすのは大差ないということになる

658:デフォルトの名無しさん
22/06/15 16:03:34.37 sQ3kwlup0.net
思い出した
意識は傍観者である、って本
スレチすまそ

659:デフォルトの名無しさん
22/06/15 18:15:43.49 UJIi++3CM.net
おもろそうね読んでみる

660:デフォルトの名無しさん
22/06/15 18:31:04.72 oaz3/shQ0.net
過半数の人間はルーチンワークしかしないしな
それを知能と言うのかどうかという問題はある

661:デフォルトの名無しさん
22/06/15 19:06:46.53 DLWFzlOj0.net
学習したものだろw

662:デフォルトの名無しさん
22/06/15 20:06:42.41 Q/0PD45r0.net
「GoogleのAIが感情や知性を獲得した」というエンジニアの指摘は間違っていると専門家から批判が殺到
URLリンク(gigazine.net)
これこれ

663:デフォルトの名無しさん (ワッチョイ ff02-/e9c [59.138.123.33])
22/06/15 23:50:10 oaz3/shQ0.net
人間の行動のうち反射、条件反射は統計学習というよりは
if then else
過半数の人間は反射、条件反射しかしない
これは知能なのか?
学習の結果ではあるのだが

664:デフォルトの名無しさん
22/06/16 10:20:18.17 AP0F3km20.net
小脳の機能の実現は簡単だw

665:デフォルトの名無しさん
22/06/16 13:28:09.52 xbJMxKufa.net
jupyterで一つのセルのアウトプットで複数のfigureの出力(axesではなくて)ってできますか?

666:デフォルトの名無しさん
22/06/17 10:55:07.17 k+1tjOJq0.net
AlphaZeroのプログラムを本に書いてある通りやったのにうまく動かないぞ、この本は糞だな、
って思ってたんだけど、ふとプログラムを見たときにおかしいところがあって、確認したら自分の打ち間違いだったorz

667:デフォルトの名無しさん
22/06/17 21:03:08.74 JQxMflpFa.net
kaggleのノートブックってメモリ不足でkaggleの環境じゃエラーになるやつって公開してる人います?

668:デフォルトの名無しさん
22/06/18 22:30:04.73 yvqJPccNM.net
詳しくないけど
確かにたまにKaggle環境で実行するとタイムアウトだかで最後までいかないコードあるよね
そうなのかなと思ってる

669:デフォルトの名無しさん
22/06/19 03:58:41.62 VCmz0n6H0.net
CNNで、各出力が0-255になっています
1というのが邪魔で、学習で最終的に0に収束するのですが、さっさと0にしてしまう方法はありませんか?

670:デフォルトの名無しさん
22/06/19 06:32:29.92 q3JdLoGK0.net
なんか草

671:デフォルトの名無しさん
22/06/19 07:38:29.27 tC2ai9t40.net
俺には状況がまったく分からん

672:デフォルトの名無しさん
22/06/19 09:35:16.08 G2ekVkpa0.net
何が問題なのかわからんが、完全に0になると勾配も消失するので学習が進まなくなるのでは

673:デフォルトの名無しさん
22/06/20 14:17:38.78 g6RK1j7U0.net
知性=intelligenceで、AI=artificial intelligenceなののに、AIが知性を獲得したって何
感情とか意識を語るならまず感情とか意識を定義しないとダメだろ
あいまいな「動物が持ってるもの」みたいなニュアンスで語るから議論にすらならないわけで

674:デフォルトの名無しさん
22/06/20 14:28:02.14 A7lPYgwwM.net
>>664
自分もその通りだと思う
まず、自分に備わっている感情や意識だと感じているものはなんなのかを定義し、
そして果たして自分以外の他人は感情や意識を持っているのかという疑問に答えなければAIが感情や意識を持っているかどうかなんて議論できないよね。
素朴に「自分も他人も意識を持っているに違いない」から出発してしまう人が多いように思う。

675:デフォルトの名無しさん
22/06/20 17:55:39.64 67whDYmfa.net
相手が人工無能でも気付かずにチャットし続ける人は一定数居るからな

676:デフォルトの名無しさん
22/06/20 19:04:17.98 FO/JkqKw0.net
ツイッターにボットと延々喧嘩してるDQNいるw

677:デフォルトの名無しさん
22/06/20 19:21:22.56 wapbOinF0.net
ボットンかどうかはどうやって判断してるの?

678:デフォルトの名無しさん
22/06/20 20:28:17.53 PoDruBRva.net
いやむしろ人工無能とチャットしたい

679:デフォルトの名無しさん
22/06/20 21:28:57.91 ay3GZIux0.net
人工無能みたいな受け答えをする人いるよな

680:デフォルトの名無しさん
22/06/20 21:33:45.22 Ed+r8TUX0.net
妻と話している時は時々そうなってるわ

681:デフォルトの名無しさん
22/06/20 22:02:42.71 V9H7fMcX0.net
反応をみて人間が知性を感じるかどうかじゃね
多くの人が試すと知性を感じるか感じないか分かれるだろうから70%超えたらとか閾値が必要になるんだろうけど

682:デフォルトの名無しさん
22/06/20 22:27:35.92 jiu1tY9j0.net
>>672
個人的にはそんなザルなやり方だとまずいと思うな。人権を与えるかなどに関わってきて、人工知能研究するのに倫理委員会通さなきゃいけなくなるよ。
意識のハードプロブレム、この界隈だと皆知ってると思ったけどそうでもないのかな?
中国人の部屋とか、哲学的ゾンビとか、一元論二元論とか

683:デフォルトの名無しさん
22/06/20 22:31:34.40 V9H7fMcX0.net
>>673
人間がやる事でも倫理委員会通さないとダメな事はある
ヒトのクローン作るとか

684:デフォルトの名無しさん
22/06/20 22:33:15.49 V9H7fMcX0.net
知的かどうかは結果で判断するんじゃね?
人間の脳のプロセスはまだ分かってないんだし
プロセスで考えるのなら人間の考えることでも知的とは言えなくなる

685:デフォルトの名無しさん
22/06/20 22:37:12.97 V9H7fMcX0.net
別の視点だと知的かどうかより役に立つかどうか

686:デフォルトの名無しさん
22/06/20 23:48:46.95 /HtiL33lM.net
まずは知性があるかを判定するAIを作る必要があるなw

687:デフォルトの名無しさん
22/06/21 00:00:09.64 o8jGfQ730.net
そもそも知性があろうとなかろうと役に立つならどうでもいい

688:デフォルトの名無しさん
22/06/21 00:04:28.92 eq8/YE5o0.net
知性や意識や感情が存在したとして、なんで権利を与える必要が出てくるのか論理が飛躍し過ぎる白人

689:デフォルトの名無しさん
22/06/21 00:48:32.87 DvRXoJ9n0.net
犬やイルカやチンパンジーに人権は与えないでしょう。

690:デフォルトの名無しさん
22/06/21 01:10:15.28 jjyHbonw0.net
>>679
じゃあ、AIが本当に痛みを感じていたとして、生存形態の違いが歴然だからと差別してなかったことにしていいのか?人種差別の再来だろ。
>>680
最近はそうでもないだろ
逆に、意識、人権判定システムが出来たとして人間だと思ってた自分がその判定に通らず人権を与えられなかったらどうするんだ?
ナイーブな発想の奴が多すぎる。

691:デフォルトの名無しさん
22/06/21 01:11:12.83 jjyHbonw0.net
>>674
当たり前だろ。
>>675
だったら馬鹿な奴には人権与えなくていいってことになるな。

692:デフォルトの名無しさん
22/06/21 01:49:27.75 DvRXoJ9n0.net
>>681
人権は知性や意識の有無で定まるものではないですよ。それを言っているのが動物の例です。
なにより現代社会ならば人工の知性には倫理で対処するのが自然�


693:ナしょう。 動物に対する危害や実験を禁止している現状を考えれば簡単に理解できるかと。 知性ある存在として扱うにしても、それは法人のような法的な人格で対処できるわけで、人権を与えて人間と混同する意味はありませんね。



694:デフォルトの名無しさん
22/06/21 01:54:41.01 eq8/YE5o0.net
>>681
AIに「生存」てなに
お前みたいな感情論でしか語れない奴が出てくるから、生命、意識、感情、それらを定義してからじゃないと話にならないんだよな
AIを人間ぽい反応するように作ったとして、それを「人種」の1つに混同してしまう脳はどういう深層学習してきたんだよ
人間とそれ以外すら区別付けられない天然無能じゃないか

695:デフォルトの名無しさん
22/06/21 02:02:21.12 +HrD+Rwad.net
黒人奴隷を正当化するための詭弁と同じようなふいんきを感じるのはなんなんだろうかこれ

696:デフォルトの名無しさん (ワッチョイ 775f-643o [14.9.135.224])
22/06/21 02:17:39 j9N9cJ240.net
それマジで言ってる?
黒人は人間が作ったんじゃなく元からそこにいた生物で他の色の人種と交わって子を為せる「人種」の1つで、
AIは人間が作ったデ�


697:Wタルデータプログラムに過ぎないのに、それを同種に考えるってちょっと頭おかしいと思わないの? これ、AIは人間だ!って言い出す人間が増える前にきちんと定義して法整備しないとおかし世の中になるな シーシェパードとかグリーンピースみたいなやつのAI保護活動家版がAI会社にテロ仕掛けたりするようになるぞ



698:デフォルトの名無しさん (ワッチョイ b35f-YlFr [202.226.219.4])
22/06/21 02:24:03 eq8/YE5o0.net
まさかAIが人間っぽい話し方を出来るようになった程度で、「人間」の定義すら揺らぐとは思わなかったわ

699:デフォルトの名無しさん
22/06/21 07:09:58.64 o8jGfQ730.net
機械学習や人工知能の理論を少しでも勉強した人ならこの程度の単純なプログラムを人間扱いするとか人権を与えるとか馬鹿馬鹿し過ぎるとすぐに分かるはずだけど

700:デフォルトの名無しさん
22/06/21 07:24:51.07 zIEPAJu60.net
PytorchやTensorFlowはお母ちゃんかな

701:デフォルトの名無しさん
22/06/21 08:13:23.46 QAlmOBfh0.net
>>1を嫁


次ページ
最新レス表示
レスジャンプ
類似スレ一覧
スレッドの検索
話題のニュース
おまかせリスト
オプション
しおりを挟む
スレッドに書込
スレッドの一覧
暇つぶし2ch