【統計分析】機械学習・データマイニング22at TECH
【統計分析】機械学習・データマイニング22 - 暇つぶし2ch552:デフォルトの名無しさん
19/02/09 17:47:46.95 vFLtltfzp.net
>>528
たまにやるけど最適化競争より面白いモデルや新しいモデルを試してる感じ
良いスコアが出そうなら頑張るけど工数はそれなりにかかるんでね
それでもSIGNATEを日本の企業はもっと活用すべきだと思うけどね
同じ仕事を外部に発注したら賞金の10倍以上の予算使ってもコンテスト以上の物は絶対に出て来ない
コンテスト終わったらデータ全部消せとかプログラムの版権寄越せというなら上位以外にも賞金出さないとダメだと思うし、いろいろと改善の余地はあるんじゃないかな

553:デフォルトの名無しさん
19/02/09 18:42:16.00 FxR8wGmH0.net
>>531
昔モザイクかけるFLMaskの作者が捕まってたよね
あんまりきわどいとこで目立つと何されるかわからん

554:デフォルトの名無しさん
19/02/09 19:28:51.64 xSakQZALa.net
モザイク除去はcyclegan出て真っ先に試されてたな
やはりエロは技術を進める

555:デフォルトの名無しさん
19/02/09 19:39:09.50 FxR8wGmH0.net
エロ系ってコーディングしてるうちにムラムラしてくるのが厄介だよね

556:デフォルトの名無しさん
19/02/09 21:44:47.21 oCn/KMFX0.net
好みの画像だけで学習させれば、微妙な画像を良い感じの画像に変換できるんだよな。
マジでAVやIVがモーションデータみたいに使われるのが普通になっていくかもしれん。

557:デフォルトの名無しさん
19/02/09 22:54:16.11 3BsusPtA0.net
やっぱり今のディープラーニングはGANSが流行ってるのかな
やってる人多いね

558:デフォルトの名無しさん
19/02/09 23:48:24.43 QwW7KGIt0.net
GANは正直収束させるのが激ムズだけど、出てくる画像とか見てると面白いんだよね。

559:デフォルトの名無しさん
19/02/10 00:48:54.78 tgFjaU2a0.net
深層学習ってなんでちゃんといい解求まるのか不思議
自分でコード書いて実行してちゃんと学習してるのみるともっと不思議
たまに盛大に失敗するけど、どういうときにちゃんと学習するのか経験と勘が必要だなって感じる

560:デフォルトの名無しさん
19/02/10 01:37:52.39 Z3H3Tv4Q0.net
>>536
そりゃーただの復元可能なマスクだからな
あんまり意味ない・・・
>わいせつ図画公然陳列幇助

561:デフォルトの名無しさん
19/02/10 01:38:42.68 Z3H3Tv4Q0.net
>>542
楽しいっちゃ楽しいんだけど、デカイ事やろうとすると2,3日かかるのが辛い
もっとテンポよくやりたいけど、精度が下がるんだよね

562:デフォルトの名無しさん
19/02/10 12:26:32.09 n7nGuX8W0.net
tensorflowの公式サイトがIEやedgeだとレイアウトがうまく表示できないようになってて笑った
chrome以外のブラウザでは観るなってことか

563:デフォルトの名無しさん
19/02/10 12:33:17.40 yDa0fUpq0.net
Microsoftは老害と成り果てたか
この前のアプデでレジストリいじってもCortana消せなくなったしよぉ

564:デフォルトの名無しさん
19/02/10 16:10:37.32 QrqKTPz3M.net
参考コード探してるんだけどKerasがなかなかなくて辛い
ライブラリシェアはtensorflow以下はどの程度なんだろ

565:デフォルトの名無しさん
19/02/10 16:13:45.99 /5t+184M0.net
>>511
分析だけならデータ放り込めば良いだけのツールが有るし、
機械学習でモデルだけ作っても実装にはPGが必要なので、
Neural Network Consoleは中途半端
パラメータを自動で最適化してるらしいが、
同一の学習データに対して、他のライブラリの方が明らかに良い結果が出てた

566:デフォルトの名無しさん
19/02/10 17:10:47.85 UkuyqG6P0.net
keras使うくらいならpytorth使えよ

567:デフォルトの名無しさん
19/02/10 17:18:21.64 Z3H3Tv4Q0.net
>549
知ら�


568:クに言ってるのが良く分かるぞぉ~ 大抵は両立している。kerasで学習中にpytorch、その逆、等



569:デフォルトの名無しさん
19/02/10 18:19:58.29 L/vUvPOUp.net
>>548
構造の自動最適化はちょっと羨ましい
自分で書くと面倒なんだよね
交換可能なモジュールのグループ化とかね
みんな自分用の最適化ツール作ってるのかな

570:デフォルトの名無しさん
19/02/10 19:22:40.50 Jb5869jLa.net
>>545
GoogleはChromiumに仕掛けしているようで、たとえばYoutube
なども稼働するOSの上で弄っているらしい。それはChromiumで吸収してい
ようで、たとえば各種のOSじょうに独自のブラウザ提供しYoutubeも支障なく
見られるようにするには、一つ一つ別途に弄るか、Chromiumをレンダリング
エンジンに使うかの選択が必要になるようだ、マイクロソフトは今後の方向と
して主要OSにさまざまなものを提供する方向にあるが、その際に開発負荷を
減らすためにレンダリングエンジンをChromiumに変更した。
とのことらしい。
これと同じようなことだとしたら、Vivaldiで動かしてみたら使えるかも
しれんよ。暇だったら試してみて。

571:デフォルトの名無しさん
19/02/10 19:24:05.44 Pbk6oQIR0.net
改行きもいけどどこからコピペしてきたん?

572:デフォルトの名無しさん
19/02/10 19:29:33.73 Jb5869jLa.net
>>542
>深層学習ってなんでちゃんといい解求まるのか不思議
解が求まっているっというわけでもないんだが
ま、求めているものに近いものが他より効率よく出力される
と言った方がいいのかな?
だから、深層学習も、自分で出した結果を見て
「真相はいかに?」と思ってんだと思うよ

573:デフォルトの名無しさん
19/02/10 19:32:49.87 xy09hI340.net
藪の中

574:デフォルトの名無しさん
19/02/10 19:36:56.56 PsXGMK3/0.net
飼い主にとってきたものを見せる猫

575:デフォルトの名無しさん
19/02/10 19:46:23.77 4R8paj5za.net
>>542
誤差曲面には局所解や鞍点が無数にある筈なのにSGDのような単純な方法で良い解に辿り着けるのは長い間謎だったけど最近になってこの辺が理論的に解明され始めてる

576:デフォルトの名無しさん
19/02/10 20:05:40.24 EWmLbbO60.net
バッチサイズを大きくすると学習効果が低いというのもよくわからん話だな。
これって人間でいえばドリルを一気にやってから答え合わせするよりもちょこちょこ
答え見て解答してった方が勉強効率が良いってことだよね?

577:デフォルトの名無しさん
19/02/10 20:39:31.71 L/vUvPOUp.net
>>558
バッチサイズの大きさと学習効果については相反する議論が展開されていて、バッチサイズが大きくても学習率を下げれば性能は変わらないとする論文がある
更新分は
(epsilon / batch_size) * (sum of grad)
なのでbatch_sizeを倍にしたら学習率を半分にするといい
勾配分だけがbatch_sizeの影響を受けるので、モデルおよびデータ次第ではどっちにも転ぶことになる

578:デフォルトの名無しさん
19/02/10 20:49:45.78 spsEs2Cn0.net
最近勉強し始めた超初心者だけど、なんとか学習モデル生成出来るとこまできた
(ほとんど参考サイトのコピペだけど…)
が、マシンスペックが全然足りなくて学習が進まない…
↓この参考サイトの著者は100epochsで12時間かかったらしいが、俺は7時間かけて2epochsだけ
URLリンク(app.m-cocolog.jp)
「ちょっと自分でモデル作って味見してみようかな」っ人には着手しづらいなぁ

579:デフォルトの名無しさん
19/02/10 21:00:11.02 Z3H3Tv4Q0.net
>>560
cpuで動かしてない?
tensorflowがgpuで動いてるか試してみて
from tensorflow.python.client import device_lib
device_lib.list_local_devices()
URLリンク(qiita.com)

580:デフォルトの名無しさん
19/02/10 21:03:00.43 L/vUvPOUp.net
>>560
そこそこ良いGPUないと面白さは半減だねぇ
Google Colaboratryでもいいけど長い時間の学習は処理を分割させる必要があるし、画像系はデータが巨大になりがちだし、趣味でやるには少しハードル高いよね

581:デフォルトの名無しさん
19/02/10 21:07:42.13 Z3H3Tv4Q0.net
ColaboratryのGPU性能はGTX970ぐらいだったかな
結構微妙な性能な上に、制約が多いから買ったほうが良い
TPU使えるなら凄いんだけど、俺は無理だった

582:デフォルトの名無しさん
19/02/10 21:35:28.36 7aqx1gb30.net
ColaboravoryでTPU使うのにただ切り替えるだけじゃだめなんだよね
あれ使えればかなり楽になると思うし体験してみたいけどそれ用にコード変更しなくちゃいけないんでしょ

583:デフォルトの名無しさん
19/02/10 21:41:12.60 Z3H3Tv4Q0.net
>>564
一から書ける技量が無いと対応できない
githubに転がってるやつをちょっと変えれる程度じゃ無理
データも容量的に厳しいので、googleドライブにおいてそこからapiでひっぱってきて・・・とかなり面倒
その内ラッパーとか出来ると思うけどね

584:デフォルトの名無しさん
19/02/10 22:44:44.91 7aqx1gb30.net
>>565
そうか残念
拾ったCycleGANのコード動かそうとしたら重くなって落ちたからTPUでやってみたかったんだけどね
ところでcolaboratoryでコードの出力欄に四角いダメ顔マーク出てくるのはなんの意味なんだろうか
メモリ不足?

585:デフォルトの名無しさん
19/02/11 07:49:10.66 hy2CndF0a.net
>>553
それ使ってる環境しだいだよ。胆くするブラウザ使ってるから。

586:デフォルトの名無しさん
19/02/11 13:15:55.18 /CQzGcw7a.net
機械学習とAIの違い
URLリンク(pbs.twimg.com)

587:デフォルトの名無しさん
19/02/11 13:19:26.96 pkTvfEUJ0.net
>>563
嘘乙 Tesla K80 12GBだろ。GTX970の速度じゃない事くらい試せばすぐ分かる。

588:デフォルトの名無しさん
19/02/11 13:34:49.25 QSAhduNJ0.net
>>561
cpuでやってました!
gpu版になんとか設定したものの新たなエラーが出て四苦八苦中ですw

589:デフォルトの名無しさん
19/02/11 13:38:20.31 QSAhduNJ0.net
>>562
5年くらい前に組んだPCでゲームはやらずマルチディスプレイが出来ればいいので、安物グラボ積んでます…
玄人志向GTX650で当時5000円ぐらいだったような
URLリンク(i.imgur.com)

590:デフォルトの名無しさん
19/02/11 13:39:32.95 fMjwAL+60.net
>>569
こないだ暇だったからmnistで計測してみたから間違いない
スペックも実測値も、ほぼGTX960~GTX970当たりの性能
K80のGPUが1/2になる事を考慮すると、スペック的にも大体合うはず

591:デフォルトの名無しさん
19/02/11 13:58:09.69 pkTvfEUJ0.net
>>572
それはすまない。GTX1060Tiよりも速かったので、俺の組み方が悪かったのだろうな。メモリが少なかったせいかもしれない。

592:デフォルトの名無しさん
19/02/11 16:51:58.13 OF3/TB8A0.net
mnistとかなんのベンチマークにもならんわ。imagenetくらい回してくれ。

593:デフォルトの名無しさん
19/02/11 17:06:00.23 UQjSOk2h0.net
GPUに辿り着く以前にラーニングの前処理で異様に時間がかかる
ひょっとしてcolaboratoryのCPU1コア?
データ読み込んで特徴量増やしてるだけなんだが・・・

594:デフォルトの名無しさん
19/02/11 17:38:33.08 pkTvfEUJ0.net
>>575
zip解凍も結構時間かかってるよ。CPUやファイルアクセスは貧弱っぽい。

595:デフォルトの名無しさん
19/02/11 19:02:48.18 rLkbUlECp.net
>>573
モデルによるかな
小さなモデルでバッチサイズ大きめな学習はK20速いけどモデルが大きくなると遅い

596:デフォルトの名無しさん
19/02/11 19:32:19.07 TvLOMK+p0.net
>>568
ネタなのは分かるけど、共感できなくてどこがおもしろいのかわからない

597:デフォルトの名無しさん
19/02/11 19:40:25.03 JjM5yhDQ0.net
>>568
Correction
If it is written by Kyoto Common Lisp, it maybe AI.

598:デフォルトの名無しさん
19/02/12 00:17:48.23 KEdHt1PV0.net
>>552
いや会社でIEとedgeでしかブラウザ使えないからchromeもvivaldiも使えなくて困ってるのよ
もちろん、家では普通にchromeで読めるんだけどな

599:デフォルトの名無しさん
19/02/12 03:51:36.70 xDY2FToe0.net
まず何から始めればいいの?
なんちゃって理系で高校で数ⅢCまではやったけど数学がとても苦手
とりあえず機械学習のための数学って本は買った

600:デフォルトの名無しさん
19/02/12 03:57:39.08 fVFjrefg0.net
大して知らない人だが。
大して数学しらなくてもできるとはおもうが。
数学部分はライブラリに内蔵されてて、ブラックボックスでも操作はできるかと。
環境設定と動かし方では。

601:デフォルトの名無しさん
19/02/12 08:02:51.01 1fWnXhSnM.net
何やりたいかによる

602:デフォルトの名無しさん
19/02/12 08:59:01.00 m4F+G7YU0.net
英語の勉強

603:デフォルトの名無しさん
19/02/12 09:00:26.03 XOcmOfNJ0.net
機械学習

604:デフォルトの名無しさん
19/02/12 11:12:28.75 npGO6Ivm0.net
大事なのは「読む」力だ!~4万人の読解力テストで判明した問題を新井紀子・国立情報学研究所教授に聞く
URLリンク(news.yahoo.co.jp)
論理的に考えろと言ってるだけw

605:デフォルトの名無しさん
19/02/12 11:27:35.35 sv506HrS0.net
>>581
まず
・目的
を決める
mnist(チュートリアル)なら後述のグラボは無しでも良い
・予算の設定
mnist以降はグラボ必須
既にあるならそれを使えば良いが、無ければ買う必要がある
無いままやろうとすると人生が終わるゾ
・環境設定
ある意味恐らく一番の難関
windows、mac、linux、それぞれで設定の仕方が違う
とにかく最初は聞きまくり検索しまくりながら気合でやりきる

606:デフォルトの名無しさん
19/02/12 12:07:54.70 8lolhehX0.net
>>586
2・3日前にテレビの報道特集みたいなやつでそれやってたわ
言葉の定義があいまいなまま中学校で教育してるのが問題らしい
教師のレベルが全国的に可笑しいんだろうな

607:デフォルトの名無しさん
19/02/12 12:41:32.35 qHcaHQyCd.net
ディープラーニングには
CNNだのRNNだのLSTMだのオートエンコーダだのGANだの色んなアルゴリズムがありますけど
「よくこんなに色々と考えるよなあ」と感心しますよ!
考えた人、天才かよ!

608:デフォルトの名無しさん
19/02/12 12:46:44.05 qL8TfAWV0.net
大勢の人が研究してるからね

609:デフォルトの名無しさん
19/02/12 12:46:51.02 qHcaHQyCd.net
あと、深層学習には画像や文章生成といった
一種の創作も出来るみたいですけど、質問。
ディープラーニングは4コマ漫画が描けますか?
例えば『コボちゃん』のデータを大量に学習させて
絵と台詞を自動生成させて、面白い4コマ漫画を自動で生み出せますか?

610:デフォルトの名無しさん
19/02/12 12:50:32.70 sv506HrS0.net
>>591
もうあるよ
URLリンク(konogi.com)
URLリンク(twitter.com)
(deleted an unsolicited ad)

611:デフォルトの名無しさん
19/02/12 13:32:14.68 UXZcFwuF0.net
>>588
色々な観点があるけど、高校までの国語教育がひどい、読書感想文意味不明w

612:デフォルトの名無しさん
19/02/12 13:57:52.97 desEWZwSF.net
>>586
次の文を読みなさい。
アミラーゼという酵素はグルコースがつながってできたデンプンを分解するが、
同じグルコースからできていても、形が違うセルロースは分解できない。
この文脈において、以下の文中の空欄にあてはまる最も適当なものを選択肢のうちから1つ選びなさい。
 
 セルロースは(     )と形が違う。
(1)デンプン  (2)アミラーゼ  (3)グルコース (4)酵素

1-4 どれ選んでも正解やな

613:デフォルトの名無しさん
19/02/12 14:02:34.39 sv506HrS0.net
>>594
ネタであることを祈る

614:デフォルトの名無しさん
19/02/12 14:03:26.51 ZBuOEwZt0.net
ああ江川紹子の記事なんか

615:デフォルトの名無しさん
19/02/12 14:41:03.61 5DnepWuE0.net
>>594
読んだ

616:デフォルトの名無しさん
19/02/12 15:09:35.75 qHcaHQyCd.net
>>594
答えは(1)デンプン

617:デフォルトの名無しさん
19/02/12 15:13:40.35 5DnepWuE0.net
>>594
次の文を読んで問いに答えなさい

618:デフォルトの名無しさん
19/02/12 16:08:14.72 wnAg7pAj6.net
前提知識がなくても正しく答えられるだろうか
次の文を読みなさい。
?アルパド・イロというバルギルはプレブルがつながってできたニヤ鎮をアラーモンするが、
同じプレブルからできていても、Ap4Aが違う?ダヤナラ・トレスはアラーモンできない。
この文脈において、以下の文中の空欄にあてはまる最も適当なものを選択肢のうちから1つ選びなさい。
 
 ?ダヤナラ・トレスは(     )とAp4Aが違う。
(1)ニヤ鎮  (2)??ダヤナラ・トレス  (3)プレブル (4)バルギル

619:デフォルトの名無しさん
19/02/12 16:12:10.07 z80JFCPwF.net
>>600
解なし

620:デフォルトの名無しさん
19/02/12 16:23:30.25 sv506HrS0.net
>>600
1
名詞に「?」等の記号が入ると読むのが辛い

621:デフォルトの名無しさん
19/02/12 17:00:50.66 puzbyhsI0.net
田中というコックさんは思いやりがつながってできたシチューを調理するが、
同じ思いやりからできていても、色が違うタンポポは調理できない。
この文脈において、以下の文中の空欄にあてはまる最も適当なものを選択肢のうちから1つ選びなさい。
タンポポは(     )と色が違う。
(1)シチュー (2)田中  (3)思いやり (4)コックさん
作ってみた

622:デフォルトの名無しさん
19/02/12 17:16:15.75 8lolhehX0.net
AIの立場だと簡単に解けるが
人間だと解けない問題もいっぱいあるな

623:デフォルトの名無しさん
19/02/12 18:04:27.41 eVAdyGJj0.net
「買い物にいって牛乳を1つ買ってきてちょうだい。卵があったら6つお願い!」

624:デフォルトの名無しさん
19/02/12 18:11:37.53 ltaq5RRPa.net
読解力とか論理的把握力を問うとか言ってるけど現実でこんな文章書いたり会話してたらちょっと頭おかしい?ってなるだろうな

625:デフォルトの名無しさん
19/02/12 18:41:50.19 UXGuSnHjd.net
どっちも1だな
解けないほうがおかしいわ

626:デフォルトの名無しさん
19/02/12 19:35:30.07 13UR+7Anp.net
>>607
603の問題で言うとどれを選択しても色が違うは真になるんじゃないかな?

627:デフォルトの名無しさん
19/02/12 19:36:47.44 13UR+7Anp.net
>>605
卵があったらの条件付きで
買う対象の分布を学習すれば解決するんじゃね?
卵なのか牛乳なのか

628:デフォルトの名無しさん
19/02/12 19:54:17.42 UXGuSnHjd.net
>>608
「同じ思いやりからできていても」がそれ以降の文の対象を思いやりから出来てるものに制限する用法だから、
「(〇〇とは)色が違うタンポポ」の〇〇に田中や思いやりが来ることは無いんじゃないかな

629:デフォルトの名無しさん
19/02/12 20:46:29.82 13UR+7Anp.net
>>610
思いやりは思いやり1つから出来ているし
田中が思いやりから出来ているか出来ていないかはこの文章からだけでは特定できないんじゃね?

630:デフォルトの名無しさん
19/02/12 20:53:01.17 UXGuSnHjd.net
>>611
ひねくれ過ぎててワロタ

631:デフォルトの名無しさん
19/02/12 21:02:46.53 13UR+7Anp.net
>>612
無意識の先入観で可能性を限定しすぎている

632:デフォルトの名無しさん
19/02/12 21:06:44.61 UXGuSnHjd.net
>>613
選択肢から一つ選ぶんだからよりソフトマックスかけるなりしてより蓋然性の高いものを選べよ
この場合文中で100%思いやりから出来てるって確定してるシチューがあるのに他の選択肢選ぶのは人間としておかしいわ

633:デフォルトの名無しさん
19/02/12 21:38:29.65 13UR+7Anp.net
>>614
蓋然性が高いってどうやって数値化できるの?

634:デフォルトの名無しさん
19/02/12 21:47:00.80 ZlvKP9do0.net
ベイズ推定

635:デフォルトの名無しさん
19/02/12 22:15:46.91 13UR+7Anp.net
AIにどうやって学習させるのか?ってこと

636:デフォルトの名無しさん
19/02/13 00:09:06.00 9ptZa4pAM.net
上位概念形成はアプリオリ情報がないときついぞ

637:デフォルトの名無しさん
19/02/13 06:59:27.41 +IQ5YJc80.net
シチューを黄色くしたらタンポポになるみたいに学習しそう

638:デフォルトの名無しさん
19/02/13 10:41:56.81 mlPWZGhIa.net
>>618
その通りだと思うし、そもそも現在AIを使うときは
大きな枠組みがまず必要と思う。
そこではアプリオリな情報が必要となる。
制約があるからこそ最適化が成り立つところに似ている。
いかに周辺(仕事なら業務知識)が重要かってなところかな。

639:デフォルトの名無しさん
19/02/13 13:17:36.03 JbNR3gUc0.net
>>528
>Signateは賞金安いのに権利全部よこせとか、優秀だけど安く雇える学生だけ探してるわとか、
>訓練画像20枚な、とかで絶望しか感じないんだが
画像データ20枚ってのはファインチューニング用のコンペってこと?

640:デフォルトの名無しさん
19/02/13 15:15:56.51 Yg4iFXpY0.net
NHKの方から来ましたって言われて
集金詐欺に引っかかりそう

641:デフォルトの名無しさん
19/02/13 16:27:53.63 kpYtZ0RTp.net
AIカーが来てる! 自動運転でラジコンカーを走らせよう!
URLリンク(weekly.ascii.jp)
おもちゃの自動車がAI で動く時代。
これもRaspberry Pi とpython で学習して自動運転してる。

642:デフォルトの名無しさん
19/02/13 19:12:35.32 jLMgu0mU0.net
関係ない質問なんだけどみんなはDBとかネットワークとかフロントエンドとかの技術も持ってるの?
色々出来る人はすげーよ…

643:デフォルトの名無しさん
19/02/13 19:14:16.01 Z+o1BFzfM.net
必要になった時に勉強する程度

644:デフォルトの名無しさん
19/02/13 19:33:02.13 lFTFiggD0.net
>>624
DBなんてどうとでもなるぞ
joinが鬼門って程度だし、そもそも機械学習はDBほとんど使わない
セキュリティと速度求めだすと底なし沼だけどな
フロントとか更にどうでもいい
bootstrap辺りいれときゃそれっぽく見えるし、まぁ見えなくてもいい

645:デフォルトの名無しさん
19/02/13 19:34:24.58 b7Wb7/cXM.net
モザイク消しを試している者だけど、なかなか良い物ができた。
機械学習にあんまり詳しくない俺でもここまでの画像ができるんだから、実はみんな隠れてやってるだろ。
俺はこの重み付きのモデルを公開する事は決してないが、ググ


646:れば初学者でもすぐに作れるようになる物なので、時間の問題だと思っている。 マジで悪用厳禁だ。これは気軽に使えるようにしちゃいけない。



647:デフォルトの名無しさん
19/02/13 20:11:22.61 uCQMX8tE0.net
>>624
出来るやつはここにはこないよ

648:デフォルトの名無しさん
19/02/13 20:43:16.24 dd1Vw3gh0.net
>>627
モザイク消すのはあんまり魅力感じないけど、強化学習みたいな感じで学習して気持ちよくマッサージしてくれるオナホを作りたいとかは考えてる

649:デフォルトの名無しさん
19/02/13 20:52:01.97 d0V4yrbH0.net
なかなか身体張った研究すな
研究の副作用でそう

650:デフォルトの名無しさん
19/02/13 20:55:21.41 ik/h3+HJp.net
顔分類面白そうと思ってスポーツ選手の画像集めてみたところまでは良いけどopenCVの正面顔のカスケード分類器?使ってみたら400枚で4枚しか顔の識別してくれなくて驚いた
一枚一枚トリミングするわけにも行かないしどういうやり方が良いんだろう

651:デフォルトの名無しさん
19/02/13 21:07:48.83 cf7gk4kl0.net
>>629
HMDと合わせて神名器作ったら天下取れそう

652:デフォルトの名無しさん
19/02/13 21:08:43.48 lFTFiggD0.net
>>631
一枚一枚トリミングする
「python 顔 抜き出し」
辺りで検索すれば、それなりなものが出てくると思うけど、アカンか

653:デフォルトの名無しさん
19/02/13 21:08:52.21 AdED0sik0.net
>>631
そんなもんかもね
訓練データを自動収集したいなら動画がいいね
秒間30枚あるので1分でも頑張れる

654:デフォルトの名無しさん
19/02/13 21:24:40.21 NjYd28cS0.net
動画いいよね
スクレイピングでネット画像収集するより手っ取り早い
ただ小数の動画だと偏りが生じるから、いい感じの塩梅が必要

655:デフォルトの名無しさん
19/02/13 21:44:53.16 AdED0sik0.net
>>624
組み込み、DB、ネットワーク、サーバ周りは出来るけどフロントエンドは無理だなぁ
最近のJavaScript事情に全然ついて行けてない
機械学習はそれなりにやれる方だと思うけど、確かにDBやサーバの知識はほとんど使ってない
スキルセットが違いすぎるから別物と考えた方が良いね

656:デフォルトの名無しさん
19/02/14 09:53:57.10 n9WX//slp.net
>>631 です
>>633
>>634
その辺ひと通り検索して真似してみるんだけど処理の部分はopenCVで用意してる分類器使うからスクレイピングしてくる部分以外は大差ないように感じる…
記事で見かけるのはアイドルの写真が多いみたいだけど、グラビアとかも顔見せるのが仕事だから正面向いてるのが比較的多いのも良い点なのかもしれない(自分はスポーツ選手の画像でやって動きの中のものが多い)
あとはdetectMultiScaleのパラメータもminNeighborsとかminSizeとか指定出来るんだけど何も指定しない方が画像は多く検出してくれるからこの辺の設定も難しい上によく分からない…(検出出来るだけで顔以外のところがほとんど)

657:デフォルトの名無しさん
19/02/14 14:11:14.03 k9Mf52PPa.net
>>633
>一枚一枚トリミングする
AI使ったらどうだ?
(--;

658:デフォルトの名無しさん
19/02/14 22:33:20.70 EZq+SINA0.net
皆さんどんなグラボ積んでますか?
購入検討の参考にさせて頂きたく
私は今はGTX650という化石のようなグラボです… 
趣味でMLを楽しむくらいなので下記が今のところ購入対象です。
GTX 1050ti
GTX 1060
GTX 1660(今月発売予定の1060後継機)

659:デフォルトの名無しさん
19/02/14 23:05:31.36 bI81JpB90.net
>>639
参考にならないかもしれないけど一応
GTX 1080
RTX 2080Ti



660:業務ではP100x2



661:デフォルトの名無しさん
19/02/14 23:32:50.64 EZq+SINA0.net
>>640
豪華で羨ましいですw
本格的にMLにハマったら上級機を買いたいです

662:デフォルトの名無しさん
19/02/14 23:57:01.36 eTgGDcKU0.net
>>640
1080 と 2080Ti の差はどんなものですか?
今1080を使ってるけど、
2080Ti の 11GBメモリと TensorCore に惹かれる・・・

663:デフォルトの名無しさん
19/02/15 00:14:27.89 6HYCgI4B0.net
>>639
GTX1070
以前は750辺り使ってたけど、仕事前や就寝前に回し始める→帰ってきたら完成、
のサイクルが楽しかった
回してる間は勉強できるしな
今はすぐに終わってしまうから超大変

664:デフォルトの名無しさん
19/02/15 00:22:19.91 5XOv+54+M.net
>>624
あたりめーだろ、AI以前、ITの基礎、飯の種だぞ

665:デフォルトの名無しさん
19/02/15 00:26:55.06 5XOv+54+M.net
>>628
確かに、たまに暇つぶしで
一攫千金山師の戯言を眺めに来ているだけだわw

666:デフォルトの名無しさん
19/02/15 07:13:05.59 BgDcDv3l0.net
DCGANって何の役に立つの?

667:デフォルトの名無しさん
19/02/15 08:42:13.39 ObSaJxT90.net
>>642
同じくTensorCoreにものすごい期待していたので、期待よりは低かったというのが正直なところ
ディープラーニングばかりでもないしね

668:デフォルトの名無しさん
19/02/15 10:18:32.53 6HYCgI4B0.net
>>646
GANはあくまで学習方法の一つ
簡単に超精度があがるから利用者が多い

669:デフォルトの名無しさん
19/02/15 10:36:15.91 QIlj//47p.net
みんなバックプロパゲーションの数式とか分かるの?
微分祭りで訳が分からない…

670:デフォルトの名無しさん
19/02/15 11:36:48.77 xMDmL+F0M.net
CNNの上位互換なGANは無いの?
学習データが少なくても学習成功するようなの

671:デフォルトの名無しさん
19/02/15 11:51:10.65 31zBapMna.net
>>646
自動運転の研究で用いられている例
道路画像から特徴を抽出してセグメンテーションするネットワークを学習するときに
道路画像から抽出した特徴から道路画像が実画像かシミュレータ画像か判定するDiscriminator入れて、抽出器(Generator)をそのadversarial lossで学習すれば
実画像とシミュレータ画像の違いによらない本質的な特徴を抽出することができる
結果的にシミュレータでの学習をそのまま実世界で利用することができる

672:デフォルトの名無しさん
19/02/15 12:22:10.48 jnroZ227d.net
>>651
なるほど。
気になるのは本物と見分けがつかない実在しない人の顔や動物のリアルな画像生成ですけど
凄い技術だけど、人や動物の場合は何の役に立つの?
同時に恐ろしさも感じます。
写真に証拠能力はなくなるのかな?

673:デフォルトの名無しさん
19/02/15 16:54:25.53 4Ov+2rLwr.net
>>650
モデルの上位互換なアルゴリズムってどういう事?

674:デフォルトの名無しさん
19/02/15 18:16:11.96 oMATVSpgM.net
>>652
最近そんな記事が出てたような

675:デフォルトの名無しさん
19/02/15 18:31:16.88 6HYCgI4B0.net
アクセスするたびに架空の顔が出てくるサイト
URLリンク(thispersondoesnotexist.com)
>>652
AVの場合は女性の苦痛がなくなる

676:デフォルトの名無しさん
19/02/15 20:10:11.93 efwG2KLC0.net
>>647
そうなんですね・・・
ここは冷静になって、GCPあたりで TensorCore を試してから
考えることにします。

677:デフォルトの名無しさん
19/02/15 20:46:12.53 GTblsTOw0.net
>>649
余裕

678:デフォルトの名無しさん
19/02/15 22:54:09.02 6HYCgI4B0.net
TPUはコードい自体をTPUに最適化すれば猛烈な速さを誇るんだが
いかんせんそこまではなかなか

679:デフォルトの名無しさん
19/02/16 01:50:02.45 ZttmoLt30.net
>>650 CNNとGANは比較できるレイヤーにない



681:デフォルトの名無しさん
19/02/16 01:53:10.98 ZttmoLt30.net
>>649
よくわかってないけど、勾配さえわかれば確率的勾配降下法で局所最適に引っかかるだろうけど
一応何かしら解はでるだろうなぁ程度の理解

682:デフォルトの名無しさん
19/02/16 09:38:43.73 nM3/xq360.net
DRPAが2018年から二年でAIに二十億ドルの予算、もしかしたらAIブームは続くのかな
URLリンク(www.darpa.mil)

683:デフォルトの名無しさん
19/02/16 10:27:52.64 Zd6VVlQB0.net
>>649
微分の記号が連なっているのが分かりにくいって人はいるよね
はっきり言って難しいことは一つも言っていない
三次元で絵にするとアホみたいに簡単
数式でより汎用性高く記述すると本質と違うところで分からない人が発生する
アルファベットをロシア語アルファベットにしたら理解に時間がかかるようなもん

684:デフォルトの名無しさん
19/02/16 11:48:10.46 mrWW64c10.net
>>652
ドラマとか映画の制作で使われるようになるよ、
俳優使わずにだれでも簡単に生成できるようになる

685:デフォルトの名無しさん
19/02/16 13:13:29.89 xP0jDbtx0.net
GANの応用で幾つかのドラえもんの道具が現実化するな
映画の登場人物をしずちゃんやジャイアンに変える秘密道具があったはず

686:デフォルトの名無しさん
19/02/16 13:26:10.07 ZttmoLt30.net
エロ動画の顔を挿げ替えるソフトあるよね

687:デフォルトの名無しさん
19/02/16 13:45:15.61 mrWW64c10.net
>>655
ベッキーが生成された・・・
URLリンク(i.imgur.com)

688:デフォルトの名無しさん
19/02/16 14:11:30.68 OT08l6+a0.net
想像以上にベッキーだったw

689:デフォルトの名無しさん
19/02/16 15:50:18.44 td/FtdQ5a.net
>>666  オーメンナンバーだな
>ベッキーが生成された・・・
納得。混ざり合うとそうなるかも

690:デフォルトの名無しさん
19/02/16 15:52:26.42 OT08l6+a0.net
お、両親の顔画像から子供の顔を生成するアプリあればうれんじゃね!?
→あった
「子供の顔 AI」で検索検索ぅ・・・

691:デフォルトの名無しさん
19/02/16 16:19:53.42 LE6s3aZE0.net
>>656
gcpでもawsでもまずはクラウドでいくらか使ってみるのが一番良いと思う。
変な環境依存問題で悩まされることも少ないし、本格的なグラボ買うくらいの金額使う前に
だいたい飽きたりもういいやってなるから。

692:デフォルトの名無しさん
19/02/16 17:46:28.12 Thrmbpuf0.net
保存されたモデルを読み込むのにメッチャ時間がかかっちゃう
コマンドラインでの使用だったらinput関数で次々渡していけるのですが、モデル読み込み済みの別プロセスに引数わたして、標準出力を得るにはどうすればいいでしょうか

693:デフォルトの名無しさん
19/02/16 18:19:01.98 5o+yejBW0.net
フォルダを自動監視してファイル追加をトリガーにするのはどうだろう。邪道だと思うけど。

694:デフォルトの名無しさん
19/02/16 20:27:20.72 GnrQKhDY0.net
>>669
昔、ゲーセンにそういうのあったよw

695:デフォルトの名無しさん
19/02/16 21:17:06.09 ZttmoLt30.net
GANで生成された画像がホントにデータセットにない画像なのかって気になるよね
たまたまミッキーマウスが生成されて著作権侵害で訴えられたりもあり得るのかなって

696:デフォルトの名無しさん
19/02/17 07:55:42.82 O/E0SKNM0.net
そもそも教師データとしての画像の著作権とか結構グレイだと思う。

697:デフォルトの名無しさん
19/02/17 08:27:46.53 QdZbpHpop.net
>>675
送信とかしなければ著作権を侵害していないと思うけどな
人間が著作物を見て学習するのは問題ないし
著作権のうちのどの権利を侵害している?

698:デフォルトの名無しさん
19/02/17 08:38:06.59 O/E0SKNM0.net
>>676
この辺の話かな。このページだと大丈夫という結論だけれど。
URLリンク(www.itmedia.co.jp)

699:デフォルトの名無しさん
19/02/17 10:17:29.43 IKEqbPl9a.net
>>677の法律のおかげで今年から日本国内で作業するなら勝手に著作物を使って学習データにしてOKとなった
対象は日本の著作物に限らないのでディズニーキャラを使ってもいい

700:デフォルトの名無しさん
19/02/17 11:39:56.46 7MWZQWrl0.net
>>675
ちいたん★みたいに著作者自身が著作権侵害で訴えられるケースもあるようです

701:デフォルトの名無しさん
19/02/17 11:43:10.54 Pkp5AUbX0.net
歌手が自分の歌を自分で歌うと著作権違反になるとか何とかあったような
そういや音楽以外の著作権もJASRAC管理なのか?

702:デフォルトの名無しさん
19/02/17 12:10:50.76 YuAjajdJ0.net
教師データを売る商売が成り立ちそうだな

703:デフォルトの名無しさん
19/02/17 12:14:04.40 rv+2iYBUa.net
>>677の記事を見れば分かると思うけど「電子計算機による情報解析を行うことを目的とする場合には、必要と認められる限度において、記録媒体への記録又は翻案(これにより創作した二次的著作物の記録を含む。)を行うことができる。」
と用途が限定されているので、ゆるキャラの画像を学習してゆるキャラメーカーを作るのはOKだけどゆるキャラの元データそのものの着ぐるみで活動するのはNG、
楽曲データを使って○○風の楽曲メーカーを作るのはOKだけど勝手に楽曲の元データを歌ったりするのはNGということ

704:デフォルトの名無しさん
19/02/17 12:21:27.12 Pkp5AUbX0.net
>>682
ありがとー!

705:デフォルトの名無しさん
19/02/17 12:34:36.08 p4FwcX/Y0.net
じゃあどんな著作物も重み1で固定したネットワーク通せば著作権フリーになるのか

706:デフォルトの名無しさん
19/02/17 12:41:30.35 Pkp5AUbX0.net
>>684
そういう事すると著作権自体が変わったり、裁判官が「どうみても一緒やろw」で一蹴されるからやめておくれ~

707:デフォルトの名無しさん
19/02/17 12:52:15.51 rv+2iYBUa.net
常識的に考えてアウトなものは著作権法違反になるよ
URLリンク(storialaw.jp)
>例外的に但書が適用されるケースとして、たとえば「●●風キャラクター生成モデル用学習用データセット」と銘打って
>特定の作家の全漫画を単にデジタル化しただけのデータセットを販売するようなケースが考えられます。
>このケースは確かに学習済みモデル生成用の学習用データセットとして使おうと思えば使える
>(ただし自分でラベル付などは行わなければなりませんが)データセットですので、本文2号「情報解析」には該当しますが、
>このデータは、そのまま視聴して楽しむことも十分に可能です。とすると、但書に該当することになると思われます。

708:デフォルトの名無しさん
19/02/17 13:17:46.81 By2D3vgua.net
画像などの著作権について「人が」ではなく「個人が」というところを
気を付けないとね。音楽も個人が自分で口ずさむのはOK.

709:デフォルトの名無しさん
19/02/17 13:28:56.92 xop1bky/p.net
>>680
楽曲の著作権者は作詞者と作曲家だし
権利を会社が買い取っているかもしれない
歌手は自分の歌だと認識違いをしていたんだろう

710:デフォルトの名無しさん
19/02/17 13:32:52.10 xop1bky/p.net
>>682
記録媒体への記録
ってことだとネットからダウンロードして保存しただけで
該当しそう
なんか解釈が適切でないような気がする
送信可能にした人が複製権も許諾してもらってないと


711: おかしいと思うな



712:デフォルトの名無しさん
19/02/17 14:37:15.02 XZlLKfoia.net
アドバイスいただきたい初心者なんですが。
何からスタートさせればよいでしょうか。おもしろい実例などご紹介いただきたいです。
統計の基本はおさえてるつもりです。

713:デフォルトの名無しさん
19/02/17 14:43:22.00 SfPzlMrR0.net
元祖の囲碁

714:デフォルトの名無しさん
19/02/17 15:53:28.30 Szm+cgXy0.net
メジャーリーガーの格付け

715:デフォルトの名無しさん
19/02/17 16:31:26.38 +9Mws91n0.net
みかんの分別

716:デフォルトの名無しさん
19/02/17 16:47:49.82 Szm+cgXy0.net
irisからが基本?

717:デフォルトの名無しさん
19/02/17 18:18:53.08 T3+WXnTJ0.net
あの~、pythonを使えば、簡単に動画から自分の顔を認識できるものなの?
勿論粗くても良いし、お遊び程度で良いんどけど。
実験材料としては、簡単に作れるから質問したんだけど。
動画から静止画に切り出すのはなんか有るでしょ。

718:デフォルトの名無しさん
19/02/17 18:26:00.97 /4f3wEi70.net
opencvにそういうのあるからすぐできると思うけど
すぐが1日なのか1週間なのか1か月なのか1年なのかは人による

719:デフォルトの名無しさん
19/02/17 18:34:22.83 T3+WXnTJ0.net
>>696 有り難う。 棺桶に入る前までには結果を見れそうで安心した。

720:デフォルトの名無しさん
19/02/17 19:04:22.96 yFzlwEVKM.net
葬式用の写真を自動生成するのは需要あるかもな

721:デフォルトの名無しさん
19/02/17 19:12:05.84 OPCV5npOp.net
>>690
本気で学ぶつもりの人向けに本を3冊紹介しよう
1. Python機械データ学習プログラミング 達人データサイエンティストによる理論と実装
2. 詳解ディープラーニング TensorFlow・Kerasによる時系列データ処理
3. パターン認識と機械学習 上下巻
1は入門書として素晴らしい
scikit-learnの使い方をしっかり学べる
2はディープラーニングでGPU使って何かしたい場合にはオススメできる
3は機械学習の教科書的存在のPRMLの和訳
機械学習関係は日本語の良書が多くて正直驚いている
これがブームってヤツか

722:デフォルトの名無しさん
19/02/17 19:49:43.00 O/E0SKNM0.net
>>690
tensorflowでもchainerでも良いのでMNISTデータセットで学習してみたら?
んでもって自分で手書きした数字の画像に対して推論かけてみるとか。
こんなんでとりあえずツールの使い方の手順は覚えると思う。

723:デフォルトの名無しさん
19/02/17 21:22:15.79 /4f3wEi70.net
MNISTって何の工夫もないRandomForestでも98%くらい行くよね
CNNだと99%もすぐ超えるけど、深層学習を使うには物足りない気がする

724:デフォルトの名無しさん
19/02/17 21:27:39.25 Pkp5AUbX0.net
あれは環境設定の確認用みたいなもんじゃないか

725:デフォルトの名無しさん
19/02/17 21:29:12.95 62QXlHxi0.net
だよね
データセットも検証も現実的じゃないし
やっぱり初学で便利なのはKaggleのカーネル読みあさるのがおすすめ

726:デフォルトの名無しさん
19/02/17 21:40:24.41 OPCV5npOp.net
>>703
Kaggleのカーネルいいよね
EDAから始まって、前処理からコンテストに投稿するまでしっかりと書いてある

727:デフォルトの名無しさん
19/02/17 23:14:54.64 n//KExYj0.net
良い解説サイト見つけた。
ディープラーニングの株価予測で気を付けるべき3つの落とし穴
URLリンク(aizine.ai)

728:デフォルトの名無しさん
19/02/17 23:22:05.18 X7D+GM8Na.net
みなさん、いろいろご回答ありがとうございます。
まずは、irisのデータでいろいろやってみようとおもいます。
それでなれたら、ほかにも手を出していこうとおもいます。ありがとうございました。

729:デフォルトの名無しさん
19/02/17 23:44:28.52 HxZAeIvF0.net
株価予測でLSTMとかいつの時代の話してるんや

730:デフォルトの名無しさん
19/02/17 23:51:09.94 Pkp5AUbX0.net
2018.07.17の記事だった
多分2,3年前からあるよね

731:デフォルトの名無しさん
19/02/18 00:35:47.18 ajNxLPsW0.net
株価の変化を株価から予測するモデルはだめでしょ。

732:デフォルトの名無しさん
19/02/18 00:46:53.00 9Y7UoWyl0.net
昔々のショートショートSF に数学者が競馬の馬券を当てる話があったな。

733:デフォルトの名無しさん
19/02/18 01:25:55.75 4F684EvVM.net
>>666
ベッキーよりも上品な感じだな

734:デフォルトの名無しさん
19/02/18 06:09:55.47 MrcmtMGd0.net
>>707
なにがいいの
普通にcnn?

735:デフォルトの名無しさん
19/02/18 07:33:14.65 aFs+DxuY0.net
株価予測は自然言語の解析の方が重要
ネットの情報を見てどれだけポジティブ・ネガティブな情報が集まっているかで判断するってのを見たな
株価だけ見て次を予測とか普通に考えて無理だろ

736:デフォルトの名無しさん
19/02/18 07:41:11.96 2CqHlH240.net
株価は予想出来ん
法則が無いんだから
法則があれば誰かがそれを利用し、法則が消え去る

737:デフォルトの名無しさん
19/02/18 07:45:09.23 9Y7UoWyl0.net
>>714 予想できなくてもついていくことはできる。
今の大半はコンピュータ取引だから、瞬時に大変動する。 人手だと間に合わない。

738:デフォルトの名無しさん
19/02/18 10:19:32.76 rKPIDWnV0.net
取引と連動まではまだしてないけど、形態素分析やって感情辞書で数値化というのを試験的に
やってみてる。辞書は金融用に自分でカスタマイズが必要。結構面倒だ。
だが手段が目的になりつつあるほど楽しいよw

739:デフォルトの名無しさん
19/02/18 11:18:26.55 0M5SBg0Yp.net
>>714
効率的市場仮説
市場にすぐに反映されるから
予測した時には遅いっていう仮説があるな

740:デフォルトの名無しさん
19/02/18 11:20:35.30 9I3F1hK7M.net
相場に付いてくだけでも役に立つの?

741:デフォルトの名無しさん
19/02/18 14:39:27.15 vct2uGMMa.net
すごいデイトレーダーはチャートだけで売買してる人いるみたいよ
別に自然言語解析不要じゃないの?

742:デフォルトの名無しさん
19/02/18 14:40:55.30 KbAZJZDOM.net
cisってヤツだろ

743:デフォルトの名無しさん
19/02/18 15:19:15.78 F7vNxUVSM.net
失礼な雇用統計も参考にしていますよ

744:デフォルトの名無しさん
19/02/18 15:25:54.10 mU1u6kNHp.net
>>719 勿論ニュースとか、大きな統計情報の発表は予想に使いながら、どのマーケットのどんな銘柄が動くか予測して、その中でどれに投資するかはチャートを見ながらじゃないの ?
大きな流れを無視した投資は成り立たない。

745:デフォルトの名無しさん
19/02/18 15:54:02.21 6k3y6QB20.net
株にAIが有効だとすれば、アンサンブル学習。
唯一無二のアルゴリズムは無く、毎日チューニングの繰り返し

746:デフォルトの名無しさん
19/02/18 16:36:38.88 pR6QWSjU0.net
Colaboratoryで色々遊んでみているんだけど学習後にGPUメモリが開放されません。
del model とか del history とかやったあと
gc.collect() やってみたりしているのですが、
どのようにGPUメモリを解放すればいいのでしょうか?

747:デフォルトの名無しさん
19/02/18 17:09:41.03 tg/9fSI90.net
計算資源があればニュースが出た瞬間の分析でもリターンは出る
チャートの動きも同じ
上に出てる感情分析は部分的には有効
でもCNN Indexの強化版みたいな役割しか無い

748:デフォルトの名無しさん
19/02/18 17:12:13.33 tg/9fSI90.net



749:メディアの方のCNNよ



750:デフォルトの名無しさん
19/02/18 20:27:29.65 Ozev5N3p0.net
>>719
デイトレやスキャルのように取引間隔が短くなるほど判断材料がチャート寄りになる。
だけど利益効率は低くなる。スタイル次第だね。

751:デフォルトの名無しさん
19/02/18 23:00:23.07 bIvMqO/j0.net
経済指標というのは統計データにそこまで精度があるもんじゃないからね
統計改竄とか騒いでるけど今に始まったことじゃないし。
数年平均の変化率を取る程度でも意味があるかどうかギリギリ

752:デフォルトの名無しさん
19/02/19 00:40:50.23 1Fqwt8so0.net
>>724
再起動

753:デフォルトの名無しさん
19/02/19 07:37:55.24 tuL2vxo10.net
>>729
えぇ…
放ったかしにできないじゃん・・・

754:デフォルトの名無しさん
19/02/19 11:05:24.76 Dp5mXjEy0.net
delじゃreleaseせんやろ

755:デフォルトの名無しさん
19/02/19 15:19:07.20 xz+0XgYya.net
まあ、改竄じゃないわな
大きなミスではあるが

756:デフォルトの名無しさん
19/02/19 20:06:33.80 8ne5Wfny0.net
統計基準の変更に伴ってなぜか下振れがないってのは
確率的に独立でないことを示していると思いますが。。

757:デフォルトの名無しさん
19/02/19 20:57:30.91 lHd2rX6rp.net
>>733
何と何が独立でない?
統計基準の変更って全数検査か抜取り調査かの違いじゃね?

758:デフォルトの名無しさん
19/02/19 22:43:20.01 q3SXbntr0.net
機械学習とかデータマイニングを勉強すれば
高卒でも関連職に就けますか?

759:デフォルトの名無しさん
19/02/19 22:55:12.27 Y7EIMl82a.net
本人の向学心と心構え次第ですが、付けますよ。
手法を作る、あるいは、それを駆使するという方面ではなく
つねに分析を念頭にいれて業務を覚えていけば、
機械学習、データマイニングの技術者が何をすればいいかの指針
あるいはヒントをだすことができます。
現在(昔からですが)の一番の問題は、日本において産と学が遊離していたために
こういった研究者が何をやったらいいかの指針やヒントが、なかなかでなかった
ところにあると思っています。
だから、もし実業でヒントを出す側になるのは大変有用ですし、それは業務を
こういった技術川知識+業務知識の両面を知らないとできないことですから。
金融機関などの分野によっては、もう20数年前から実用化されているものが
あるわけで、それはそういった人(内部にはいなかったが)からできたことです。

760:デフォルトの名無しさん
19/02/19 22:58:13.72 Y7EIMl82a.net
技術的に必要と感じたら、また大学で勉強することがいいと思います。
私の周辺にはそういった人がたくさんいます。
場合によると足りないのは、そういった人が少ないことかもしれない。
日本が、何十年もの間大学から、新しいことやヒントがまるきり生まれてこない
という時代は、そろそろ終わりにしないといけない。行き来が重要。

761:デフォルトの名無しさん
19/02/19 23:23:06.80 gQmrEH7F0.net
外国の方も見てるスレだったのね

762:デフォルトの名無しさん
19/02/19 23:50:57.59 Y7EIMl82a.net
???

763:デフォルトの名無しさん
19/02/20 00:10:03.61 16zslZ/2M.net
業務知識を付けてから、業務に機械学習を活かす方向ならありそうね。

764:デフォルトの名無しさん
19/02/20 00:11:29.51 16zslZ/2M.net
仕事が茄子の選別なら、それを機械にやらせてみるとか

765:デフォルトの名無しさん
19/02/20 00:14:39.09 /iKt7wuya.net
たとえば、もう15年くらい前からATMでお金降ろしたり預金したりするとき
「あなたなら○○円までローンが可能です」みたいなのが
出る銀行あるけど、あれって適当にやっているとか
統計手法を使ってやっているとか思っているひとがいるんでない?

766:デフォルトの名無しさん
19/02/20 00:39:23.66 DbMmuNuj0.net
すくなくとも機械学習とは無縁な気がする。
単に年間取引量とか年数とか貯蓄額などなどでさくっとライン決めてるんじゃないかな。
自分は同じ銀行でも出る口座と出ない口座があるね。

767:デフォルトの名無しさん
19/02/20 00:44:11.71 /iKt7wuya.net
>743
れっきとした機械学習ですよ

768:デフォルトの名無しさん
19/02/20 00:52:08.87 /iKt7wuya.net
これは日本の話
おそらく、機械学習やられている人でも、多くのひとが知らないんだと思う
その昔は、統計手法によるスコアリングあるいはニューラルネットを使った
ものが主流だったが、こういった利用には適しておらず、機械学習が
1990年過ぎに消費者金融業界から使われだした。
その後、クレジット業界、銀行と広まって行き、当初はATMに直結しては
いなかったが、約15年ほど前から、事前に属性と取引状況から判別して
リコメンドをするような仕組みが出てきた。
どうやっているかの詳細は言えないが、完全に機械学習手法が用いられていて
データが足りない部分は統計手法などのアンサンブルが行われている。
これについては日本の方が海外より進んでいる。

769:デフォルトの名無しさん
19/02/20 00:58:29.39 /iKt7wuya.net
大学などでは、この時代にそういった研究はほぼされていないので、完全に
民間手動、さらにこういった実データは大学などに提供されることは
一切ないので、学業の世界では、そういったことが行われていることすら
知ら無い方がほぼ100%近いままで来たというのが現状。
その後だいぶ遅れて、大学でもそういったことを専門にやる研究室や
学部もできたが、こういったデータは手に入らないため、ネットで集まる
データやposデータなどを研究対象にするしかないために、大学などの研究はそちらに偏った
モノとして進んできて今がある。それはそれで研究課題があるのでいいのだが
あたかも日本において流通やネットがマイニングや機械学習の主流として進んできたと
大きな勘違いをされている方がたくさんいる。

770:デフォルトの名無しさん
19/02/20 01:41:43.93 zGZHFyqu0.net
>>745
1,2年前から銀行が機械学習の事業やるとかちょくちょく発表してるのはなんなん?

771:デフォルトの名無しさん
19/02/20 01:56:42.90 /iKt7wuya.net
>>747
あれは、またこの話とまるきり別な流れと考えていいともう
それこそ、この掲示板での話題と同じようなような流れのことをやるんでしょう。
やられる方も、まるきり別。
おそらく行内でもまるきり別セクションで、人のつながりもなく流行にのる
システム部門だったり営業的部門だったりの仕事としてやるんじゃないのかな?
私がいま話した内容の場合は、システム部門だとかはまるきりタッチすることのない
せかいなので。

772:デフォルトの名無しさん
19/02/20 02:00:18.43 lome1jbk0.net
>>745
ニューラルネットが流行ってるのはここ数年
古くから使われてるのは多重回帰とかそんなんでしょ
日本は機械学習よりも人の判断にゆだねられてきた部分が多いと思う

773:デフォルトの名無しさん
19/02/20 02:11:35.73 /iKt7wuya.net
>>749
カードなどの、不正利用関連でのニューラルネット利用は80年代後半から実用化されて
ずっと使われてますし、主流です。
リスクに関しても同じく80年代後半から一部使われたりしてますが、これは別な
理由から国内ではほとんど使われていない。
また株式投資などでは、同じ時期から野村や大和が研究して予測につかったり
して、結果は悪くないのですが、理由がつけられないので商売にならないので
やめました。商品作っても、顧客はなぜそれがいいのかの理由を知りたいんですよ
顧客も金融機関だから、預かっているお金でしょ。だから、失敗したときの
エクスキューズ


774:ができない。ようはこの分野は当時ブラックボックスでは 商売にならなかったという背景がある。 結構みなさん、思った以上に、このあたりご存知ないみたいですね。



775:デフォルトの名無しさん
19/02/20 02:15:35.35 /iKt7wuya.net
ちなみに、株式投資などは上記の理由から、機械学習などはすたれて、
統計理論によるものが主流として今まで来ている。
ただし、自己資金で個人投資家がニューラルネットつかって
15年以上前から儲けているひとは実際にいますし、ネットでもずっと
取引結果公開してましたよ。300万円で初めて、いまはゆうに億を超してます。
あくまで個人で本業ではないですけど。

776:デフォルトの名無しさん
19/02/20 02:19:47.56 /iKt7wuya.net
>リスクに関しても同じく80年代後半から一部使われたりしてますが、これは別な
>理由から国内ではほとんど使われていない。
誤解するといけないので補足しておきます田、この分野でニューラルネットワークが
使われていないという話で別な機械学習手法が最も使われている分野です。
ちなみに、ニューラルネットワークは、今から30年以上前に大変流行ったのよ。
もちろん、今のように洗練されてはいないですが。

777:デフォルトの名無しさん
19/02/20 02:36:50.96 /iKt7wuya.net
>>749
>日本は機械学習よりも人の判断にゆだねられてきた部分が多いと思う
マーケティングの世界は大変遅くて、いまでもそれが主流ですよね
株式については85年あたりを境に大きく変化し、大手中堅証券関係や少し遅れて銀行
などが運用や商品開発に関して、数理手法中心に変化した。ここでは統計手法と最適化
手法が中心(当初研究していたニューラルネットはここで消えた)。
それに遅れること10年近くになってやと大学で専門的なコースができ始めた。
リスクに関しては、95年を境に大きく機械学習手法導入に代わって行き、それに伴い
大手消費者金融などの店舗が無くなった(それまでは、店舗で顔を見ながら、人が
判断していたんですよ)。カード会社も同時期。遅れて銀行などなど・・・

778:デフォルトの名無しさん
19/02/20 02:39:35.89 zGZHFyqu0.net
>>753
>リスクに関しては、95年を境に大きく機械学習手法導入に代わって行き、それに伴い
大手消費者金融などの店舗が無くなった(それまでは、店舗で顔を見ながら、人が
判断していたんですよ)
無人くんってそういう意味だったのか・・・

779:デフォルトの名無しさん
19/02/20 02:50:53.53 /iKt7wuya.net
そうなんですよね。
ある大手消費者金融のトップは、今後店舗は無くなってゆく、さらに過当競争もある、
またグレーゾーン金利どうなるか(要はあの過払いにつながる話)など見据えました
よ。これは95~6年の頃。
銀行は、まだのほほんとしてましたけどね。
リスクに関しては機械学習手法で10年以上会社ごとに個別にモデルを作って
いて、その蓄積から15年くらい前に、いまのATMでのリコメンドが行われるように
なったという流れです。
その少し前ころにブレインパッドとか会社ができたと思うんですが、専門会社と
しては大変後発です。

780:デフォルトの名無しさん
19/02/20 03:09:39.19 zGZHFyqu0.net
銀行は三大業務が儲からないんで国内金融業者の真似をするってこと繰り返してるだけだね

781:デフォルトの名無しさん
19/02/20 04:36:03.76 ODzVJVWX0.net
ずぶの素人がRapidminerをなんとなく色々弄って
データマイニングを触り始めたんだけど、
結局h2o Flowで直接やれば有料版買わなくても良いのかと思った
KNIMEとかwekaとか触ってる人居ます?
結局RStudioでちくちく頑張るのが最善なのかと思い始めてます

782:デフォルトの名無しさん
19/02/20 04:36:57.17 16zslZ/2M.net
データはあっても論文にしないから存在感もないし給料も上がらんてことなのね。

783:デフォルトの名無しさん
19/02/20 05:00:06.54 /iKt7wuya.net
>>758
この分や、特に大学が軽視していたのは、なかなか論文として認めてもらえなかったからというのがおそらく現実だと思う。
今は変わってきた(と思う)ので、一生懸命になってきた

784:デフォルトの名無しさん
19/02/20 09:58:33.03 nvYFoaDR0.net
銀行はもう用済みだってさ、金借りないもん

785:デフォルトの名無しさん
19/02/20 10:46:26.82 16zslZ/2M.net
ホントなら武富士から論文が出るか見物だな

786:デフォルトの名無しさん
19/02/20 11:22:15.65 cUDliwbY0.net
あんな程度のことまで機械学習使ってるんだ。
なんか無駄なような気がするけど。

787:デフォルトの名無しさん
19/02/20 12:21:21.00 jAbwL6mNa.net
単に適当に係数調整した線形の計算式が1つあれば事足りそう

788:デフォルトの名無しさん
19/02/20 13:58:54.20 kemmWDgca.net
>>761
まあ武富士は無縁だな。
そういうのは、消費者金融とか銀行じゃなく専門のコンサル企業が
やってんだよ。限られてるけどFEGとかMRIあるいはNRIとか。

789:デフォルトの名無しさん
19/02/20 15:22:40.81 QgYZylLLM.net
あんちべとかあの辺の人がいそう

790:デフォルトの名無しさん
19/02/20 15:29:02.13 zGZHFyqu0.net
地銀とかにコンサル企業がくっついてるけど、あれはそういう仕事してるとこなのか

791:デフォルトの名無しさん
19/02/20 15:36:35.42 ejonDZ3Ea.net
>>763
なるほど、無知と言われちゃいますよ

792:デフォルトの名無しさん
19/02/20 15:46:38.79 ejonDZ3Ea.net
>>766
ただし外資(ボストンやマッキンゼーというコンサルや会計系のアクセンチュア
などなど)は、経営コンサルやITコンサルなんで、このあたりのことは
やってない。知識も別なんで。

793:デフォルトの名無しさん
19/02/20 15:53:53.55 xZAUp4YHp.net
>>735
俺も高卒
しかもアホ学校
プログラミング自体始めて1年くらいで機械学習や統計を勉強して今はディープラーニングの本やってるけど微分なんかやった事ないし分からん事は沢山あって苦しい部分もあるけど頑張ろうぜ

794:デフォルトの名無しさん
19/02/20 16:04:36.88 QgYZylLLM.net
そんなに流行ってるんだ。すごいブームだな。

795:デフォルトの名無しさん
19/02/20 16:10:44.12 yUNEfJVz0.net
学歴や年齢(第2新卒以上)でハンデが有る場合は、
技術を磨くより英語を勉強して外資行くのが正解ルートなIT業界

796:デフォルトの名無しさん
19/02/20 16:12:55.93 fy/YXeF10.net
外資のIT業界は修士以上しかとらないんじゃないの?

797:デフォルトの名無しさん
19/02/20 16:28:06.46 zGZHFyqu0.net
外資は国ごとに体質が出るから

798:デフォルトの名無しさん
19/02/20 16:53:08.80 ejonDZ3Ea.net
>>770
AIがらみはね。
質がね~いろいろあるんよ問題が。

799:デフォルトの名無しさん
19/02/20 17:37:25.07 QgYZylLLM.net
ロスジェネ世代の物理修士のワイもワンちゃん狙ってるぜ。新卒の時はメーカー系SI位しか行く先がなくてな

800:デフォルトの名無しさん
19/02/20 17:51:06.63 3A0CDvThp.net
>>775 python を2月から始めたが、なんか機械学習が簡単にできそうだから面白そう。
俺みたいな爺さんに追い越されない様に頑張れよな。

801:デフォルトの名無しさん
19/02/20 17:52:54.13 fy/YXeF10.net
たぶん人工知能分野に高卒や学士風情が潜り込める場所はない
せいぜい誰かの作ったライブラリやフレームワークを利用する程度

802:デフォルトの名無しさん
19/02/20 18:00:20.36 3A0CDvThp.net
>>777 良いやんか、昔からドカタと言われてきたソフト業界なんだから、少しでも陽が当たれば御の字。
日本のソフト産業が悲惨すぎたんだけどな。
俺が半世紀くらい前に、ソフトを始めた時に下宿のおばさんが何をなさってるんですかと聞かれたから、ソフトウエアですと答えたら、
「ああ、ふとん屋さんですか」と言われた。 なかなか学のあるおばちゃんだと思ったよ。

803:デフォルトの名無しさん
19/02/20 18:11:20.00 Lun3niTAM.net
人工知能と聞くと途端にうそくさくなるのは何故なのか
脳科学的な

804:デフォルトの名無しさん
19/02/20 18:26:43.03 fy/YXeF10.net
>>778
土方は土方のままだと思う
俺も大卒IT土方やって辞めたクチだが

805:デフォルトの名無しさん
19/02/20 18:31:57.72 zGZHFyqu0.net
ライブラリ使わないとやってらんない。
ニューラルネットのライブラリを全部c++で書いてたけど得るものなかったよ。
低水準な�


806:ニころから自分で書いてれば理解が深まるわけでないからなこれ



807:デフォルトの名無しさん
19/02/20 18:32:28.32 3A0CDvThp.net
>>780 やめたのにここを覗いてるのは何故? また、回復のチャンスがあると思って?
やる気さえあれば出来ると思うよ。

808:デフォルトの名無しさん
19/02/20 18:33:29.97 fy/YXeF10.net
>>779
昔から言われてるのは、知能の定義が曖昧で人工知能の定義も曖昧になってるから
これが人工知能だとソフトを作っても「機械にできることは知能じゃない」と否定されてきた歴史がある
そのうち、機械学習も同じ運命を辿りそう

809:デフォルトの名無しさん
19/02/20 18:34:26.58 fy/YXeF10.net
>>782
そもそもここはマ板なのか?

810:デフォルトの名無しさん
19/02/20 18:36:03.56 3A0CDvThp.net
>>781 そんなの当たり前だ。 人類が石器時代の道具を使って現代人以上に進化出来ると思う奴がおかしな奴。
利用出来るものは、積極的に使わないのはバカ。
入門当初の1~2ヶ月は進化の過程を知るために石器を使って見るのも良いだろうけど、そこまでにした方が良い。

811:デフォルトの名無しさん
19/02/20 18:38:38.05 zGZHFyqu0.net
分野によってはライブラリ使っててもしょうもないものもあんのよ
その技術の本質的な部分が抽象化されちゃってるとね
何をやりたいかで抽象化の程度をよく見極めないと

812:デフォルトの名無しさん
19/02/20 18:44:18.06 3A0CDvThp.net
>>786 それはニーズ、仕様、マーケットがわかっていないからだろ。
何を作るか解らないで闇雲に使える物を使ってもとんでもないものが出てくるだけ。
ソフトで一番難しいのは、ユーザー/マーケットが欲してるニーズを理解すること。
マーケット、ソフト、ハード全ての世の中の融合が理解できないと難しいと思うよ。 出来るだけ広い目で見ること。

813:デフォルトの名無しさん
19/02/20 18:50:48.29 QgYZylLLM.net
EXCEL,VBAをpythonやRで駆逐してくれるだけでも有り難い

814:デフォルトの名無しさん
19/02/20 18:52:24.10 QgYZylLLM.net
CAE系の数値積分をVBAでやる人がたまに居て涙目

815:デフォルトの名無しさん
19/02/20 19:12:10.39 HgkG/6H60.net
だってvbaでできるから・・・
この、vnaでやろうと思えばできるけど、Rだと数秒だよ
みたいな指針ってなんとかならんかな

816:デフォルトの名無しさん
19/02/20 19:16:11.03 xZAUp4YHp.net
みんなはRもpythonも両方使えるの?
統計の勉強も兼ねてRやってみようかな

817:
19/02/20 19:41:40.97 P8vN2pc30.net
>>769
高校の数Ⅲ=微分積分、の教科書は役に立ちます
ちまたの微分積分=解析学、の教科書は、どうでもいい実数論やεδ論法にページ数を割いていますが、これは我々には不要
となると、高校の数Ⅲ=微積分の教科書は、微分方程式まで含んでいて実にバランスがいい
そういう視点で数学の教科書を選んでみてください
私としても、無駄に基礎論に勢力を使わない微積分の教科書を探しています、今読んでいるのは URLリンク(www.amazon.co.jp)

818:デフォルトの名無しさん
19/02/20 20:11:03.36 bBk8RMjOa.net
RやるくらいならMATLAB買った方がいいよ
特に学生なら格安で買える

819:デフォルトの名無しさん
19/02/20 20:17:05.30 sr7oPl810.net
新★銀行の充実担保人生のCMがキモすぎる

820:デフォルトの名無しさん
19/02/20 20:34:19.82 HgkG/6H60.net
>>791
今勉強中でそこまで使いこなせてはいない
ただ、vbaがアホらしくなる処理が色々あるな、というのは分かる

821:デフォルトの名無しさん
19/02/20 20:48:37.10 QgYZylLLM.net
そう言えばoctaveはこのブームに乗ってないのね

822:デフォルトの名無しさん
19/02/20 21:23:39.58 eGFlYAm40.net
>>792
εδや実数論は、機械学習の基礎理論を理解するためには必須だけどね
そして、いまの高校数学には微分方程式は入っていない

823:
19/02/20 21:40:45.51 P8vN2pc30.net
>>797
>高校数学には微分方程式は入っていない
!?!これは驚いた!
微積分の一番おいしいところが入ってないなんて、文部省はいったいどうしちゃったんでしょうか?

824:デフォルトの名無しさん
19/02/20 21:43:29.90 P1CVYyuD0.net
機械学習の基礎でεδも実数もいらない気がするが
微分方程式を解く必要があるとしても自力で解く必要もないだろ
たとえばどこで決定的にεδがいるんだ?

825:デフォルトの名無しさん
19/02/20 21:45:38.77 8ZKUEhxU0.net
>>798
おまえさんJRのこと国鉄って呼ぶだろ

826:デフォルトの名無しさん
19/02/20 21:51:59.81 eGFlYAm40.net
>>799
>>797 では「基礎理論」と言っており、これは「入門」を指していない
Pythonのライブラリを使って機械学習させるだけなら、もちろんそこまでは必要ないよ
しかし、機械学習の手法を新たに開発しようと思ったら
数理統計学や多様体の知識が必要になるのだが、
そうなるとεδや実数論がわからない人にはまず無理
数理統計学だとルベーグ積分が必要になるしね

827:デフォルトの名無しさん
19/02/20 22:24:02.54 v2INiFL/d.net
URLリンク(headlines.yahoo.co.jp)

828:デフォルトの名無しさん
19/02/20 22:26:40.48 lome1jbk0.net
微分積分と線形代数は大事だねぇ
大学一年生のときにはそこまで大事だと思ってませんでしたすみません

829:デフォルトの名無しさん
19/02/20 22:27:30.98 v2INiFL/d.net
『浅い』『深い』
何い言ってんだこいつら?

830:デフォルトの名無しさん
19/02/20 22:29:22.22 v2INiFL/d.net
くっだらないラベリングに何工数かけてんだか

831:デフォルトの名無しさん
19/02/20 23:22:15.35 oVRyet6Lp.net
>>793
Matlabはとてもいい商品ではあるが個人の趣味には高すぎるよ
自動車産業とか行くなら損はないけど、機械学習と統計やるのならPython極めた方が有益
あとRとMatlabは得意分野が異なるので、統計の勉強するならRだけれども、じゃあ産業で使うかと言ったら研究者レベルでしか使わなくて、SPSSとかSASになる

832:デフォルトの名無しさん
19/02/20 23:32:32.66 HgkG/6H60.net
>>804
検索してみたけど誰もそんなこと言ってないぞ

833:デフォルトの名無しさん
19/02/20 23:36:54.87 P9LL/TKM0.net
Matlabプライベートで買う人とかおるの?
いたとしても既に専門家な人だろう
Rは参考書はよく出てるよな

834:デフォルトの名無しさん
19/02/20 23:38:45.42 fy/YXeF10.net
賑わってるなー

835:デフォルトの名無しさん
19/02/20 23:45:07.50 eGFlYAm40.net
>>807
>>802 の記事のことかと

836:デフォルトの名無しさん
19/02/20 23:53:38.68 fpqQUUUe0.net
numpyとかpandasはみんな自信ある?
あれやりたいなって思っても覚えれないし調べないと全然使えない
改めてちゃんと勉強した方が良いのかな

837:デフォルトの名無しさん
19/02/21 00:09:21.72 YsIQ3BIo0.net
>>810
ありがとう
DLの根幹は最小二乗法だけど、パラメータの最適化、モデルの構築を考えればもうそれだけじゃないね
深い関数ってのは要するにモデルの事だと思うけど、
deeplearningのdeepに引っ張られすぎな命名と思う
LSTM、RNN、GANとそれぞれ計算方法や特徴が違う、とそのまま言えばいいんじゃないかな
ただ、これらを総称するわかりやすい言葉はないね。モデルが違うとしか・・・
>>811
一通りAPIを読んで億ぐらいで良いと思う
いずれ本気で使うか、読む時が来る

838:デフォルトの名無しさん
19/02/21 00:36:23.61 ON3Qq6Jz0.net
例のディープラーニング協会の人だし一般人が分かった気になる説明(合っているとは言っていない)をしたいのだろうよ

839:デフォルトの名無しさん
19/02/21 00:38:45.49 /M


840:YEskNsa.net



841:デフォルトの名無しさん
19/02/21 00:41:13.02 JaIF9eFka.net
matlabは色々やりたいことが増えるとtoolboxどんどん買わないといけなくなって大変
コスト度外視すれば使い勝手は申し分ない

842:デフォルトの名無しさん
19/02/21 02:43:35.30 BqaX6qkta.net
matlab学生ならツールボックスいろいろセットで1万円で買える
データの前処理とかはこっちでやった方が楽なこと多い
モデルに前処理も組み込むなら別だけど

843:デフォルトの名無しさん
19/02/21 08:24:37.70 zdM3YyA6d.net
>>791
R、Pythonなど使ってきたけど、自分はRをメインにしてる。
有料ソフトは家で試したりできないし、環境が変われば使えなくなる可能性があるから避けてる。せっかく勉強した内容や作ったツールが無駄になるのがこわい。

844:デフォルトの名無しさん
19/02/21 09:58:31.62 qpxe9X3rd.net
造語はなるべく非難推奨

845:デフォルトの名無しさん
19/02/21 09:58:40.83 /8pf4ksL0.net
QZは爺であることがわかったw

846:デフォルトの名無しさん
19/02/21 10:53:27.68 TingKcVp0.net
須山はなんでknnやsvmを毛嫌いするの?

847:デフォルトの名無しさん
19/02/21 12:58:02.52 9vo90Ex30.net
>>820
単に、その方が知りたいことと(彼の目的)と異なるだけでしょう。
どういうことやってる人なの?

848:デフォルトの名無しさん
19/02/21 14:13:52.21 YGIT6NuY0.net
急に名前をだしてdisるやつ、おさっしレベル

849:デフォルトの名無しさん
19/02/21 20:38:01.40 pfQr8Z6u0.net
今日はpandasの勉強します
業務上JSやらVue.jsやらDBとかその他諸々勉強しなきゃいけないこと山積みだけど僕はpandasを勉強します
そんなこと無駄だぞって言わないでね

850:デフォルトの名無しさん
19/02/21 20:44:01.11 a0vDFZeVa.net
pandasはUenoが本場

851:デフォルトの名無しさん
19/02/21 20:44:14.25 HHGGRant0.net
無駄だ

852:デフォルトの名無しさん
19/02/21 20:49:18.53 7Hd2H8P5a.net
人工衛星が撮影の画像 誰でも無料で利用可能に
URLリンク(www3.nhk.or.jp)
色々面白い遊びに使えそうだけど良いのが思いつかない

853:デフォルトの名無しさん
19/02/21 21:28:39.53 a0vDFZeVa.net
安倍政権の一つの政策として、どんどん、国が持っているデータを公開して、
利用してもらおうという流れになってるんで、その一貫でしょうね。
ちなみに、今回の統計データ問題も、その一環でデータを精査していた中で
どうも結果と整合性がとれていないという指摘がでて初めて表に出てきたもの。
その面では、安倍政権じゃなかったら、ずっとそのまま闇の中だった
可能性が高いんだよね。

854:デフォルトの名無しさん
19/02/21 21:42:45.12 ocUBF9ryp.net
ここの人は統計の基本的な知識は持ってるんだね
モデルを作るのには必要ないのかもしれないけどデータ分析するならやっぱり必要なんだろうな

855:デフォルトの名無しさん
19/02/21 21:48:03.40 a0vDFZeVa.net
必須です。
モデルを作る場合でも、必要なデータがすべて量があるとは限らない
その場合は、分布を仮定したモデルを組み込まないと満足な結果が
得られない。
本格的に取り組んでいる人は必ずやっているが、ここのほとんどの人は
やってないんだろなと思ってる。

856:デフォルトの名無しさん
19/02/21 21:56:22.20 HHGGRant0.net
持ってるわけがない

857:デフォルトの名無しさん
19/02/21 21:58:30.07 wi98nKsu0.net
統計って言ってもいろいろあるけど

858:デフォルトの名無しさん
19/02/21 22:02:56.72 nghslhBC0.net
>>827
前から出しとるわ。
本当に安倍関係はさらっと普通に嘘つくからな。本人と同じで。

859:デフォルトの名無しさん
19/02/21 22:12:31.92 a0vDFZeVa.net
>前から出しとるわ。
具体的に行ってみて。
うそでしょうけど。

860:デフォルトの名無しさん
19/02/21 22:20:32.60 YsIQ3BIo0.net
>>826
だっっっっっっっっっっっっっっっさ!!!!
URLリンク(www.tellusxdp.com)
もう一回言う
だっっっっっっっっっっっっっっっっっっっっっっっっっさ!!!

861:デフォルトの名無しさん
19/02/21 22:22:07.49 rZ10GU5LM.net
統計的な知識っていうのは特に推定するところと分散の最適なクラスを抽象化するのに必要な知識ってことで合ってるかもしれないよな

862:デフォルトの名無しさん
19/02/21 22:27:33.54 nghslhBC0.net
>>833
具体的に安倍政権以前に出てなかったソースと
安倍政権下で出てきたソースを出してみて。
そんなものはないのでこっちとしては指摘できることがない。

863:デフォルトの名無しさん
19/02/21 22:28:36.49 a0vDFZeVa.net
>>836
???

864:デフォルトの名無しさん
19/02/21 22:32:29.01 a0vDFZeVa.net
自分でしらないこと、分らないことを批判するのはだめだよ

865:デフォルトの名無しさん
19/02/21 22:33:26.54 a0vDFZeVa.net
>>836
落合公園中心の写真だ
別に意味ない話だが

866:デフォルトの名無しさん
19/02/21 23:29:43.30 0x77EXSvM.net
オントロジー定義したりしてるんか。安倍ちゃん

867:デフォルトの名無しさん
19/02/21 23:53:14.24 jOevK1970.net
ディープラーニングなんて単なる最小二乗法だろ

868:デフォルトの名無しさん
19/02/22 01:10:51.83 9lxMevV+M.net
コスト関数を変えたらディープラーニングじゃなくなるのか
知らなかった

869:
19/02/22 01:19:40.52 qUC1+rXN0.net
>>820
ジジイ、ジジイか?
それじゃお前は何だ?このガキが
俺は、お前さんがこの世に落っこって来る前から、バグつくってんだ

870:デフォルトの名無しさん
19/02/22 07:44:29.94 pVImJgYzp.net
>>829
素人過ぎて申し訳ないんですが統計解析したものをモデルに組み込むっていうのがよく分からないです
>>その場合は、分布を仮定したモデルを組み込まないと満足な結果が
この辺の話は元データを統計手法を用いて改良したものを入力っていうか訓練データにするってことですか?
初歩的な質問ですいません

871:デフォルトの名無しさん
19/02/22 09:57:40.24 1tWgvkMda.net
使う手法により異なるけれど、訓練データにするのではなく(もともとないから)
主としては別途アンサンブル的な形になるでしょう。ディープラーニングなどでは
この形は難しいので、適用する対象にによって手法そのものを分ける必要があると
思う。ただし、そんなことやりたくないから、一発手法を求めているのはわかんだ
けど、実場面では一発手法は現時点では難しい。ただし、何もやっていなかった
ところでは、何やっても過去より楽になった、良くなったという見方をしてしまう
ことが多いみたいね。

872:デフォルトの名無しさん
19/02/22 12:19:25.40 9D6v3ksoa.net
囲碁AIブームに乗って、若手棋士の間で「AWS」が大流行 その理由とは?
URLリンク(www.itmedia.co.jp)

873:デフォルトの名無しさん
19/02/22 15:19:05.65 sEbpY4cs0.net
>>826
>人工衛星が撮影の画像 誰でも無料で利用可能に
URLリンク(www3.nhk.or.jp)

>色々面白い遊びに使えそうだけど良いのが思いつかない
これ画像データダウンロードはできないっぽいけど
Jupyter Notebookから画像ファイルとして
普通に扱えるのかな?

874:デフォルトの名無しさん
19/02/22 15:28:33.67 1cZDvNG50.net
>847
全然扱えない
※1:1ヶ月稼働が無ければ、利用を停止させていただくことがあります。
※2:申込の混雑状況によりすぐにご提供できない場合があります。
※3:上記メニュー以外のご利用の仕方についてはご相談ください。
※4:商用利用については別途サービスアグリーメントが必要になります。お問い合わせください。

875:デフォルトの名無しさん
19/02/22 18:20:06.17 IYpVWDew0.net
サイトを見たところ、さくらクラウド上に専用のアプリケーション環境が構築されてあって
ユーザーは、専用アプリを使って画像解析を行う。デベロッパーはさくらクラウドの
環境上で動作するJupyter Notebookを使って画像解析アプリを構築できるみたいな


876:。 あと、これ以外にさくらクラウド上のサーバーにアクセスできるルート権限を付与する 使い方というのがあり、この場合には直接画像ファイルを触れるかも。ただし、ルート 権限サーバーについては要相談と書かれており、多分、初年度からさくらクラウドの サーバーの実費費用は徴収されると思う。多分、ルート権限は経済産業省で具体的な 商用化の可能性があるかも審査される気がするから遊びではだめかと。 https://www.tellusxdp.com/ja/dev



877:デフォルトの名無しさん
19/02/22 18:33:04.83 1cZDvNG50.net
>>849
うーん・・・なんかこう、日本って一歩古いんだよなぁ
全部自由にさせて、そのノウハウを吸い上げるというやり方が全くない
ノウハウを吸い上げる能力が無いんだろうけど、あまりに残念すぎる

878:デフォルトの名無しさん
19/02/22 18:38:44.69 o3LmEQza0.net
>>850
自分がタダで使いたかっただけでしょ・・・

879:デフォルトの名無しさん
19/02/22 18:50:53.32 IYpVWDew0.net
地球観測衛星のデータは大別すると光学画像と合成開口レーダーデータに分けられる。
光学カメラ画像はJPEG2000形式が使われていて、データサイズが異常なほど巨大。
レーダーのデータは数値データファイルで、形式変換しないと見れない。多分、かなり
制約がありすぎて普通に提供しても商業利用的には普及しない可能性があるので、環境
を整えて提供することにしたのかと。普通、機械学習で画像データの自動分類を行うに
は256x256に縮小して、学習にかけるようなことを行うが、素のJPEG2000のデータを
縮小させると、細かいデータが欠落して意味をなさなくなる。かといって、縮小をかけない
で256x256の区画に分割するとデータ総量が多くなりすぎて本格的なGPUスパコン並み
の処理能力が必要となる。結果的、普及にはどれも問題があって、最終的にたどり着いた
のが、上の方法なのではないかと推測。あと、余談だけど、Googleがやってた国防総省
の衛星画像解析AIシステムの場合、教師データの作成を時給1ドルで外注に出してた。

880:デフォルトの名無しさん
19/02/22 18:54:24.56 1cZDvNG50.net
>>851
タダというか、手軽に使いたかった
今出回ってるデータセットって基本無料だから、今更こんなめんどくさい事されても困るんだわ

881:デフォルトの名無しさん
19/02/22 19:54:41.00 T0uERcdu0.net
お手軽ならば
今後の地価変動をやってみたかった
道路とか鉄道とかの写真データから地価予測
でも使い物にならないならクソだな

882:デフォルトの名無しさん
19/02/22 20:21:11.35 7vQAP+RTM.net
須山さんはtwitterで見たんだけど
ベイズの人で
svmが許せないのかなと

883:デフォルトの名無しさん
19/02/22 20:45:16.77 hIHy3w8+a.net
単純に考えるとそうなんでしょうが、なぜそれではだめかという
本人のたる理由を知りたいですね。
というのは、その下で学ぼうとする学生にとって、その理由がはっきり
していないと、選択対象にすべきかどうかが判断が付かないので。

884:デフォルトの名無しさん
19/02/22 20:52:01.01 vUBrk6Ima.net
ならば本人に聞きに行けばいい

885:デフォルトの名無しさん
19/02/22 20:59:29.91 hIHy3w8+a.net
知りたいだけで、聞く気はない
自分で必要ないから

886:デフォルトの名無しさん
19/02/22 23:45:00.86 vUBrk6Ima.net
その下で学ぼうとしている学生ではなかったのかよ

887:デフォルトの名無しさん
19/02/23 01:51:44.83 47rng884p.net
>>844
ここで言いたいことは、機械学習学習のモデリングのことではないかな
明らかに正規分布に従わない分布に、正規分布を仮定したモデリングをしても得られる結果は間違っている
同様にベイズ推定系の学習では、共役となる事前分布やハイパーパラメータを適切にえらばないと変な答えを出す
他にもコスト関数に尤度に加えてL1,L2の制約条件を加えたり、さらに追加でスパースネス項を追加したりする場合には、収束条件を満たすかどうかなどが重要で高度な数学の知識がいる
深層学習でKeras等で畳み込みやニューラルネットワークをレイヤとして並べ換えるだけなら統計も数学も要らないが、どういうときにどんな活性化関数を使うとか、どんな損失関数を使うかなどは統計の知識ががあった方が理解は早い

888:デフォルトの名無しさん
19/02/23 02:27:57.03 bgKrSmmR0.net
>>854
衛星画像データは実際のところはエリアは広いが解像度は低い。Google Mapで
衛星画像と表示されてる高解像度画像は、実際は航空写真を使ってる。地球観測
衛星は極軌道を回っているため、同じ場所を撮影する頻度も月単位で、実際には
かなり制約が多い。このため、最近はベンチャー企業が数十機のマイクロ衛星を
打ち上げて、1時間間隔で同一スポットを撮影するといったサービスを開始してる。
この場合、リアルタイムに近い定点観測が可能になるため、交通量の測定とかも
可能になる。ただ、マイクロ衛星の光学機器の解像度は5メートル位とかなり荒い。
一方、Digital Globeの衛星画像とかは、解像度が30センチ前後もあり、軍事偵察
衛星並みの解像度をもってるが、撮影頻度に制約がありリアルタイムの定点観測
とかは無理。また、衛星画像の最大の難点は、曇りの日は地上の撮影ができないこと。
開口レーダーを使えば撮影可能だが、解像度は悪すぎて、地上の物体の精密観測
には使えない。最近の流行は、自動車にLidar乗っけて、地上から3Dデータの取得
を行い、その3Dデータに航空写真のデータをテクスチャーマッピングして、超高
精度地図を作るというやり方。この場合、自動車には光学カメラとWiFIアンテナも
搭載して、同時に住所表記とIPシグナルも記録して、ありとあらゆるデータを地図連動化
してる。


次ページ
最新レス表示
レスジャンプ
類似スレ一覧
スレッドの検索
話題のニュース
おまかせリスト
オプション
しおりを挟む
スレッドに書込
スレッドの一覧
暇つぶし2ch