24/03/01 18:09:09.27 1DY9oCqs.net
これ主流になったら記憶素子メーカーの大逆転ありえるな
61:名無しのひみつ
24/03/01 20:48:56.07 aQh0wf94.net
ソフトウェアもアナログからデジタルに移行って感じか
(ちょっと意味不明)
62:名無しのひみつ
24/03/01 23:37:45.08 ouHIOhMt.net
専用ハード開発しなくてもFPGAで論理回路組めば高速に演算できそう
RTX3060はヤフオクにだしてFPGAボード買うか
63:名無しのひみつ
24/03/01 23:47:38.80 GEaVhHuA.net
これ速さもそうだけど、電力を大幅に節約できるのがでかいだろ
64:名無しのひみつ
24/03/01 23:57:51.04 l5rgyAz4.net
1行も論文見てない驚き屋がBitNet b1.58ではなく
BitNetの論文のリンク張ってて底が知れる
65:名無しのひみつ
24/03/02 02:49:10.73 thy5ywaa.net
Binary and Ternary Natural Language Generation
URLﾘﾝｸ(arxiv.org)
W2A8
W1A8
Token-Scaled Logit Distillation for Ternary Weight Generative Language Models
URLﾘﾝｸ(arxiv.org)
W2A16
驚き屋が驚かなかった先行研究
3値を1.58bitと表現したことで驚き屋が食いついた模様
66:名無しのひみつ
24/03/02 03:16:07.86 2JxRJydi.net
3値なんだから、マイナス電流使ってアナログコンピュータ化か？
67:名無しのひみつ
24/03/02 03:42:13.55 qWgOtt+o.net
それはちょっと実装に時間がかかりそう
目先は2bitでやるんと違う？
将来的には3値DRAMとかFLASHを応用して超並列化
68:名無しのひみつ
24/03/02 13:41:38.30 iaDpyfWD.net
>>8
ここ科学N+だけど、それでもMSR又はMSRAて有名じゃないのか・・・・・
69:名無しのひみつ
24/03/02 13:53:51.51 iSFqmlG9.net
二値だともっと簡単になるが、三値との比較はだれかやったのだろうか
70:名無しのひみつ
24/03/02 14:46:49.73 q4waPiRd.net
null,-1,0,+1で実質４値かもしれない
71:名無しのひみつ
24/03/02 17:26:37.76 2fOTc3FF.net
ｽﾚﾘﾝｸ(math板:184番)-187
72:名無しのひみつ
24/03/03 11:54:21.51 hCJpwWrB.net
パルスの密度で０から１の間のアナログ値を近似すれば、
足し算的な計算（正しい足し算ではない）は２つのお互いに相関のないパルス列のORで、
かけ算の計算は２つのお互いに相関にないパルス列のANDで実現できる。
ただし、複雑な演算をパルス列のままでやると、相関がある信号同士のANDやORでは
かけ算や足し算にならなくなる。ときどき整流してアナログ値に戻して、そのアナログ
値を元にして再びパルス変調するとか、面倒なことになりそうだ。
73:名無しのひみつ
24/03/03 13:51:03.34 0Q7XL37P.net
オーディオも高速1bitがハイエンドだけど粗密で記憶するのかしら
74:名無しのひみつ
24/03/06 09:24:08.99 su8T7W/q.net
GPU不要というより、より効率的な新たなデバイスが出来るという事やわな
75:名無しのひみつ
24/03/06 23:08:08.15 EJquS8L8.net
これCGとかのAI以外のGPUも駆逐する可能性あるな
76:名無しのひみつ
24/03/08 13:07:41.15 UVi1of4f.net
1月26日LSI合同ゼミ＠Waseda
D級アンプの性能改善
群馬大学大学院 工学研究科
電気電子工学専攻 小林研究室
趙 楠
URLﾘﾝｸ(kobaweb.ei.st.gunma-u.ac.jp)
昔から（今から50年以上も前から）D級アンプは使われてた。
電力効率が良いのと、負帰還をかけずに直線性の良い大電力への増幅が
可能だったから。ただしスイッチング素子のオンオフ動作が速いことが前提。
それ以前から（真空管回路の時代、たとえば二次大戦中）似たような概念と
して、チョッパーアンプというものがあり、低周波域での増幅器の1/fノイズを
避けて、直流に低周波に近い信号を高周波にオンオフで変調をかけて、高周波
域でだけ増幅することで増幅素子の非線形性による影響を無くして、
安定に大きな利得を得るという方式も使われて来た。
77:名無しのひみつ
24/03/08 19:09:01.25 UVi1of4f.net
Tensoftflow でロスが下がるのに待ちくたびれてラーメンを食べに店屋に行って帰ってきてみても
まだやっているのを見て、悟った。Tensorflowは使うのをやめよう、人生の無駄だと。
78:名無しのひみつ
24/03/09 14:16:51.59 z3k9Xxye.net
>>76
gpu使って計算したのか？
79:名無しのひみつ
24/03/10 07:48:34.90 N0fYxZir.net
先日、発表されたGDDR7のデーターバスが3値らしい
量産の基盤技術はあるという事やな
80:過去ログ ★
[過去ログ]
■ このスレッドは過去ログ倉庫に格納されています