【FPU】 浮動小数点 【SSE】at TECH【FPU】 浮動小数点 【SSE】 - 暇つぶし2ch■コピペモード□スレを通常表示□オプションモード□このｽﾚｯﾄﾞのURL■項目テキスト200:デフォルトの名無しさん 08/02/21 16:25:41 もし次スレが立つ様ならスレタイにくだすれって入れとけよ 201:デフォルトの名無しさん 08/02/21 17:26:37 >>191 10進数で1/3=0.3333333333…は3進数では0.1だ。 202:デフォルトの名無しさん 08/02/21 19:17:18 >>196 誤差を理解してないな。 203:デフォルトの名無しさん 08/02/21 21:28:01 >よくわからないけど、 1.0 + 1.0 * 10^-37 が正確に計算できるってこと？ 「よくわからない」ふりして指数域の問題に見せかけつつさりげなく循環小数を忍ばせてIEEE陣営の内ゲバを狙う>>178よ…恐ろしい奴だ。BCD陣営の刺客か？俺も釣られるところだったぜ… >1 に 10^-37 足したら誤差が 0.0000001 ってどこの電卓だよ！ ハライテー >>196よ、知恵を付けた>>194が「round toward +INFINITYモードだい！」と屁理屈こねて反撃してくる可能性に気をつけろ。0.5ulpの威光も吹っ飛ぶぜ。 >>「1～10^-37ぐらいを同じ精度で計算するのは朝飯前」 >の意味をもう少し具体的に書け >どんな元データからどういう計算をしようとしてるのかを じいさんはそれを>>157に確認してる最中なんじゃねぇの？ このスレの迷走っぷりに呆れて157ももう戻ってこないんじゃないかと。 > 例えば 1 前後のオーダーが普通な時に > 10^-14 みたいなサイズのベクトルがあったら > それは多分もの凄い勢いで数値誤差を含んでる。 俺もなぜこの程度の指数域で精度不信に陥ったのか事情を知りたい。 次ページ最新レス表示レスジャンプ類似スレ一覧スレッドの検索話題のニュースおまかせリストオプションしおりを挟むスレッドに書込スレッドの一覧暇つぶし2ch