【FPU】 浮動小数点 【SSE】at TECH
【FPU】 浮動小数点 【SSE】 - 暇つぶし2ch196:デフォルトの名無しさん
08/02/21 13:03:42
>194
>確かに単精度で表される最小数値は10^-37程度だが、有効桁は仮数部できまるので
>1程度の量と混ぜたら、単精度では10^-7程度の誤差が出る。

出ねーよwww
1 に 10^-37 足したら誤差が 0.0000001 ってどこの電卓だよ! ハライテー

>0近辺では目が細かくて10^-37程度だが、

正規数オンリーでも10^-43(≒2^-149)ぐらい楽勝だろうが。
あのさぁ、最小値=最小の刻み幅とか勘違いしてない?

>この点からして、>>177は計算しない素人評論家もしくはアホ。相手にするな。

「1~10^-37ぐらいを同じ精度で計算するのは朝飯前」
被加数:1.000000 (精度7桁)
 加数:1.000000 * 10^-37 (精度7桁)
 合計:1.000000 (精度7桁)

何か問題あるわけ?



次ページ
続きを表示
1を表示
最新レス表示
レスジャンプ
類似スレ一覧
スレッドの検索
話題のニュース
おまかせリスト
オプション
しおりを挟む
スレッドに書込
スレッドの一覧
暇つぶし2ch