【FPU】 浮動小数点 【SSE】at TECH
【FPU】 浮動小数点 【SSE】 - 暇つぶし2ch207:デフォルトの名無しさん
08/02/21 22:54:54
>>203
機械εが10^-16前後だから
1 前後の値を数百数千数万数十万といった加減算をやってりゃ
10^-14 程度の数値誤差はあって当然。


次ページ
続きを表示
1を表示
最新レス表示
レスジャンプ
類似スレ一覧
スレッドの検索
話題のニュース
おまかせリスト
オプション
しおりを挟む
スレッドに書込
スレッドの一覧
暇つぶし2ch