22/07/25 19:25:09.85 gun8tVmY0.net
昔のプログラム系コラムで（うろ覚えなんで改変あり）
統計計算するコード書いて、
自分で用意したデータでは問題なかったが、
デバッガ―チームのデータでは誤差が酷いとの報告が。
変数をfloatからdoubleにしても改善せず、
使ったテストデータ見せてもらったら数値が10兆のや1/10兆のまであったとかなんとか。
22/07/25 19:25:09.85 gun8tVmY0.net
昔のプログラム系コラムで（うろ覚えなんで改変あり）
統計計算するコード書いて、
自分で用意したデータでは問題なかったが、
デバッガ―チームのデータでは誤差が酷いとの報告が。
変数をfloatからdoubleにしても改善せず、
使ったテストデータ見せてもらったら数値が10兆のや1/10兆のまであったとかなんとか。