07/09/11 01:37:03
>>217
浮動小数点数の演算誤差について調べてみるといいかも。
0.1はCPU内部での浮動小数点表現では無理数になってしまう。
n = 0.1
s = 0
10.times do
s += n
end
print "%.20f" % (n * 10)
# 1.00000000000000000000
print "%.20f" % s
# 0.99999999999999989000
07/09/11 01:37:03
>>217
浮動小数点数の演算誤差について調べてみるといいかも。
0.1はCPU内部での浮動小数点表現では無理数になってしまう。
n = 0.1
s = 0
10.times do
s += n
end
print "%.20f" % (n * 10)
# 1.00000000000000000000
print "%.20f" % s
# 0.99999999999999989000