丸め誤差

(2016/08/19)
  • コンピュータでの数値計算での誤差の一種

  • 数値を有限ビット数で表現するため、最下位桁より小さい部分が切り捨てられて発生する
  • 0.1を二進数で表現する
  • 二進数だと無限小数(循環小数)になってしまう
  • 仮に小数点以下5桁までしか表現できないとすると切り捨てられる数字が出てくる
  • 0.1 = 0.00011...
  • この右辺の0.00011を10進数に戻すと0.09375
  • 減ってる\(^o^)/
  • 応用情報技術者試験

general(396)