固定小数点数 固定小数点数の精度

ウィキペディア

固定小数点数

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/03/08 16:08 UTC 版)

固定小数点数の精度

固定小数点方式で有効桁数が十分にとれるのは、（符号ビットを除く）最上位桁が1の範囲内だけである。この時の相対誤差は桁数がn桁の時1/2ⁿである。表現しようとする数が0に近づき上位桁が0で埋まる（ないし2の補数表現の負の数であれば1で埋まる）と、有効桁数はそれだけ減るので、その場合に必要な精度を満たしているか注意が必要である。

実数値と固定小数点数値の換算

ある実数を x とし、これを固定小数点数で表した整数を n とする。最下位ビットを実数 L、オフセットを実数 O と定めると、実数 x は固定小数点数で次の数 n となる。ここで、round は四捨五入関数である。

$n=\operatorname {round} \left({\frac {x-O}{L}}\right)$

固定小数点数 n から実数 x は次のように求まる。

$x=Ln+O$