固定小数点数の精度
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2021/04/17 07:49 UTC 版)
固定小数点方式で有効桁数が十分にとれるのは、(符号ビットを除く)最上位桁が1の範囲内だけである。この時の相対誤差は桁数がn桁の時1/2nである。表現しようとする数が0に近づき上位桁が0で埋まる(ないし2の補数表現の負の数であれば1で埋まる)と、有効桁数はそれだけ減るので、その場合に必要な精度を満たしているか注意が必要である。
※この「固定小数点数の精度」の解説は、「固定小数点数」の解説の一部です。
「固定小数点数の精度」を含む「固定小数点数」の記事については、「固定小数点数」の概要を参照ください。
- 固定小数点数の精度のページへのリンク