度数分布と累積相対度数分布、ヒストグラム

統計学の復習　第1章 §1.3　★★★ 累積相対度数を階級内で線形補間して分位点を読む手順を、階級内一様の仮定から導く。経験分布関数として1級へつなぐ

度数分布表

量的変数の値の範囲を、重ならない区間（階級）$[a_0,a_1),[a_1,a_2),\dots,[a_{K-1},a_K)$ に分け、各階級に入るデータの個数（度数）$n_j$ を数えた表を度数分布表と呼ぶ。階級の幅を $h_j=a_j-a_{j-1}$、中点 $m_j=(a_{j-1}+a_j)/2$ を階級値、相対度数を $f_j=n_j/n$ と書く。相対度数を小さい階級から順に足した $F_j=f_1+\cdots+f_j$ を累積相対度数と呼ぶ。$F_K=1$ である。

度数分布表にまとめた時点で、各階級の中でデータがどう並んでいたかの情報は失われる。そこで、平均や分位点を表から求めるときは、失われた情報について何らかの仮定を置く。平均の計算では「階級内のデータはすべて階級値にある」と仮定するのが普通で、このとき平均は $\sum_j m_jf_j$ である。分位点の計算では次の仮定を置く。

経験分布関数と、累積相対度数の線形補間

度数分布表を作る前の生のデータ $x_1,\dots,x_n$ に対しては、次の関数が分布のすべての情報を持つ。

小さい順に並べた値 $x_{(1)}\le\cdots\le x_{(n)}$（順序統計量）を使うと、$x_{(k)}\le x<x_{(k+1)}$ で $F_n(x)=k/n$ である。$F_n$ は「データの各点に確率 $1/n$ を置いた離散分布」の累積分布関数そのもので、第4章で定義する累積分布関数の最初の例になる。データの $p$ 分位点とは、大まかには $F_n$ が $p$ に達する点のことである。

度数分布表からは $F_n$ の値が階級の境界 $a_j$ でしか分からない（$F_n(a_j)\approx F_j$）。境界の間を埋めるために、各階級の中でデータが一様に散らばっていると仮定する。この仮定のもとでの分布の密度は、階級 $j$ の上で一定値 $f_j/h_j$ をとる階段関数

$$\tilde f(x)=\frac{f_j}{h_j}\qquad(a_{j-1}\le x<a_j)\tag{1.2}$$

になる。これを積分した累積分布関数は

$$\tilde F(x)=\int_{a_0}^{x}\tilde f(t)\,\mathrm{d} t=F_{j-1}+\frac{f_j}{h_j}(x-a_{j-1})\qquad(a_{j-1}\le x<a_j)\tag{1.3}$$

で、各階級の上で一次式、境界で $F_j$ を通る折れ線である。この折れ線を累積相対度数の折れ線（オージブ）と呼ぶ。

証明

$\tilde F$ は階級 $j$ の上で (1.3) の一次式で、$x=a_{j-1}$ で $F_{j-1}<p$、$x\to a_j$ で $F_j\ge p$ をとる。$f_j>0$ なので傾き $f_j/h_j$ は正で、この区間に $\tilde F(x)=p$ の解がただ1つある。$F_{j-1}+\frac{f_j}{h_j}(x-a_{j-1})=p$ を $x$ について解くと (1.4) になる。

式 (1.4) の読み方は「階級 $j$ に入るまでに $F_{j-1}$ まで溜まっている。残りの $p-F_{j-1}$ を、階級 $j$ の持ち分 $f_j$ のうちの割合として階級幅に比例配分する」である。階級値をそのまま答えにするのは、階級内のデータがすべて中点にあるという別の仮定を混ぜたことになり、分位点の計算としては誤りである。

ヒストグラム

式 (1.2) の $\tilde f$ のグラフを、階級ごとの長方形として描いたものがヒストグラムである。長方形の面積が相対度数 $f_j$ に等しく、面積の総和は $1$ になる。階級の幅がすべて等しいときは高さが度数に比例するので、度数をそのまま高さにしてよい。階級の幅が等しくないときは、高さを度数でなく「相対度数$\div$階級幅」（密度）にしなければならない。幅が2倍の階級に度数をそのまま高さとして描くと、面積が2倍になり、その階級のデータが実際の2倍あるように見える。

ヒストグラムの高さは「単位幅あたりの割合」であって、それ自体は割合ではない。割合は高さに幅を掛けた面積として初めて得られる。この関係は、第4章で扱う確率密度関数 $f(x)$ と確率 $\int_a^b f(x)\,\mathrm{d} x$ の関係と同じものである。階級を細かくしデータを増やしていくと、ヒストグラムの上端は母集団の密度関数に近づく。

ヒストグラムの形は、山の数（単峰か多峰か）と左右の裾の長さで読む。右の裾が長い分布を右に歪んだ（正の歪みを持つ）分布と呼び、所得や待ち時間のように下限があって上限の無い量に多い。右に歪んだ分布では、裾の大きな値に引かれて平均が中央値より大きくなりやすい。代表値どうしの関係は第2章で扱う。

確認テスト

オリジナル

1. 1.3-1 データ $\{3,5,5,8\}$ の経験分布関数 $F_n(x)$ を区間ごとに書け。$F_n(5)$ と、$x$ を左から $5$ に近づけたときの極限 $F_n(5-0)$ を求めよ。
2. 1.3-2 50人のデータで、階級 $[0,10)$ の度数が $10$、階級 $[10,30)$ の度数が $20$ であった。ヒストグラムでどちらの長方形が高いか。
3. 1.3-3 例題 1.3 の表で、(a) 90パーセント点と、(b) 通学時間が35分以下の学生の割合を、階級内一様の仮定のもとで求めよ。
4. 1.3-4 階級内一様の仮定のもとでの分布（密度 (1.2)）について、平均が $\sum_jm_jf_j$ に等しく、分散が $\sum_jf_j(m_j-\mu)^2+\sum_jf_jh_j^2/12$（$\mu=\sum_jm_jf_j$）になることを示せ。