Comments
Description
Transcript
検定と推定
第7章 検定と推定 サンプリングによって得られた標本から,母集団の統計的性質に対して推測を行うことを 統計的推測といいます。本章では,推測統計の根幹をなす仮説検定と推定の基本的な考え方 について説明します。 前章までの知識を用いて,具体的な分析を行います。本章以降の知識は操作編での操作に 直接関連していますので,少し聞きなれない言葉ですが, 「帰無仮説」 「有意水準」 「棄却 域」などの意味を理解して,実際に使えるようにしておくことが重要です。 7‐1 仮説検定 観測された標本に基づき,母集団に対するある仮説が成り立つかどうかを判断することを 検定,または仮説検定といいます。特に,統計学に則った検定という意味を込めて,統計的 仮説検定ということもあります。ここでは,検定の基本的な事項について説明します。 7-1-1 仮説検定の考え方 たとえば,次のような例を考えてみましょう。 例 7.1 小売業を営む A 社のある店舗における,これまでの 1 日の売上高は平均値が 250.0 (万円) ,標準偏差は 30.0(万円)の正規分布 N (250.0, 30.0 ) でほぼ近似できるものとし 2 ます。A 社ではこれまで比較的広い地域へのチラシ広告配布を実施していましたが,その効 果に疑問があがっていました。 そこで,配布地域を近隣の地域に限定し,代わりにポイントカードで一定数の買い物をし 第7章577667 129 た顧客に対して優待券(クーポン)を発行して,その効果を検証することになりました。そ の効果が現れると考えられる十分な日数を置いてから,1 日の売上高について,n = 15 日 分のデータを観測したところ,次のような結果となりました。 さて,広告戦略を変更したことによって,売上高に変化が生じたと言えるでしょうか? このような問題に答えるには,統計的なばらつきを考慮に入れた判断が必要です。15 日 の売上実績を見ると,従来の平均値である 250.0(万円)よりも少ない日もあれば,多い日 もあります。一方,この 15 日の売上データの平均をとってみると,X̄ = 268.7 ( 万円 ) と なります。従来の 250.0(万円)よりも大きい数字になっていますが,これはたまたま得ら れた偶然の数値であり,平均値は 250.0(万円)から変化していないと考えるべきでしょう か。それとも,平均値が 250.0(万円)から変化したと結論付けるべきでしょうか。このよ うな課題に答えるのが,仮説検定です。 一般に,仮説検定は背理法による手続きをとり,ある仮説のもとで計算される理論値に対 に対して設定される検証対象の仮説を帰無仮説といい,H0 で表します。帰無という言葉は, 知識編 第 章 し,実測値を照らし合わせたときに矛盾があるかどうかを検討します。このように,母集団 7 文字どおり「無に帰したい」という意味合いが込められており,仮説検定は,帰無仮説が統 計的に否定されることを目的としています。一方,帰無仮説が成り立たないときに成り立つ 仮説を対立仮説といい,H1 で表します。 ふたたび,先の具体例で話を進めましょう。いま,上の例の 15 日間のデータの不偏分散 を計算してみると,s = 926.71 となり,この値から計算される標準偏差は s = 30.44 です。 2 従来の売上が従うとされている正規分布の標準偏差 30.0 とほとんど変わらないので,こ こでは簡単に,標準偏差は変化していないと仮定します。 ここで,広告戦略を変更したことによって売上高の分布が正規分布 N (250.0, 30.0 ) から 2 変化したかどうかを検証するため,変更後の平均値 μ に対して,帰無仮説を と設定します。これに対し,対立仮説は,広告戦略の変更によって売上の平均が変化したと いう仮説になるので, 2 正規分布 N (250.0, 30.0 ) から自然に生起する標本が実際に観測されるでしょう。一方,も し正規分布 N (250.0, 30.0 ) からは,きわめて小さい確率でしか生起しないような特異な観 2 測値が得られているのであれば,平均値は 250.0 から変化していると結論付けることが自 然でしょう。 7 7 777777 となります。もし,観測した 15 日分のデータが変わらず,帰無仮説 H0 に従うのであれば, 130 そこで,帰無仮説 H0 が成り立つもとでの統計量の確率分布を考え,実際に観測された統 計量がその分布に従っているかどうかについて,確率の低さという観点から判断を下すこと を考えてみます。帰無仮説 H0 が正しい場合の統計量 Y の確率分布を定めることができるも のとしましょう。このような統計量は,検定に用いるための統計量という意味で検定統計量 とも呼ばれます。この検定統計量の確率分布に対し,下側確率 100(α/2)% のパーセント点 を u1,上側確率 100(α/2)% のパーセント点を u2 とすると, となります。 f(y) u1 u2 y 図 7.1: 帰無仮説が成り立っているときの統計量 Y の標本分布 α を十分小さくとるとき,観測された標本から計算された統計量 y が y < u1 または u2 < y を満たすなら,その結果は帰無仮説 H0 が正しいもとではきわめて起こりにくい(確率 α 「帰無仮説を棄却 以下)と考えられます。そこで, 「帰無仮説 H0 は正しくない」と判定し( する」といいます) , 「対立仮説 H1 が正しい」と結論付けられます。対立仮説 H1 のほうが 正しいとして採用することを, 「対立仮説を採択する」といいます。このとき,判断の基準 として設定する確率 α は有意水準と呼ばれ,分析の前に設定されますが,慣習としては α = 0.05(5%) や α = 0.01(1%) が使われます。一般的な仮説検定の結論の述べ方としては, 「有意水準 α で,帰無仮説 H0 は棄却され,対立仮説 H1 が正しいと言える」という表現にな ります。また,帰無仮説 H0 が棄却される範囲の「y < u1 または u2 < y」は 棄却域と呼ば れます。 一方,統計量 y が u1 第7章 検定と推定 131 y u2 を満たしているなら,そのような y は,帰無仮説 H0 のも とで 1 - α という高い確率で起こり得る結果ですから,帰無仮説 H0 が間違っているとは言 「帰無仮説が間違っているとは言えな えません。この場合は,帰無仮説 H0 を棄却できず, い」という結論になります。 まとめると,統計的仮説検定の手順は以下のようになります。 仮説検定の手続き (1) 1.検証したい帰無仮説 H0 と対立仮説 H1,並びに有意水準 α を設定する。 2.帰無仮説 H0 のもとで,統計量 Y の標本分布を定め,棄却域を求める。 3.実際に観測された標本から統計量 Y の実現値 y を計算する。 4.y が棄却域に入っているかどうかによって判定し,結論を述べる。 (a)y が棄却域に入っていれば, 「有意水準 α で,帰無仮説 H0 は棄却され,対立仮説 H1 が正しいと言える」と結論付ける。 (b)y が棄却域に入っていなければ, 「有意水準 α で,帰無仮説 H0 は棄却されず,対 立仮説 H1 が正しいとは言えない」と結論付ける。 以上が,一般論としての仮説検定の手続きですが,この手続きは p 値という概念を用い てもよいでしょう。いま,観測された標本から計算される統計量 y が,帰無仮説 H0 のもと で,どの程度,出現しやすい値であるのかを示す尺度を考えてみましょう。帰無仮説 H0 の 知識編 第 章 もとで成り立つ標本分布 f (y ) の期待値を E [Y ] として,y ≥ E [Y ] に対しては, 7 を,y < E [Y ] に対しては, を考えると,これは「y よりも大きな値,または小さな値が出てくる確率」を意味します。 これを,統計量 Y の実現値 y の p 値 (p-value) といいます。得られた標本から計算される統 計量 y に対して,この p 値が非常に小さい場合,このような y は「帰無仮説 H0 のもとでは, めったに起こり得ないことが起こった」と解釈することができます。 f(y) y 図 7.2: 検定統計量 y の p 値 (p-value) 7 7 777777 p-value =P{y< Y} 132 先の検定の手続きでは,下側確率 100(α/2)% のパーセント点を u1,上側確率 100(α/2)% 「y < u1 または u2 < y となる領域」を棄却域としました。検定 のパーセント点を u2 とし, 統計量の値がこの棄却域にあれば,帰無仮説 H0 を棄却し,対立仮説 H1 を採択することに なります。一方,検定統計量 y の p 値が α/2 より小さいことと,y が棄却域に存在すること は等価です。 したがって,統計的仮説検定の手順は以下のようにしても結果は等価です。 仮説検定の手続き (2) 1.検証したい帰無仮説 H0 と対立仮説 H1,並びに有意水準 α を設定する。 2.帰無仮説 H0 のもとで,統計量 Y の標本分布を定める。 3.実際に観測された標本から統計量 Y の実現値 y を計算する。 4.y の p 値と α/2 の大小関係によって結果を判定し,結論を述べる。 (a)y の p 値が α/2 よりも小さければ, 「有意水準 α で,帰無仮説 H0 は棄却され,対 立仮説 H1 が正しいと言える」と結論付ける。 (b)y の p 値が α/2 よりも大きければ, 「有意水準 α で,帰無仮説 H0 は棄却されず, 対立仮説 H1 が正しいとは言えない」と結論付ける。 7-1-2 両側検定と片側検定 本章の冒頭にあげた例 7.1 では, 「広告戦略を変更したことによって,売上高の平均値に 変化が生じたかどうか?」が問題でした。つまり, 「売上高の平均値は上がったかもしれな いし,下がったかもしれない」という状況で検定を考えているわけです。そのため,棄却域 を「y < u1 または u2 < y となる領域」と,検定統計量の確率分布の両側にとっています。 このような検定を両側検定といいます。 一方,例 7.1 において, 「広告戦略を変更したことによって,売上高の平均値が向上した かどうか?」という疑問について,仮説検定によって結論付けたい場合があります。この場 合,帰無仮説 H0 は変わらず, ですが,対立仮説は,広告戦略の変更によって売上の平均が向上したという仮説になるので, 第7章 検定と推定 133 となります。この場合,平均値が大きくなったかどうかに焦点があるため,帰無仮説の棄却 域は「u < y」のように片側だけに設定されます。このような検定を片側検定といいます。 f(y) u y 図 7.3: 片側検定の棄却域 両側検定と片側検定は,明らかにしたい対立仮説の置き方によって適切に使い分ける必要 があります。 知識編 第 章 7-1-3 仮説検定の誤り 7 先にも述べましたが,仮説検定は背理法をもとにした判断に基づいており,その際の矛盾 は「確率的に可能性が低い」という意味で示されるものです。有意水準 α よりも低い可能 性がある帰無仮説は棄却しようという発想のため,この判断は小さい確率で誤っている可能 性があります。つまり,本当は帰無仮説 H0 が正しいにもかかわらず,たまたま標本から計 算される統計量の値が棄却域に落ちてしまう場合には,検定の結果は誤りとなります。この ような検定結果の誤りを第1種の誤りといいます。この誤りの確率は,有意水準として設定 した α であり,これを小さくするためには有意水準 α を小さくするしかありません。 一方で,対立仮説 H1 が正しいにもかかわらず,検定統計量が棄却域に落ちず,帰無仮説 H0 が棄却されないという誤りも起こり得えます。このような誤りを第 2 種の誤りといいま す。この誤りは,対立仮説が正しかったときの統計量の確率分布に依存します。例 7.1 で言 えば,売上の母平均が大きく変化していれば,第 2 種の誤りは小さくなるでしょう。逆に, 売上の母平均の変化が微小であれば,第 2 種の誤りは大きくなってしまいます。 片側検定を行う際に,対立仮説が真である場合を考えてみましょう。帰無仮説 H0 のもと で統計量 Y が従う確率分布を f 1 (y) とし,対立仮説 H1 が正しいもので真の統計量の確率分 布を f 2(y) とします。このとき,棄却域は帰無仮説 H0 が成り立つと仮定した確率分布 f 1(y) に対して,有意水準 α を満たすように設定されます。一方,真の確率分布は f 2(y) に従って 7 7 777777 いるので,図 7.4 に示す斜線部分の確率 β が第 2 種の誤りの確率となります。 134