確率を学び直すにあたって
統計検定2級の学習を進めているが、基本的なところから曖昧な理解のままだったなと痛感。
なんとなくわかっていたつもりのことも、自分で手を動かしたり、誰かに説明しようと思うと理解の浅さに気づく。
今回は確率と確率分布について、基本概念部分のキーワードとポイントだけを、できる限り自分の言葉でまとめておく(読み返してしっくりこないところは徐々に更新かける。)
教材は「統計学基礎 日本統計学会編」を使用しています。誤った解釈になっている可能性が多分にあるため、検索して参照したサイトを最後にまとめておきます。
統計学の2つの分野
確率の学習に着手する前に。
統計学には記述統計と推測統計の2分野がある。
記述統計(descriptive statistics)
データ(標本)の属する母集団の特徴を要約し、記述する。
特徴を表現するのに、下記の方法がある。
方法 | 例 |
---|---|
図・表 | 度数分布表、ヒストグラム |
数値 | 平均値、中央値、標準偏差、四分位数、相関係数 |
式 | 回帰直線 |
推測統計(inferential statistics)
データ(標本)そのものではなく、母集団について推測する。
下記は推論統計における重要なポイント2つ
- データ(標本)を取る段階で母集団から無作為に抽出しておく
- データ(標本)から各種の統計量に基づき、母集団の情報を推理・推論する
標本、サンプル(sample)
実験や調査によって、実際に得られるデータ
母集団(population)
データの属する集団
事象に関わる言葉の定義
試行(trial)
偶然に左右される実験や観測の1回ごとの結果
根元事象、素事象(elementary event)、標本点(sampling point)
試行によって起こりうる個々の結果
例)1つのサイコロで観測できる1〜6の目が出る結果一つ一つが根元事象
事象(event)
根元事象の集合
例)1つのサイコロで観測できる根元事象の集合が事象
全事象(whole event)、標本空間(sample space)[$\Omega$]
全ての根元事象の集合
例)2つのサイコロで起こる根源事象を組み合わせて観測する事象が、全事象
和事象
事象 $A_1$ , $A_2$ , $A_3$ ,..., $A_n$ のうち、少なくとも1つが起きる事象
$\displaystyle A_1 \cup A_2 \cup A_3 \cup ... \cup A_n$
積事象
事象 $A_1$ , $A_2$ , $A_3$ ,..., $A_n$ が同時に起こる事象
$\displaystyle A_1 \cap A_2 \cap A_3 \cap ... \cap A_n$
空事象
何も起こらない事象 $\emptyset$
余事象
全事象の中で、 $A$ に含まれていない根元事象からなる事象 $Ac$
$\displaystyle A \cup A^c = \Omega$
$\displaystyle A \cap A^c = \emptyset$
が成り立つ
排反
同時に起こらない事象
事象 $A_1$ , $A_2$ , $A_3$ ,..., $A_n$ のうち、 $A_i$ , $A_j$ , $(i \neq j)$ のとき、
$\displaystyle A_i \cap A_j = \emptyset$
確率に関わる言葉の定義
確率(probability)
事象の起こりやすさ(確からしさ)を定量的に表す。定義の仕方はいくつかある。
代表的な確率の三つの定義
同様に確からしい根元事象を想定した古典的な定義(ラプロスの定義)
根元事象はどれも同様に起こりやすいと仮定して計算する方法多数回の試行による頻度に基づく定義
十分に大きい回数試行を反復すると、相対度数が一定の値に近く性質に基づいて定義する方法ベイズ統計学で用いられる主観に基づく定義(主観確率)
反復できない不確実な事象への応用を想定した確率の定義
※適用範囲は広いが、算出者によって値が変わりうるため注意深く適用する
確率の公理(コルモゴロフの公理)
数学的な確率の3つの性質
任意の事象 $A$ に対して $0 \le P(A) \le 1$
全事象 $\Omega$ に対して $P(\Omega) = 1$
$A_1$,$A_2$,が互いに排反な事象なら、
$\displaystyle P(A_1 \cup A_2 \cup ...) = P(A_1) + P(A_2) + ...$
加法定理(addition theorem)
和事象の確率に関する定理
事象 $A$ 、事象 $B$ が、互いに排反なとき
$\displaystyle P(A \cup B) = P(A) + P(B)$
事象 $A$ 、事象 $B$ が排反でないとき
$\displaystyle P(A \cup B) = P(A) + P(B) - P(A \cap B)$
条件付き確率(conditional probability)
事象 $A$ 、事象 $B$ が排反でないとき、
$A$ が起こるという条件のもとで、 $B$ の起こる確率
$\displaystyle P(B|A)= \frac{P(A \cap B)}{P(A)} P(A) \neq 0$
乗法定理(multiplication theorem)
条件付き確率の式に、 $P(A)$ をかけて変形したもの
$\displaystyle P(A \cap B) = P(A)P(B|A)$
$\displaystyle P(B)$ について、同様に
$\displaystyle P(A \cap B) = P(B)P(A|B)$
となる
独立性(Independence)
以下の式が成り立つとき、事象 $A$ と事象 $B$ は独立である
$\displaystyle P(B|A)=P(B), P(A|B)=P(A)$
このとき、乗法定理を適用すると
$\displaystyle P(A \cap B) = P(A)P(B)$
ベイズの定理(bayes' theorem)
これはわかったようなわからないような...自分の言葉にしきれないので、公式だけ
$\displaystyle P(H_i|A) = \frac{P(H_i)P(A|H_i)}{\displaystyle \sum_{j=1}^n P(H_j)P(A|H_i)}$
いつも拝見している
https://mathtrain.jp/bayes
がイメージ掴みやすかったです。
事前確率(prior probability)
事象 $H_i$ が起こる確率
$\displaystyle P(H_i)$
事後確率(posterior probability)
事象 $A$ が起こった後に、事象 $H_i$ が起こる確率
$\displaystyle P(H_i|A)$
確率変数(random varible)
ある事象の取りうる値全体。離散型と連続型がある
例えば、サイコロの場合は離散型であり
確率変数 $X = 1,2,3,4,5,6$
全ての $X$ について
$\displaystyle \displaystyle P(X)= \frac{1}{6}$
である
離散型(discrete type)の確率変数
確率変数 $X$ の取りうる値が離散値
連続型(continuous type)の確率変数
確率変数 $X$ の取りうる値が連続値
確率分布(probability distribution)
確率変数 $X$ の取りうる値とその確率の対応関係
例)サイコロの場合
出目 | 1 | 2 | 3 | 4 | 5 | 6 |
確率 | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 |
確率関数(probability function)
離散型確率変数 $X$ の確率関数
$\displaystyle P(X = x_i) = f(x_i) i=(1,2,...)$
確率密度関数(probability density function)
連続型確率変数 $X$ の確率関数
$\displaystyle P(a \le X \le b) = \int_a^b f(x) dx$
累積分布関数(cumulative distribution function)分布関数(distribution function)
確率変数 $X$ がある値 $x$ 以下($X \leq x$)の値をとる確率を表す関数
・離散型の時 $\displaystyle F(x)=P(X \le x) = \sum_{X \le x} P(X)$
・連続型の時 $\displaystyle F(x)=P(X \le x) = \int_{-\infty}^u f(u) du$
期待値(expectation)
試行で得られうるすべての値と、それが起こる確率の積を足し合わせたもの
・離散型の時、確率変数 $X$ の期待値は
$\displaystyle E[X] \equiv \sum_ix_if(x_i) = \mu$
・連続型の時、確率変数 $X$ の期待値は
$\displaystyle E[X] \equiv \int_{-\infty}^\infty xf(x)dx = \mu$
分散(variance)
確率分布の散らばりの指標
・離散型の時、確率変数 $X$ の分散は
$\displaystyle V[X] \equiv E[(X-\mu)^2]=\sum_i(x_i-\mu)^2 f(x_i)=$
・連続型の時、確率変数 $X$ の分散は
$\displaystyle V[X] \equiv E[(X-\mu)|^2]=\int_{-\infty}^\infty(x-\mu)^2f(x)dx=$
標準偏差(standard deviation)
分散の平方根 $\sigma$ 。確率変数の散らばり具合を示す。
本記事を書くにあたって参考にした書籍、サイト
まずは数式を記述するにあたって
様々理解を進めるために