統計学 学習ノート

はじめに

10分だれも来なくても、そろそろ来るとは言えない

「さっきから全然お客さんが来ない。そろそろ来るはず」

コンビニのレジに立っていると、こう思いたくなります。でも、お客さんが互いに無関係に来ているなら、10分間だれも来なかったことは、次の1分に何の影響も与えません。「そろそろ」はないのです。

実は、時間とともに偶然に動く現象には、いくつかの基本の型があります。酔っぱらいの千鳥足、お店に客が来る時刻、水に浮いた花粉の動き、株価の揺れ。見た目はバラバラですが、それぞれ少数の型に当てはめて計算できます。

そこで登場するのが、今回の主役 確率過程 です。時間につれて変わる確率変数の集まりのことで、代表選手は ランダムウォーク、ポアソン過程、ブラウン運動 の3人です。

前回の記事では、今の状態だけで次の状態が決まるマルコフ連鎖を学びました。今回の3人も、すべてマルコフ性を持っています。今回の記事では、これらの定義と、確率の計算方法について解説します。

確率過程の見取り図

代表選手は3人。どれも増分が独立で定常

はじめに、確率過程の見取り図について解説します。

確率過程 とは、時刻 $t$ ごとに確率変数 $X(t)$ が定められた集まり $\{X(t)\}$ のことです。1つの確率変数が「1回のサイコロ」なら、確率過程は「サイコロを振り続けた記録の全体」です。実際に得られた1本の記録を 見本路 と呼びます。

3人の代表選手は、時間と状態が連続か離散かで整理できます。

確率過程	時間	状態	イメージ
ランダムウォーク	離散	離散	1歩ずつ進む千鳥足
ポアソン過程	連続	離散	いつ来るか分からない客の数
ブラウン運動	連続	連続	水に浮いた花粉の揺れ

3人に共通するのが、次の2つの性質です。

【増分の性質】

• 独立増分： 重ならない時間の変化量 $X(t) - X(s)$ どうしが独立である
• 定常増分： 変化量の分布が、時間の長さ $t - s$ だけで決まる

要するに、今週の変化は先週の変化と無関係で、同じ長さの期間なら、変化の出方は同じということです。この2つのおかげで、計算が和の分布の問題に帰着します。

以上が、確率過程の見取り図についての解説です。

ランダムウォーク：千鳥足の数学

p = 0.6で6歩。右へ進む回数が二項分布に従う

次に、ランダムウォークについて説明します。

数直線の原点に、酔っぱらいが立っています。1歩ごとに、確率 $p$ で右へ1、確率 $q = 1 - p$ で左へ1動きます。$n$ 歩後の位置を $S_n$ とします。

$$S_n = X_1 + X_2 + \cdots + X_n, \qquad P(X_i = 1) = p,\quad P(X_i = -1) = q$$

これが ランダムウォーク です。$p = 1/2$ のとき、対称ランダムウォーク と呼びます。

各歩の平均は $p - q = 2p - 1$、分散は $1 - (2p-1)^2 = 4pq$ です。歩は独立なので、$n$ 歩後は次のようになります。

$$E(S_n) = n(2p - 1), \qquad V(S_n) = 4npq$$

分布も分かります。右へ進んだ回数を $Y$ とすると $S_n = 2Y - n$ で、$Y$ は二項分布 $B(n, p)$ に従います。

具体的に見てみましょう。$p = 0.6$ で6歩進んだとき、位置が2になる確率を求めます。$S_6 = 2$ となるのは、右に4回、左に2回進むときです。

$$P(S_6 = 2) = \binom{6}{4} 0.6^4 \times 0.4^2 = 0.311$$

100歩なら、平均は20、分散は96です。

原点に戻るか：再帰性

酔っぱらいは、いつか家に帰れるのでしょうか？ 前回の記事で学んだ再帰性の問題です。

原点へ戻れるのは偶数歩のときだけです。対称ランダムウォークでは、次の式が成り立ちます。

$$P(S_{2n} = 0) = \binom{2n}{n}\frac{1}{4^n} \approx \frac{1}{\sqrt{\pi n}}$$

例えば、100歩後に原点にいる確率は、$n = 50$ として0.0796です。近似の式でも0.0798と、よく合います。

再帰的かどうかは、この確率の和が無限大になるかで判定しました。$1/\sqrt{n}$ の和は発散するので、対称ランダムウォークは再帰的 です。必ず原点に戻ります。ただし、戻るまでの平均時間は無限大で、零再帰的です。

一方、$p \neq 1/2$ なら、確率は $(4pq)^n$ のように急速に小さくなり、和は有限です。流れのある川を歩くようなもので、一時的になります。

次元を上げると、結果が変わります。これは ポリアの定理 と呼ばれます。

【対称ランダムウォークの再帰性】

• 1次元、2次元： 再帰的
• 3次元以上： 一時的（3次元で戻る確率は約0.34）

「酔っぱらいは家に帰れるが、酔った鳥は帰れない」と言われることもあります。

破産の問題

前回の記事で触れた賭けを、一般の形にしましょう。所持金 $i$ で始め、1回ごとに確率 $p$ で1増え、$q$ で1減ります。0になるか $N$ になると終わります。$N$ に届く確率を $h_i$ とします。

最初の一歩で場合分けすると、$h_i = p h_{i+1} + q h_{i-1}$、$h_0 = 0$、$h_N = 1$ です。これを解くと次の式が出ます。

$$h_i = \begin{cases} \dfrac{i}{N} & (p = q) \\[2mm] \dfrac{1 - r^i}{1 - r^N} & (p \neq q),\quad r = \dfrac{q}{p} \end{cases}$$

$i = 10$、$N = 20$ で計算してみます。

勝つ確率 $p$	0.50	0.48	0.45
20に届く確率	0.50	0.31	0.12

1回の勝負の勝率がわずか0.02下がるだけで、最終的に勝てる確率は0.5から0.31まで落ちます。少しの差が、長い勝負で積み重なるのです。

鏡像原理

最後に、途中の最大値を求める道具を紹介します。対称ランダムウォークが、$a > 0$ に一度でも届く道を考えます。最初に $a$ に届いた時点から先を、$a$ を軸に折り返します。すると、「最後に $a$ より下にいる道」と「$a$ より上にいる道」が1対1に対応します。これが 鏡像原理（反射原理）です。

$$P\left(\max_{k \leq n} S_k \geq a\right) = P(S_n \geq a) + P(S_n > a)$$

例えば、4歩で2に届く確率は、$P(S_4 \geq 2) = 5/16$、$P(S_4 > 2) = 1/16$ より、$6/16 = 0.375$ です。

試験のポイント：ランダムウォークは「右へ進む回数が二項分布」と言い換えると計算できます。分散は $4npq$ で、$npq$ ではありません。

以上が、ランダムウォークについての説明です。

ポアソン過程：いつ来るか分からない客

指数分布は無記憶。待った後も同じ形の分布

続いて、ポアソン過程について解説します。

時刻 $t$ までに起きた出来事の回数を $N(t)$ とします。次の性質を満たすとき、ポアソン過程 と呼びます。$\lambda > 0$ は 強度、つまり単位時間あたりの平均回数です。

【ポアソン過程の定義】

1. $N(0) = 0$ である
2. 独立増分を持つ
3. $N(t+s) - N(s)$ は、平均 $\lambda t$ のポアソン分布に従う

なぜポアソン分布なのでしょうか？ 1時間を $n$ 個の短い区間に切って考えます。各区間で客が来る確率は $\lambda / n$ です。区間どうしは独立なので、客の数は二項分布 $B(n, \lambda/n)$ に従います。$n$ を大きくすると、これは少数法則によってポアソン分布に近づきます。

到着の間隔は指数分布

次の客が来るまでの時間 $T$ の分布を求めましょう。「時間 $t$ より長く待つ」は「$t$ までに0人」と同じです。

$$P(T > t) = P(N(t) = 0) = e^{-\lambda t}$$

これは指数分布です。到着の間隔は互いに独立で、平均 $1/\lambda$ の指数分布に従います。$n$ 番目の客が来るまでの時間は、その $n$ 個の和なので、ガンマ分布に従います。平均は $n/\lambda$ です。

指数分布には、無記憶性 があります。

$$P(T > s + t \mid T > s) = P(T > t)$$

冒頭の話に戻りましょう。10分間だれも来なかった後でも、次の客までの時間の分布は最初と同じです。ポアソン過程には「そろそろ」がありません。過去の待ち時間を忘れる、マルコフ性の連続版です。

例題：お店の来客

ある店には、1時間に平均3人の客が来ます。来客はポアソン過程に従うとします。次の確率を求めましょう。

1. 2時間でちょうど4人来る確率
2. 20分間だれも来ない確率
3. 3人目の客が1時間以内に来る確率

【解き方】

1. $N(2)$ は平均6のポアソン分布に従う： $e^{-6} \times 6^4 \div 4! = 0.134$
2. 20分は3分の1時間なので、$\lambda t = 1$： $e^{-1} = 0.368$
3. 「3人目が1時間以内に来る」は「1時間で3人以上来る」と同じ： $1 - e^{-3}(1 + 3 + 4.5) = 0.577$

答えは順に、0.134、0.368、0.577です。3 のように、待ち時間の問題を回数の問題に言い換えるのが、よく使う手です。

分解、重ね合わせ、条件つきの一様性

ポアソン過程には、便利な性質が3つあります。

【3つの性質】

• 重ね合わせ： 強度 $\lambda_1$ と $\lambda_2$ の独立なポアソン過程を足すと、強度 $\lambda_1 + \lambda_2$ のポアソン過程になる
• 分解： 各到着を確率 $p$ で振り分けると、強度 $\lambda p$ と $\lambda(1-p)$ の独立なポアソン過程になる
• 条件つきの一様性： $N(t) = n$ のもとで、$n$ 個の到着時刻は $[0, t]$ の一様分布からの $n$ 個の順序統計量と同じ

例えば、1時間に3人の客のうち4割が商品を買うなら、買う客は強度1.2のポアソン過程です。買わない客の到着とは独立になるのは、少し意外な性質です。

3つ目からは、次の式が出ます。$s < t$ のとき、$N(t) = n$ のもとで $N(s)$ は二項分布に従います。

$$P(N(s) = k \mid N(t) = n) = \binom{n}{k}\left(\frac{s}{t}\right)^{k}\left(1 - \frac{s}{t}\right)^{n-k}$$

例えば、1時間に6人来たと分かったとき、最初の20分に2人来ていた確率は、$\binom{6}{2}(1/3)^2(2/3)^4 = 0.329$ です。強度 $\lambda$ は式に出てきません。

試験のポイント：回数はポアソン分布、間隔は指数分布、$n$ 番目までの時間はガンマ分布です。「$n$ 番目が $t$ 以内」と「$t$ までに $n$ 回以上」の言い換えを使います。

以上が、ポアソン過程についての解説です。

ブラウン運動：連続に揺れる過程

W(t)はN(0, t)に従い、ばらつきは√tで広がる

最後に、ブラウン運動を見ていきましょう。

水に浮いた花粉は、水の分子に四方からぶつかられて、小刻みに揺れ続けます。1回1回の衝突は小さくても、合計するとランダムな動きになります。これをモデルにしたのが ブラウン運動 です。ウィーナー過程とも呼びます。

【ブラウン運動の定義】

1. $W(0) = 0$ である
2. 独立増分を持つ
3. $s < t$ なら、$W(t) - W(s)$ は $N(0, t - s)$ に従う
4. 見本路は連続である

ランダムウォークから作ると、イメージがつかめます。$n$ 分割した時間の1コマごとに、$1/\sqrt{n}$ の歩幅で対称に動くとします。時刻 $t$ までの歩数は $nt$ で、位置の分散は $nt \times (1/n) = t$ です。$n$ を大きくすると、中心極限定理によって、位置は $N(0, t)$ に近づきます。つまり、ブラウン運動はランダムウォークの歩幅と時間を、同時に細かくした極限です。

ここがポイントです。歩幅は $1/n$ ではなく $1/\sqrt{n}$ で縮めます。$1/n$ で縮めると、分散が0になって動きが消えてしまいます。このため、見本路は連続ですが、ギザギザで、どの点でも微分できません。

共分散と計算の型

$s < t$ のとき、$W(t) = W(s) + \{W(t) - W(s)\}$ と分けて計算します。後ろの増分は $W(s)$ と独立なので、次の式が出ます。

$$\mathrm{Cov}(W(s), W(t)) = V(W(s)) = s = \min(s, t)$$

ブラウン運動の計算は、「独立な増分に分ける」がすべてです。

例題：ブラウン運動の確率

標準ブラウン運動 $W(t)$ について、次の値を求めましょう。

1. $P(W(4) > 2)$
2. $V(W(1) + W(3))$
3. $W(1) = 1$ のときの $P(W(3) > 2)$

【解き方】

1. $W(4) \sim N(0, 4)$ なので、$P(Z > 2 \div 2) = P(Z > 1) = 0.159$
2. $W(1) + W(3) = 2W(1) + \{W(3) - W(1)\}$ と独立な部分に分ける。分散は $4 \times 1 + 2 = 6$
3. $W(3) = 1 + \{W(3) - W(1)\}$ で、増分は $N(0, 2)$ に従う。$P(Z > 1 \div \sqrt{2}) = 0.240$

答えは順に、0.159、6、0.240です。

最大値と反射原理

ランダムウォークの鏡像原理は、ブラウン運動でも使えます。連続なので、$a$ を飛び越えることがなく、式がさらに簡単になります。$a > 0$ に対して、次の式が成り立ちます。

$$P\left(\max_{0 \leq s \leq t} W(s) \geq a\right) = 2P(W(t) \geq a)$$

例えば、$t = 4$ までに2に届く確率は、$2 \times 0.1587 = 0.317$ です。時刻4に2を超えている確率の、ちょうど2倍です。一度2に届いたら、そこから先は上下半々だからです。

ドリフトと幾何ブラウン運動

時間に比例する流れを加えたものが、ドリフトつきブラウン運動 です。$X(t) = \mu t + \sigma W(t)$ は、$N(\mu t, \sigma^2 t)$ に従います。

ただし、株価のように負にならない量には、そのまま使えません。そこで、対数がドリフトつきブラウン運動に従うと考えます。これが 幾何ブラウン運動 です。

$$S(t) = S(0)\exp\{\mu t + \sigma W(t)\}$$

$S(t)$ は対数正規分布に従い、平均は $S(0)\exp(\mu t + \sigma^2 t / 2)$ です。例えば、$\mu = 0.05$、$\sigma = 0.2$、$t = 1$ なら、平均は $S(0)$ の $e^{0.07} = 1.073$ 倍です。揺れがあるだけで、平均は $e^{0.05} = 1.051$ 倍より大きくなります。

試験のポイント：$\mathrm{Cov}(W(s), W(t)) = \min(s, t)$ を押さえます。計算するときは、必ず重ならない増分に分けて独立性を使います。

以上が、ブラウン運動についての説明です。

細かい定理が分からなかったとしても問題ありません。ここでは、「独立な増分に分ければ、分布の和の計算に帰着する」という点だけ押さえておきましょう。

今回のまとめ

千鳥足も客の数も花粉も、独立な増分の和に還元できる

それでは、今回の内容を振り返ります。

今回は時間とともに偶然に動く、3つの基本の確率過程を紹介しました。千鳥足はコイン投げの和、客の数はポアソン分布、花粉の揺れは正規分布に、それぞれ還元できます。どれも、増分が独立だから計算できるのです。

今回のポイントを振り返りましょう。

振り返り

• ランダムウォークは千鳥足。右へ進む回数が二項分布に従い、$V(S_n) = 4npq$。
• 対称ランダムウォークは1, 2次元で再帰的、3次元以上で一時的。
• ポアソン過程は回数がポアソン分布、間隔が指数分布。「そろそろ来る」はない（無記憶性）。
• ブラウン運動はランダムウォークの極限。$W(t) \sim N(0, t)$ で、共分散は $\min(s, t)$。
• 途中の最大値は、鏡像原理（反射原理）で折り返して求める。

キーワードのおさらい

• 確率過程: 時刻ごとに定められた確率変数の集まり
• ランダムウォーク: 独立な歩幅を足し合わせた確率過程
• ポアソン過程: 一定の強度で独立に起きる出来事の回数を表す確率過程
• 無記憶性: 待った時間が、この先の待ち時間の分布に影響しないという性質
• ブラウン運動: 増分が独立で正規分布に従う、見本路が連続な確率過程
• 鏡像原理: 道を折り返して、途中の最大値の確率を求める方法

さて、ここまでで確率モデルの基礎がそろいました。ここからは、データを説明する統計モデルの実践に入ります。2級で学んだ重回帰は、ソフトの出力を読むところまででした。では、その中では何が起きていて、変数はどう選べばよいのでしょうか？

次回は、行列の形から変数選択、正則化までを扱う「重回帰分析」について紹介します。

それでは、次の記事へ進んでいきましょう。