Mathematische Statistik – Zusatz: Wahrscheinlichkeitstheorie

Wahrscheinlichkeitsräume

W-Raum: $(Ω, A, P)$ heißt Wahrscheinlichkeitsraum, falls $Ω \neq \emptyset$ , $A$ eine $σ$ -Algebra über $Ω$ und $P$ ein W-Maß auf $(Ω, A)$ ist.

bedingte W.keit: Seien $A, B \in A$ mit $P (A) > 0$ . Dann heißt $P (B | A) := \frac{P (B \cap A)}{P (A)}$ bedingte Wahrscheinlichkeit von $B$ gegeben $A$ . Es gilt $P (A | B) = P (B | A) \cdot \frac{P (A)}{P (B)}$ , wenn $P (B) > 0$ (Formel von Bayes). Außerdem gilt $P (B) = \sum_{i \in I} P (B | A_{i}) P (A_{i})$ , wenn die $A_{i} \in A$ ( $i \in I$ ) mit $I$ höchstens abzählbar eine Zerlegung von $Ω$ bilden und $P (A_{i}) > 0$ gilt (Formel von der totalen Wahrscheinlichkeit).

stochastisch unabhängig für Ereignisse: Die Ereignisse $A_{i} \in A$ ( $i \in I$ ) heißen
(stochastisch) unabhängig, falls $P (⋂_{i \in K} A_{i}) = \prod_{i \in K} P (A_{i})$ für alle $K \subset I$ endlich.

Kombinatorik

Urnenmodell: Aus einer Urne mit $n$ Kugeln werden $k$ Kugeln gezogen.
Dann gibt es je nach Ziehungsverfahren unterschiedlich viele mögliche Stichproben:

geordnete Stichprobe ohne Zurücklegen: $\frac{n!}{(n - k)!}$
geordnete Stichprobe mit Zurücklegen: $n^{k}$
ungeordnete Stichprobe ohne Zurücklegen: $(\binom{n}{k})$
ungeordnete Stichprobe mit Zurücklegen: $(\binom{n + k - 1}{k})$

Diskrete Zufallsvariablen

diskreter W-Raum: Ein W-Raum

(Ω, A, P)

heißt diskret, falls

Ω

höchstens abzählbar und

A = P (Ω)

ist. In diesem Fall heißt

(p_{ω})_{ω \in Ω}

Zähldichte, wobei

p_{ω} := P ({ω})

diskrete Zufallsvariable: Sei $E$ eine Menge. Dann heißt eine Abbildung $X : Ω \to E$ Zufallsvariable. Das W-Maß $P_{X} : P (E) \to [0, 1]$ mit $P_{X} (B) := P (X \in B)$ heißt Verteilung von $X$ . Die Funktion $F_{X} : R \to [0, 1]$ mit $F_{X} (x) := P (X \leq x)$ heißt Verteilungsfunktion von $X$ (falls $E = R$ ). Sie ist monoton wachsend, r.s. stetig und hat den GW $1$ bzw. $0$ für $x \to \pm \infty$ .

stochastisch unabhängig für diskrete ZV: Die Zufallsvariablen $X_{i} : Ω \to E_{i}$ ( $i \in I$ ) heißen (stochastisch) unabhängig, falls für alle $B_{i} \subset E_{i}$ ( $i \in I$ ) $({X_{i} \in B_{i}})_{i \in I}$ als Familie von Ereignissen unabhängig ist.

diskreter Erwartungswert: Die Zahl $E (X) := \sum_{ω \in Ω} X (ω) p_{ω}$ heißt Erwartungswert von $X$ (falls $X$ reell und $\sum_{ω \in Ω} | X (ω) | p_{ω} < \infty$ ). In diesem Fall gilt $E (X) = \sum_{x \in X (Ω)} x P_{X} ({x})$ (Transformationssatz). Es gilt $E (X + Y) = E (X) + E (Y)$ , $E (α X) = α E (X)$ (Linearität),
$E (c) = c$ , $X \leq Y \Rightarrow E (X) \leq E (Y)$ und $| E (X) | \leq E (| X |)$ .
Sind $X_{1}, \dots, X_{n}$ unabhängig, so gilt $E (X_{1} \dots X_{n}) = E (X_{1}) \dots E (X_{n})$ .

diskrete Varianz: Die Zahl $V a r (X) := E ((X - E (X))^{2}) = E (X^{2}) - E (X)^{2}$ heißt Varianz von $X$ (falls $E (X^{2}) < \infty$ ). Es gilt $V a r (α X) = α^{2} V a r (X)$ , $V a r (X + c) = V a r (X)$ und
$V a r (X_{1} + \dots + X_{n}) = V a r (X_{1}) + \dots + V a r (X_{n})$ , wenn $X_{1}, \dots, X_{n}$ unabhängig (Satz von Bienaymé).

Diskrete Verteilungen

Name	Parameter	Zähldichte	EW	Varianz
Gleichverteilung	$x_{1}, \dots, x_{n}$	$p_{x_{i}} := \frac{1}{n}$	$\frac{1}{n} \sum_{i = 1}^{n} x_{i}$	$\frac{n^{2} - 1}{12}$
Beispiel: W.keit für eine markierte Seite beim Wurf eines fairen Würfels mit $n$ Seiten und Werten $x_{1}, \dots, x_{n}$

Bernoulli-Verteilung $Bin (1, p)$	$p \in [0, 1]$	$p_{0} := 1 - p$ , $p_{1} := p$	$p$	$p (1 - p)$
Beispiel: W.keit für Erfolg beim Wurf einer unfairen Münze ( $p$ Erfolgswahrscheinlichkeit)

Binomialverteilung $Bin (n, p)$	$n \in N_{0}$ , $p \in [0, 1]$	$p_{k} := (\binom{n}{k}) p^{k} (1 - p)^{n - k}$ , $k = 0, \dots, n$	$n p$	$n p (1 - p)$
Beispiel: W.keit für $k$ Erfolge bei $n$ -fachem Wurf einer unfairen Münze

Poissonverteilung $Pois (λ)$	$λ \in R^{+}$	$p_{k} := \frac{λ^{k}}{k!} e^{- λ}$ , $k \in N_{0}$	$λ$	$λ$
Beispiel: W.keit für $k$ Erfolge bei großer Anzahl an Durchführungen eines Bernoulli-Experiments mit sehr niedriger
Erfolgswahrscheinlichkeit, $lim_{n \to \infty} (\binom{n}{k}) (λ / n)^{k} (1 - (λ / n))^{n - k} = \frac{λ^{k}}{k!} e^{- λ}$
geometrische Verteilung $G (p)$	$p \in (0, 1]$	$p_{k} := p (1 - p)^{k - 1}$ , $k \in N$	$\frac{1}{p}$	$\frac{1 - p}{p^{2}}$
Beispiel: W.keit, dass bei einem wiederholten Bernoulli-Experiment erst im $k$ -ten Experiment ein Erfolg auftritt
(z. B. $p = 1 / 4$ für Würfe auf eine geviertelte Dartscheibe mit einem markierten Viertel)
hypergeometrische Verteilung $H (n, s, k)$	$n, k, s \in N_{0}$ , $s, k \leq n$	$p_{ℓ} := (\binom{s}{ℓ}) (\binom{n - s}{k - ℓ}) / (\binom{n}{k})$	$\frac{k s}{n}$	$\frac{k s (n - k)}{n (n - 1)} (1 - \frac{s}{n})$
Beispiel: W.keit, dass bei einer ungeordneten Ziehung von $k$ Kugeln ohne Zurücklegen aus einer Urne mit
$s$ schwarzen und $n - s$ weißen Kugeln genau $ℓ$ schwarze Kugeln gezogen werden

Maß- und Integrationstheorie

Dichte: Eine Dichte ist eine Funktion $f : R \to [0, \infty)$ mit $\int_{R} f (u) d u = 1$ .
Ein W-Maß $P$ auf $R$ besitzt die Dichte $f$ , falls $P ((- \infty, x]) = \int_{- \infty}^{x} f (u) d u$ für alle $x \in R$ .

messbare Abbildung: Eine Abbildung $f : (Ω, A) \to (Ω^{'}, A^{'})$ zwischen zwei Messräumen $(Ω, A)$ und $(Ω^{'}, A^{'})$ heißt messbar, falls $f^{- 1} (A^{'}) \in A$ für alle $A^{'} \in A^{'}$ .

Bildmaß: Ist $f : (Ω, A) \to (Ω^{'}, A^{'})$ messbar und $μ$ ein Maß auf $(Ω, A)$ , so ist $μ_{f} : A^{'} \to [0, \infty]$ mit $μ_{f} (A^{'}) := μ (f^{- 1} (A^{'}))$ das Bildmaß von $μ$ unter $f$ . Es ist ein W-Maß genau dann, wenn $μ$ ein W-Maß ist.

allgemeiner Transformationssatz: Seien $(Ω, A, μ)$ ein Maßraum, $(Ω^{'}, A^{'})$ ein Messraum, $f : Ω^{'} \to R$ messbar und $T : Ω \to Ω^{'}$ messbar. Dann ist $f \in L^{1} (μ_{T}) ⟺ f \circ T \in L^{1} (μ)$ .
In diesem Fall gilt $\int_{Ω^{'}} f d μ_{T} = \int_{Ω} (f \circ T) d μ$ .

Kontinuierliche Zufallsvariablen

Zufallsvariable: Seien $(Ω, A, P)$ ein W-Raum und $(E, A^{'})$ ein Messraum. Dann heißt eine messbare Abbildung $X : Ω \to E$ Zufallsvariable. Das W-Maß $P_{X} : A^{'} \to [0, 1]$ mit $P_{X} (A^{'}) := P (X \in A^{'})$ heißt Verteilung von $X$ . $P_{X}$ ist das Bildmaß von $P$ unter $X$ .
Die Funktion $F_{X} : R \to [0, 1]$ mit $F_{X} (x) := P (X \leq x)$ heißt Verteilungsfunktion von $X$ , falls $X$ reell ist. Sie ist monoton wachsend, rechtsseitig stetig und hat den Grenzwert $1$ bzw. $0$ für $x \to \pm \infty$ . Wenn $F_{X}$ absolutstetig ist, dann ist $f_{X} (x) = F_{X}^{'} (x)$ die Dichte von $X$ .
$X$ heißt stetig/kontinuierlich, falls $P_{X}$ eine Dichte besitzt.

stochastisch unabhängig für ZV: Die Zufallsvariablen $X_{i} : Ω \to (E_{i}, A_{i}^{'})$ ( $i \in I$ ) heißen (stochastisch) unabhängig, falls für alle $B_{i} \in A_{i}^{'}$ ( $i \in I$ ) $({X_{i} \in B_{i}})_{i \in I}$ als Familie von Ereignissen unabhängig ist. Die Dichte von $X = (X_{1}, \dots, X_{n}) : Ω \to R^{n}$ ist $f (x) = f_{1} (x) \dots f_{n} (x)$ , wenn $X_{1}, \dots, X_{n}$ unabhängig sind und $f_{i}$ die Dichte von $X_{i}$ ist.

Erwartungswert: Die Zahl $E (X) := \int_{Ω} X d P$ heißt Erwartungswert von $X$ (falls $X$ reell und $X \in L^{1} (P)$ ). In diesem Fall gilt $E (X) = \int_{R} x d P_{X} = \int_{R} x f (x) d x$ , wenn $X$ die Dichte $f$ besitzt (Transformationssatz). Es gilt $E (X + Y) = E (X) + E (Y)$ , $E (α X) = α E (X)$ (Linearität), $E (c) = c$ , $X \leq Y \Rightarrow E (X) \leq E (Y)$ und $| E (X) | \leq E (| X |)$ .
Sind $X_{1}, \dots, X_{n}$ unabhängig, so gilt $E (X_{1} \dots X_{n}) = E (X_{1}) \dots E (X_{n})$ .
Ist $g : R \to R$ messbar und besitzt $X$ die Dichte $f$ , so gilt
$E (g (X)) = \int_{R} g (x) d P_{X} = \int_{R} g (x) f (x) d x$ , falls $g (X) \in L^{1} (P)$ (Transformationssatz).

$k$ -tes Moment: Die Zahl $E (X^{k})$ heißt $k$ -tes Moment von $X$ (falls $X \in L^{k} (P)$ ). Es gilt $E (X^{k}) = \int_{R} x^{k} d P_{X} = \int_{R} x^{k} f (x) d x$ , wenn $X$ die Dichte $f$ besitzt (Transformationssatz).

Varianz: Die Zahl $V a r (X) := E ((X - E (X))^{2}) = E (X^{2}) - E (X)^{2}$ heißt Varianz von $X$ (falls $X \in L^{2} (P)$ ). Es gilt $V a r (α X) = α^{2} V a r (X)$ , $V a r (X + c) = V a r (X)$ und $V a r (X_{1} + \dots + X_{n}) = V a r (X_{1}) + \dots + V a r (X_{n})$ , wenn $X_{1}, \dots, X_{n}$ unabhängig (Satz von Bienaymé).

Kovarianz: Für zwei reelle ZV $X, Y$ heißt $C o v (X, Y) := E (X Y) - E (X) E (Y)$ Kovarianz.
Für $C o v (X, Y) = 0$ heißen $X, Y$ unkorreliert. Unabhängige ZV sind unkorreliert.

Transformationssatz: Seien $X$ eine reelle, stetige ZV mit Dichte $f$ und $h : R \to R$ sei bijektiv auf einer offenen Menge $B$ mit $P (X \in B) = 1$ und diffb. mit $h^{'} (x) \neq 0$ für alle $x \in B$ .
Dann ist $Y := h (X)$ eine stetige ZV mit Dichte $g (y) := \frac{f (h^{- 1} (y))}{| h^{'} (h^{- 1} (y)) |} 𝟙_{B} (h^{- 1} (y))$ für $y \in R$ .

Kontinuierliche Verteilungen

Name	Parameter	Dichte	EW	Varianz
Gleichverteilung $U ([a, b])$	$a, b \in R$ , $a < b$	$f (x) := \frac{1}{b - a} \cdot 𝟙_{[a, b]} (x)$	$\frac{a + b}{2}$	$\frac{(b - a)^{2}}{12}$
Beispiel: Bruch eines Stabes der Länge $b - a$ an einer zufälligen Stelle

Exponentialverteilung $Exp (λ)$	$λ > 0$	$f (x) := λ e^{- λ x} \cdot 𝟙_{(0, \infty)} (x)$	$\frac{1}{λ}$	$\frac{1}{λ^{2}}$
Beispiel: Zeit zwischen zwei Anrufen, Lebensdauer von Atomen beim radioaktiven Zerfall

Normalverteilung $N (μ, σ^{2})$	$μ \in R$ , $σ^{2} > 0$	$f (x) := \frac{1}{\sqrt{2 π σ^{2}}} \exp (- \frac{(x - μ)^{2}}{2 σ^{2}})$	$μ$	$σ^{2}$
Beispiel: physikalische Messwerte mit Messfehler, Brownsche Molekularbewegung, zentraler Grenzwertsatz:
$X_{1}, X_{2}, \dots$ i.i.d. mit endlichem EW und endlicher Varianz, dann gilt $Z_{n} \to Z$ in Verteilung mit $Z_{n} := \frac{1}{\sqrt{n σ^{2}}} \sum_{k = 1}^{n} (X_{k} - μ)$ und $Z \sim N (0, 1)$
Beta-Verteilung $Beta (a, b)$	$a, b > 0$	$f (x) := \frac{x^{a - 1} (1 - x)^{b - 1}}{B (a, b)} \cdot 𝟙_{[0, 1]} (x)$	$\frac{a}{a + b}$	$\frac{a b}{(a + b + 1) (a + b)^{2}}$
Beispiel: konjugierte Familie von a-Priori-Verteilungen für Binomial- und Bernoulli-Verteilung (und geometrische Verteilung),
$B (a, b) := \int_{0}^{1} t^{a - 1} (1 - t)^{b - 1} d t$
Gamma-Verteilung $Gamma (a, λ)$	$a, λ > 0$	$f (x) := \frac{λ^{a} x^{a - 1} e^{- λ x}}{Γ (a)} \cdot 𝟙_{(0, \infty)} (x)$	$\frac{a}{λ}$	$\frac{a}{λ^{2}}$
Beispiel: Bedienzeiten und Reparaturzeiten, Modellierung von kleinen bis mittleren Schäden in der Versicherungsmathematik,
$Γ (a) := \int_{0}^{\infty} t^{a - 1} e^{- t} d t$

Schätzer für Erwartungswert und Varianz

arithmetischer Mittelwert:
Der (arithmetische) Mittelwert von $X = (X_{1}, \dots, X_{n})$ ist $\bar{X} := \frac{1}{n} \sum_{i = 1}^{n} X_{i}$ .

korrigierte Stichprobenvarianz:
Die (korrigierte) Stichprobenvarianz von $X = (X_{1}, \dots, X_{n})$ ist $S^{2} (X) := \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$ .
Es gilt $S^{2} (X) = \frac{1}{n - 1} \sum_{i = 1}^{n} X_{i}^{2} - \frac{n}{n - 1} (\bar{X})^{2}$ .
Sind $X_{1}, \dots, X_{n}$ i.i.d. und $μ = E (X_{1})$ bekannt, dann verwendet man normalerweise stattdessen ${S^{*}}^{2} (X) := \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - μ)^{2}$ .

Weitere kontinuierliche Verteilungen

Chi-Quadrat-Verteilung $χ_{n}^{2}$ : Für $X_{1}, \dots, X_{n} \sim N (0, 1)$ i.i.d. heißt die
Verteilung von $Y := \sum_{i = 1}^{n} X_{i}^{2}$ Chi-Quadrat-Verteilung $χ_{n}^{2}$ mit $n$ Freiheitsgraden.
Für $X_{1}, \dots, X_{n} \sim N (μ, σ^{2})$ i.i.d. gilt $\frac{(n - 1) S^{2}}{σ^{2}} \sim χ_{n - 1}^{2}$ .

studentsche $t$ -Verteilung $t_{n}$ : Für $X \sim N (0, 1)$ und $Y \sim χ_{n}^{2}$ unabhängig heißt die
Verteilung von $Z := \frac{X}{\sqrt{Y / n}}$ studentsche $t$ -Verteilung $t_{n}$ mit $n$ Freiheitsgraden.

$F$ -Verteilung $F_{(n, m)}$ : Für $X \sim χ_{n}^{2}$ und $Y \sim χ_{m}^{2}$ unabhängig heißt die
Verteilung von $Z := \frac{X / n}{Y / m}$ $F$ -Verteilung $F_{(n, m)}$ mit $(n, m)$ Freiheitsgraden.

Mehrdimensionale Zufallsvariablen

Zufallsvektor: Ein Zufallsvektor (mehrdimensionale Zufallsvariable) ist eine messbare Abbildung $X : Ω \to R^{n}$ , d. h. ein Vektor $X = (X_{1}, \dots, X_{n})$ von Zufallsvariablen $X_{i} : Ω \to R$ .
Die Verteilung $P_{X}$ von $X$ heißt mehrdimensionale Verteilung, die Verteilungen der $X_{i}$ heißen Randverteilungen.
Die Funktion $F_{X} : R^{n} \to [0, 1]$ mit $F_{X} (x) := P (X \leq x) = P (X_{1} \leq x_{1}, \dots, X_{n} \leq x_{n})$ heißt Verteilungsfunktion von $X$ .

diskreter Zufallsvektor: Ist das Bild $X (Ω)$ höchstens abzählbar, so heißt $X$ diskret.
In diesem Fall ist $p_{x} := P (X = x) = P (X_{1} = x_{1}, \dots, X_{n} = x_{n})$ die Zähldichte von $P_{X}$ (gemeinsame Zähldichte der $X_{1}, \dots, X_{n}$ ) und die Zähldichten der Randverteilungen berechnen sich durch $P (X_{i} = x_{i}^{'}) = \sum_{x \in X (Ω)} P (X = (x_{1}, \dots, x_{i}^{'}, \dots, x_{n}))$ .
Die $X_{1}, \dots, X_{n}$ sind unabhängig genau dann, wenn $P (X = x) = P (X_{1} = x_{1}) \dots P (X_{n} = x_{n})$ .

stetiger Zufallsvektor: Besitzt $X$ eine Dichte (gemeinsame Dichte der $X_{1}, \dots, X_{n}$ ), d. h. eine Funktion $f_{X} : R^{n} \to R$ mit
$P ((- \infty, x_{1}] \times \dots \times (- \infty, x_{n}]) = \int_{- \infty}^{x_{1}} \dots \int_{- \infty}^{x_{n}} f_{X} (u) d u$ , so heißt $X$ stetig/kontinuierlich.
In diesem Fall berechnen sich die Dichten der Randverteilungen (Randdichten) durch
$f_{X_{i}} (x_{i}^{'}) = \int_{R} \dots \int_{R} f (x_{1}, \dots, x_{i}^{'}, \dots, x_{n}) d x_{1} \dots d x_{i - 1} d x_{i + 1} \dots d x_{n}$ .
Die $X_{1}, \dots, X_{n}$ sind unabhängig genau dann, wenn $f_{X} (x) = f_{X_{1}} (x_{1}) \dots f_{X_{n}} (x_{n})$ für alle $x \in R^{n}$
(was gilt genau dann, wenn $F_{X} (x) = F_{X_{1}} (x_{1}) \dots F_{X_{n}} (x_{n})$ für alle $x \in R^{n}$ ).

Bedingte Verteilungen

bedingte Verteilung: Seien $X$ und $Y$ zwei Zufallsvariablen.
Dann ist die bedingte Verteilung $X | Y$ von $X$ gegeben $Y$ wie folgt definiert:

Sind $X$ und $Y$ diskret mit gemeinsamer Zähldichte $p (x, y)$ , so hat die bedingte Verteilung
$X | Y$ die Zähldichte $p (x | Y = y) := \frac{p (x, y)}{p_{Y} (y)} = P (X = x | Y = y)$ mit der Randdichte
$p_{Y} (y) := P (Y = y) = \sum_{x^{'} \in X (Ω)} p (x^{'}, y)$ von $Y$ (falls $p_{Y} (y) > 0$ ).
Sind $X$ und $Y$ stetig mit gemeinsamer Dichte $f_{X, Y} (x, y)$ , so hat die bedingte Verteilung
$X | Y$ die Dichte $f_{X} (x | Y = y) := \frac{f_{X, Y} (x, y)}{f_{Y} (y)}$ mit der Randdichte
$f_{Y} (y) := \int_{X (Ω)} f_{X, Y} (x^{'}, y) d x^{'}$ von $Y$ (falls $f_{Y} (y) > 0$ ).

Im stetigen Fall ist $f_{X} (x) = \int_{Y (Ω)} f_{Y} (y) f_{X} (x | Y = y) d y$ (Gesetz der totalen Wahrscheinlichkeit).

bedingter Erwartungswert: Seien $X$ und $Y$ zwei Zufallsvariablen mit $E (| X |) < \infty$ .
Sind $X$ und $Y$ diskret mit gemeinsamer Zähldichte $p (x, y)$ , dann ist der bedingte Erwartungswert von $X$ gegeben $Y = y$ gleich $E (X | Y = y) := \sum_{x \in X (ω)} x \cdot p (x | y) = \sum_{x \in X (Ω)} x \cdot P (X = x | Y = y)$ .
Sind $X$ und $Y$ stetig mit gemeinsamer Dichte $f_{X, Y} (x, y)$ , dann ist der bedingte Erwartungswert von $X$ gegeben $Y = y$ gleich $E (X | Y = y) := \int_{R} x \cdot f_{X} (x | Y = y) d x$ .
Für $X = (X_{1}, \dots, X_{n})$ und $Y = (Y_{1}, \dots, Y_{m})$ ist der bedingte Erwartungswert von $X$ gegeben $Y = y$ gleich $E (X | Y = y) := (E (X_{1} | Y = y), \dots, E (X_{n} | Y = y))$ .
Der bedingte Erwartungswert von $X$ gegeben $Y$ ist definiert als die Zufallsvariable
$E (X | Y) := g (Y)$ mit $g (y) := E (X | Y = y)$ .
Es gilt $E (E (X | Y)) = E (X)$ (Satz vom iterierten Erwartungswert).

Ungleichungen

Jensen-Ungleichung:
Sei $g : R \to R$ konvex (d. h. $g (λ x + (1 - λ) y) \leq λ g (x) + (1 - λ) g (y)$ für alle $λ \in (0, 1)$ und $x, y \in R$ ) und $X$ eine reelle Zufallsvariable mit $E (| X |) < \infty$ . Dann gilt $E (g (X)) \geq g (E (X))$ .

Markov-Ungleichung:
Seien $X$ eine reelle Zufallsvariable, $h : R^{+} \to R^{+}$ monoton wachsend und $ε > 0$ .
Dann gilt $P (| X | \geq ε) \leq \frac{E (h (| X |))}{h (ε)}$ .

Tschebyscheff-Ungleichung:
Seien $X$ eine reelle Zufallsvariable mit $V a r (X) < \infty$ und $ε > 0$ .
Dann gilt $P (| X - E (X) | \geq ε) \leq \frac{V a r (X)}{ε^{2}}$ oder alternativ $P (| X - E (X) | < ε) \geq 1 - \frac{V a r (X)}{ε^{2}}$ .

Grenzwertbegriffe

$P$ -fast-sichere Konvergenz: Seien $(X_{n})_{n \in N}$ und $X$ Zufallsvariablen. Dann konvergiert
$(X_{n})_{n \in N}$ $P$ -fast-sicher gegen $X$ ( $X_{n} \overset{P -f.s.}{\to} X$ ), falls $P (lim_{n \to \infty} X_{n} = X) = 1$ .

stochastische Konvergenz: $(X_{n})_{n \in N}$ konvergiert stochastisch gegen $X$ ( $X_{n} \overset{P}{\to} X$ ), falls
für jedes $ε > 0$ gilt, dass $P (| X_{n} - X | \geq ε) \overset{n \to \infty}{\to} 0$ . Aus $P$ -f.s. folgt stochastische Konvergenz.

Konvergenz in Verteilung: $(X_{n})_{n \in N}$ konvergiert in Verteilung gegen $X$ ( $X_{n} \overset{(d)}{\to} X$ ), falls
für alle Punkte $x$ , an denen $F_{X}$ stetig ist, gilt, dass $F_{X_{n}} (x) \overset{n \to \infty}{\to} F_{X} (x)$ .
Aus stochastischer Konvergenz folgt Konvergenz in Verteilung.

Grenzwertsätze

Null-Eins-Gesetz von Kolmogorov: Seien $(A_{n})_{n \in N}$ eine unabhängige Folge von $σ$ -Algebren $A_{n} \subset A$ und $T_{\infty}$ die terminale $σ$ -Algebra von $(A_{n})_{n \in N}$ .
Dann gilt $P (A) \in {0, 1}$ für alle $A \in T_{\infty}$ .
Insbesondere gilt $P (A) \in {0, 1}$ für folgende Ereignisse $A \in A$ , wenn $(X_{n})_{n \in N}$ eine Folge unabhängiger, reeller Zufallsvariablen ist:

${ω \in Ω | (X_{n} (ω))_{n \in N} konvergiert in R}$
${ω \in Ω | \sum_{n = 1}^{\infty} X_{n} (ω) konvergiert in R}$
${ω \in Ω | \underset{n \to \infty}{lim sup} X_{n} (ω) \leq α}$ für $α \in R$

starkes Gesetz der großen Zahlen: Seien $X_{1}, X_{2}, \dots$ i.i.d. mit $E (| X_{1} |) < \infty$ .
Dann gilt $\frac{1}{n} \sum_{i = 1}^{n} X_{i} \overset{P -f.s.}{\to} E (X_{1})$ .

schwaches Gesetz der großen Zahlen:
Seien $X_{1}, X_{2}, \dots$ paarweise unkorreliert mit $\exists_{M \in R} \forall_{i \in N} E (X_{i}) = E (X_{1}), V a r (X_{i}) < M$ .
Dann gilt $\frac{1}{n} \sum_{i = 1}^{n} X_{i} \overset{P}{\to} E (X_{1})$ .

zentraler Grenzwertsatz:
Seien $X_{1}, X_{2}, \dots$ i.i.d. mit $σ^{2} > 0$ , wobei $μ := E (X_{1})$ und $σ^{2} := V a r (X_{1}) < \infty$ .
Dann gilt $Z_{n} := \frac{{\bar{X}}_{n} - μ}{σ / \sqrt{n}} \overset{(d)}{\to} Z$ mit $Z \sim N (0, 1)$ .

Satz von Slutsky: Für $X_{n} \overset{(d)}{\to} X$ sowie $A_{n} \overset{P}{\to} a$ und $B_{n} \overset{P}{\to} b$ gilt $A_{n} + B_{n} X_{n} \overset{(d)}{\to} a + b X$ .

Charakteristische Funktionen

charakteristische Funktion: Sei $X$ eine reelle Zufallsvariable. Dann heißt die Funktion $φ_{X} : R \to C$ mit $φ_{X} (t) := \int_{R} e^{i t x} d P_{X} = E (e^{i t X})$ charakteristische Funktion von $X$ .
Es gilt $| φ (t) | \leq 1$ , $φ (- t) = \bar{φ (t)}$ und $φ$ ist gleichmäßig stetig.
Außerdem ist $φ_{a X + b} (t) = e^{i t b} φ_{X} (a t)$ für $a, b \in R$ (lineare Transformation).
Gilt $φ_{X} = φ_{Y}$ für zwei Zufallsvariablen $X$ und $Y$ , so gilt $P_{X} = P_{Y}$ (Eindeutigkeitssatz).
Die charakteristischen Funktionen bekannter Verteilungen lauten wie folgt:

Verteilung	char. Funktion	Verteilung	char. Funktion
diskr. Gleichv.	$φ_{X} (t) = \frac{1}{n} \sum_{i = 1}^{n} e^{i t x_{i}}$	$X \sim U ([a, b])$	$φ_{X} (t) = - \frac{i}{t (b - a)} (e^{i t b} - e^{i t a})$ für $t \neq 0$ , $φ_{X} (0) = 1$
$X \sim Bin (1, p)$	$φ_{X} (t) = e^{i t} p + 1 - p$	$X \sim Exp (λ)$	$φ_{X} (t) = \frac{λ}{λ - i t}$
$X \sim Bin (n, p)$	$φ_{X} (t) = (e^{i t} p + 1 - p)^{n}$	$X \sim N (μ, σ^{2})$	$φ_{X} (t) = e^{i μ t} \cdot \exp (- \frac{σ^{2} t^{2}}{2})$
$X \sim Pois (λ)$	$φ_{X} (t) = \exp (λ (e^{i t} - 1))$	$X \sim χ_{n}^{2}$	$φ_{X} (t) = \frac{1}{(1 - 2 i t)^{n / 2}}$
$X \sim G (p)$	$φ_{X} (t) = \frac{p e^{i t}}{1 - (1 - p) e^{i t}}$	$X \sim Gamma (a, λ)$	$φ_{X} (t) = {(\frac{λ}{λ - i t})}^{a}$

Summe von Zufallsvariablen: Seien $X_{1}, \dots, X_{n}$ unabhängig und $Y := X_{1} + \dots + X_{n}$ .
Dann gilt $φ_{Y} (t) = φ_{X_{1}} (t) \dots φ_{X_{n}} (t)$ . Mit dem Eindeutigkeitssatz kann also die Verteilung von $Y$ berechnet werden, wenn $φ_{X_{1}} (t) \dots φ_{X_{n}} (t)$ einer bekannten charakteristischen Funktion entspricht. Zum Beispiel gilt für $X_{i} \sim N (μ_{i}, σ_{i}^{2})$ , dass $Y \sim N (μ_{1} + \dots + μ_{n}, σ_{1}^{2} + \dots + σ_{n}^{2})$ .

Mathematische Statistik – Zusatz: Wahrscheinlichkeits­theorie