Bernstein-Ungleichung (Stochastik)

Die Bernstein-Ungleichung ist eine Abschätzung aus der Wahrscheinlichkeitstheorie und wurde von Sergei Bernstein (1880–1968) bewiesen. Sie ist eine Erweiterung der Hoeffding-Ungleichung, deren Abschätzung durch eine zusätzliche Voraussetzung an die Varianz der Zufallsvariablen verbessert werden kann.

Die Ungleichung gilt für beliebig verteilte beschränkte Zufallsvariablen mit verschwindendem Erwartungswert und beschränkter Varianz.

Sei ${\displaystyle (\Omega ,{\mathcal {A}},{\mathcal {P}})}$ ein Wahrscheinlichkeitsraum. Seien ${\displaystyle B,{\mathcal {T}}}$ und ${\displaystyle \displaystyle {\sigma }}$ positive reelle Zahlen und ${\displaystyle \displaystyle {n}}$ eine natürliche Zahl. ${\displaystyle X_{1},\ldots ,X_{n}:\Omega \rightarrow \mathbb {R} }$ seien unabhängig verteilte Zufallsvariablen mit ${\displaystyle {\textrm {E}}X_{i}=0,\Vert X_{i}\Vert _{\infty }\leqslant B}$ und ${\displaystyle {\textrm {E}}(X_{i}^{2})\leqslant \sigma ^{2}}$ für alle ${\displaystyle i=1,\ldots ,n}$.

Dann gilt:

${\displaystyle {\textrm {P}}\left[{\frac {1}{n}}\sum _{i=1}^{n}X_{i}\geqslant {\sqrt {\frac {2\sigma ^{2}{\mathcal {T}}}{n}}}+{\frac {2B{\mathcal {T}}}{3n}}\right]\leqslant e^{-{\mathcal {T}}}}$

Für alle ${\displaystyle \displaystyle {x>-1}}$ gilt:

${\displaystyle x-(1+x)\ln(1+x)\leqslant -{\frac {3x^{2}}{2(x+3)}}}$

Ein Beweis des Lemmas und ein ausführlicherer Beweis des Satzes befinden sich im Beweisarchiv.

Dieser Beweis folgt dem Ansatz aus "Support Vector Machines" (siehe Literatur).

Zur Vereinfachung definiere man ${\displaystyle \epsilon ={\frac {{\sqrt {18{\mathcal {T}}n\sigma ^{2}+{\mathcal {T}}^{2}B^{2}}}+{\mathcal {T}}B}{3n}}}$

Nach ${\displaystyle {\mathcal {T}}}$ umgestellt, ergibt sich: ${\displaystyle {\mathcal {T}}={\frac {3n\epsilon ^{2}}{2\epsilon B+6\sigma ^{2}}}}$

Nun wird die Ungleichung gezeigt. Man wende die Markow-Ungleichung an mit ${\displaystyle X={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$ und ${\displaystyle f(\epsilon )=e^{t\epsilon n}}$ für ein ${\displaystyle \displaystyle {t>0}}$ (t wird später noch speziell gewählt):

${\displaystyle {\textrm {P}}\left[{\frac {1}{n}}\sum _{i=1}^{n}X_{i}\geqslant {\sqrt {\frac {2\sigma ^{2}{\mathcal {T}}}{n}}}+{\frac {2B{\mathcal {T}}}{3n}}\right]\leqslant {\textrm {P}}\left[{\frac {1}{n}}\sum _{i=1}^{n}X_{i}\geqslant \epsilon \right]\leqslant e^{-t\epsilon n}{\textrm {E}}\left(\prod _{i=1}^{n}\exp(tX_{i})\right)}$

Da die Zufallsvariablen nach Voraussetzung unabhängig sind, können Produkt und Erwartungswert vertauscht werden. Aus der Exponentialfunktion bilde man eine unendliche Exponentialreihe. Diese ist durch die integrierbare Majorante ${\displaystyle \displaystyle {e^{tB}}}$ beschränkt. Also können Erwartungswert und Summe vertauscht werden. Mit ${\displaystyle X_{i}^{0}=1}$ und der Voraussetzung ${\displaystyle \displaystyle {{\textrm {E}}X_{i}=0}}$ folgt:

${\displaystyle e^{-t\epsilon n}{\textrm {E}}\left(\prod _{i=1}^{n}\exp(tX_{i})\right)=e^{-t\epsilon n}\prod _{i=1}^{n}{\textrm {E}}\left(\sum _{k=0}^{\infty }{\frac {t^{k}}{k!}}X_{i}^{k}\right)=e^{-t\epsilon n}\prod _{i=1}^{n}\left(\sum _{k=0}^{\infty }{\frac {t^{k}}{k!}}{\textrm {E}}X_{i}^{k}\right)=e^{-t\epsilon n}\prod _{i=1}^{n}\left(1+\sum _{k=2}^{\infty }{\frac {t^{k}}{k!}}{\textrm {E}}X_{i}^{k}\right)}$

Mit der Abschätzung ${\displaystyle {\textrm {E}}X_{i}^{k}\leqslant {\textrm {E}}X_{i}^{2}B^{k-2}\leqslant \sigma ^{2}B^{k-2}}$ folgt:

${\displaystyle e^{-t\epsilon n}\prod _{i=1}^{n}\left(1+\sum _{k=2}^{\infty }{\frac {t^{k}}{k!}}{\textrm {E}}X_{i}^{k}\right)\leqslant e^{-t\epsilon n}\prod _{i=1}^{n}\left(1+\sum _{k=2}^{\infty }{\frac {t^{k}}{k!}}\sigma ^{2}B^{k-2}\right)=e^{-t\epsilon n}\left(1+{\frac {\sigma ^{2}}{B^{2}}}\sum _{k=2}^{\infty }{\frac {(tB)^{k}}{k!}}\right)^{n}}$

Durch die Ungleichung ${\displaystyle (1+x)^{n}\leqslant \exp(nx)}$ für ${\displaystyle \displaystyle {x\geqslant 0}}$ erhält man mit ${\displaystyle x={\frac {\sigma ^{2}}{B^{2}}}(e^{tB}-tB-1)}$:

${\displaystyle e^{-t\epsilon n}\left(1+{\frac {\sigma ^{2}}{B^{2}}}\sum _{k=2}^{\infty }{\frac {(tB)^{k}}{k!}}\right)^{n}=e^{-t\epsilon n}\left(1+{\frac {\sigma ^{2}}{B^{2}}}(e^{tB}-tB-1)\right)^{n}\leqslant e^{-t\epsilon n}\exp \left({\frac {n\sigma ^{2}}{B^{2}}}(e^{tB}-tB-1)\right)}$

Man setze ${\displaystyle t={\frac {1}{B}}\ln(1+{\frac {\epsilon B}{\sigma }})}$:

${\displaystyle e^{-t\epsilon n}\exp \left({\frac {n\sigma ^{2}}{B^{2}}}(e^{tB}-tB-1)\right)=\exp \left[{\frac {n\sigma ^{2}}{B^{2}}}\left(-{\frac {\epsilon B}{\sigma ^{2}}}\ln \left(1+{\frac {\epsilon B}{\sigma ^{2}}}\right)+{\frac {\epsilon B}{\sigma ^{2}}}-\ln \left(1+{\frac {\epsilon B}{\sigma ^{2}}}\right)\right)\right]}$

Aus dem Lemma (oben) folgt mit ${\displaystyle x={\frac {\epsilon B}{\sigma ^{2}}}}$.

${\displaystyle \exp \left[{\frac {n\sigma ^{2}}{B^{2}}}\left(-{\frac {\epsilon B}{\sigma ^{2}}}\ln \left(1+{\frac {\epsilon B}{\sigma ^{2}}}\right)+{\frac {\epsilon B}{\sigma ^{2}}}-\ln \left(1+{\frac {\epsilon B}{\sigma ^{2}}}\right)\right)\right]\leqslant \exp \left[-{\frac {3n\epsilon ^{2}}{2\epsilon B+6\sigma ^{2}}}\right]=e^{-{\mathcal {T}}}}$

${\displaystyle \Rightarrow {\textrm {P}}\left[{\frac {1}{n}}\sum _{i=1}^{n}X_{i}\geqslant {\sqrt {\frac {2\sigma ^{2}{\mathcal {T}}}{n}}}+{\frac {2B{\mathcal {T}}}{3n}}\right]\leqslant e^{-{\mathcal {T}}}}$

Angenommen ${\displaystyle n,\,B}$ und ${\displaystyle \displaystyle {\sigma }}$ sind bekannt.

Wie groß ist die Wahrscheinlichkeit höchstens, dass der Mittelwert einen gegebenen Wert k übersteigt?

Löse ${\displaystyle k={\sqrt {\frac {2\sigma ^{2}{\mathcal {T}}}{n}}}+{\frac {2B{\mathcal {T}}}{3n}}}$ nach ${\displaystyle {\mathcal {T}}}$ auf.

Die Wahrscheinlichkeit, dass der Mittelwert den Wert k übersteigt, ist höchstens ${\displaystyle e^{-{\mathcal {T}}}}$.

Weiterhin seien ${\displaystyle \displaystyle {B}}$ und ${\displaystyle \displaystyle {\sigma }}$ bekannt.

Es soll gelten: ${\displaystyle {\textrm {P}}\left[{\frac {1}{n}}\sum _{i=1}^{n}X_{i}\geqslant k\right]\leqslant 0,1}$

Berechne k mit Hilfe der Bernstein-Ungleichung.

${\displaystyle e^{-{\mathcal {T}}}=0{,}1}$

${\displaystyle \Rightarrow {\mathcal {T}}=\ln 10}$

${\displaystyle \Rightarrow k={\sqrt {\frac {2\sigma ^{2}\ln 10}{n}}}+{\frac {2B\ln 10}{3n}}}$

Seien ${\displaystyle \displaystyle {B}}$ und ${\displaystyle \displaystyle {\sigma }}$ bekannt.

Wie viele Realisierungen werden mindestens benötigt, sodass für gegebene Werte ${\displaystyle k}$ und ${\displaystyle {\mathcal {T}}}$ gilt, dass

${\displaystyle {\textrm {P}}\left[{\frac {1}{n}}\sum _{i=1}^{n}X_{i}\geqslant k\right]\leqslant e^{-{\mathcal {T}}}}$ ?

Man benötigt mindestens ${\displaystyle n^{*}=\min \lbrace n\in \mathbb {N} \vert k\geqslant {\sqrt {\frac {2\sigma ^{2}{\mathcal {T}}}{n}}}+{\frac {2B{\mathcal {T}}}{3n}}\rbrace }$ Realisierungen.

Als Zufallsvariable betrachte man eine Münze. Den i-ten Münzwurf bezeichnen wir mit ${\displaystyle \displaystyle {X_{i}}}$. Dabei gelte bei Kopf ${\displaystyle \displaystyle {X_{i}=-1}}$ und bei Zahl ${\displaystyle \displaystyle {X_{i}=1}}$.

Wie groß ist die Wahrscheinlichkeit, dass der Mittelwert nach ${\displaystyle \displaystyle {n}}$ Würfen den Wert ${\displaystyle {\frac {16}{75}}}$ übersteigt?

Da die Wahrscheinlichkeit für Kopf und Zahl jeweils 50 % sind, ist der Erwartungswert 0. Da die Zufallsvariablen nur die Werte −1 und 1 annehmen können, kann ${\displaystyle \displaystyle {B=1}}$ gewählt werden.

${\displaystyle X_{i}^{2}=1\Rightarrow {\textrm {E}}X_{i}^{2}=1}$. Also kann ${\displaystyle \displaystyle {\sigma =1}}$ gewählt werden.

Nun wähle noch ${\displaystyle \displaystyle {{\mathcal {T}}={\frac {n}{50}}}}$. Dabei ist ${\displaystyle \displaystyle {n}}$ die Anzahl der Münzwürfe. Nach der Bernstein-Ungleichung gilt dann:

${\displaystyle {\textrm {P}}\left[{\frac {1}{n}}\sum _{i=1}^{n}X_{i}\geqslant {\frac {16}{75}}\right]\leqslant e^{-{\frac {n}{50}}}}$

Also gilt zum Beispiel bei 50 Würfen:

${\displaystyle {\textrm {P}}\left[{\frac {1}{50}}\sum _{i=1}^{50}X_{i}\geqslant {\frac {16}{75}}\right]\leqslant {\frac {1}{e}}}$

Damit der Mittelwert ${\displaystyle {\frac {16}{75}}}$ übersteigt, müsste man bei 50 Würfen 31-mal Kopf werfen.

${\displaystyle {\frac {31\cdot 1+19\cdot (-1)}{50}}={\frac {12}{50}}={\frac {18}{75}}\geqslant {\frac {16}{75}}}$

Das heißt, die Wahrscheinlichkeit, in 50 Würfen 31 Kopf zu erhalten, ist kleiner als ${\displaystyle {\frac {1}{e}}\approx 0{,}367879441}$

• Tschebyschow-Ungleichung

• Ingo Steinwart, Andreas Christmann: Support Vector Machines. Information Science and Statistics. 1. Auflage. Springer, Berlin 2008

Wikibooks: Beweis der Bernstein-Ungleichung

• Bernstein iequality in der Encyclopaedia of Mathematics