Die Wahrscheinlichkeitstheorie ist ein Teilgebiet der Mathematik. Gemeinsam mit der mathematischen Statistik bildet sie das weite Feld der Stochastik, die von der Beschreibung zufälliger Ereignisse und ihrer Modellierung handelt.

Wie jedes Teilgebiet der modernen Mathematik wird auch die Wahrscheinlichkeitstheorie mengentheoretisch formuliert und auf axiomatische Vorgaben aufgebaut. Ausgangspunkt der Wahrscheinlichkeitstheorie sind Ereignisse, die als Mengen aufgefasst werden und denen Wahrscheinlichkeiten zugeordnet sind; Wahrscheinlichkeiten sind reelle Zahlen zwischen 0 und 1; die Zuordnung von Wahrscheinlichkeiten zu Ereignissen muss gewissen Mindestanforderungen genügen.

Diese Definitionen geben keinen Hinweis, wie man die Wahrscheinlichkeiten einzelner Ereignisse ermitteln kann; sie sagen auch nichts darüber aus, was Zufall und was Wahrscheinlichkeit eigentlich sind. Die mathematische Formulierung der Wahrscheinlichkeitstheorie ist somit für verschiedene Interpretationen offen. Siehe dazu die Artikel Wahrscheinlichkeit, Bayesscher Wahrscheinlichkeitsbegriff, Frequentistischer Wahrscheinlichkeitsbegriff, Quantenlogik.

Definitionen

Konzeptionell wird von einem Zufallsvorgang oder Zufallsexperiment ausgegangen. Alle möglichen Ergebnisse dieses Zufallsvorgangs fasst man in der Ergebnismenge Ω zusammen. Wenn ein bestimmtes Ergebnis eintritt, spricht man von einem Ereignis. Das Ereignis ist als Teilmenge von Ω definiert. Umfasst das Ereignis genau ein Element der Ergebnismenge, handelt es sich um ein Elementarereignis. Zusammengesetzte Ereignisse beinhalten mehrere Ergebnisse. Das Ergebnis ist also ein Element der Ergebnismenge, das Ereignis jedoch eine Teilmenge, wobei diese Unterscheidung häufig vernachlässigt wird. Damit man den Ereignissen in sinnvoller Weise Wahrscheinlichkeiten zuordnen kann, werden sie in einem Mengensystem aufgeführt, der Ereignisalgebra oder dem Ereignisraum Σ, eine Menge von Teilmengen von Ω. Die Wahrscheinlichkeiten ergeben sich dann als Abbildung P des Ereignisraums in das Intervall [0,1] als Wahrscheinlichkeitsmaß. Das Wahrscheinlichkeitsmaß ist ein Maß P: Σ →[0,1] im Sinne der Maßtheorie mit P(Ω)=1.

Das Tripel (Ω, Σ, P) wird als Wahrscheinlichkeitsraum bezeichnet.

In dem typischen Fall, dass der Wahrscheinlichkeitsraum aus den reellen Zahlen besteht, muss bezüglich der Zuordnung der Wahrscheinlichkeiten zu den Ereignissen zwischen einer abzählbaren und überabzählbaren Ergebnismenge unterschieden werden.

Bei einer abzählbaren Ergebnismenge kann jedem Elementarereignis eine positive Wahrscheinlichkeit zugewiesen werden. Wenn Ω endlich oder abzählbar ist, kann man für die σ-Algebra Σ die Potenzmenge von Ω wählen. Die Summe der Wahrscheinlichkeiten aller Elementarereignisse aus Ω ist hier 1.

Ein Prototyp einer überabzählbaren Ergebnismenge ist die Menge der reellen Zahlen. In vielen Modellen ist es nicht möglich, allen Teilmengen der reellen Zahlen sinnvoll eine Wahrscheinlichkeit zuzuordnen. Als Ereignissystem wählt man statt der Potenzmenge der reellen Zahlen hier meist die Borelsche σ-Algebra, das ist die kleinste σ-Algebra, die alle Intervalle von reellen Zahlen als Elemente enthält. Die Elemente dieser σ-Algebra nennt man Borelsche Mengen oder auch (Borel)-messbar. Wenn die Wahrscheinlichkeit P(A) jeder Borelschen Menge A als Integral

P(A)=int_A f(x),dx

über eine Wahrscheinlichkeitsdichte f geschrieben werden kann, wird P absolut stetig genannt. In diesem Fall (aber nicht nur in diesem) haben alle Elementarereignisse die Wahrscheinlichkeit 0. Die Wahrscheinlichkeitsdichte eines absolut stetigen Wahrscheinlichkeitsmaßes P ist nur fast überall eindeutig bestimmt, d. h. sie kann auf einer beliebigen Lebesgue-Nullmenge, also einer Menge vom Lebesgue-Maß 0, abgeändert werden, ohne dass P verändert wird. Wenn die erste Ableitung der Verteilungsfunktion von P existiert, so ist sie eine Wahrscheinlichkeitsdichte von P. Die Werte der Wahrscheinlichkeitsdichte werden jedoch nicht als Wahrscheinlichkeiten interpretiert.

Im Rahmen eines maßtheoretischen Aufbaus der Wahrscheinlichkeitstheorie wird der Begriff der Wahrscheinlichkeitsdichte verallgemeinert zum Begriff der Dichte eines Wahrscheinlichkeitsmaßes relativ zu einem Referenzmaß. Im oben beschriebenen Fall ist das Referenzmaß gleich dem Borel-Lebesgue-Maß.

Axiome von Kolmogorow

Die axiomatische Begründung der Wahrscheinlichkeitstheorie wurde in den 1930er Jahren von Andrei Kolmogorow entwickelt. Ein Wahrscheinlichkeitsmaß wird durch die folgenden drei Kolmogorow-Axiome definiert:

# Für jedes Ereignis A aus Ω ist die Wahrscheinlichkeit eine reelle Zahl zwischen 0 und 1: 0≤P(A)≤1. # Das sichere Ereignis hat die Wahrscheinlichkeit 1: P(Ω)=1. # Die Wahrscheinlichkeit einer Vereinigung abzählbar vieler inkompatibler Ereignisse entspricht der Summe der Wahrscheinlichkeiten der einzelnen Ereignisse. Inkompatible Ereignisse sind disjunkte Mengen A₁, A₂ ...; es muss gelten: P(A_1 dotcup A_2 dotcup cdots) = sum P(A_i). Diese Eigenschaft wird auch σ-Additivität genannt.

Beispiel: Die Ereignisse beim Werfen einer Münze mögen Zahl oder Adler lauten.

• Dann ist die Ergebnismenge Ω={Zahl,Adler}.
• Die Ereignismenge ist die Potenzmenge Π(Ω), also Σ={{},,,Ω}.
• Für das Wahrscheinlichkeitsmaß P steht aufgrund der Axiome fest:

• P(lbrace rbrace)=0;
• P(lbrace Zahl rbrace)=1-P(lbrace Adler rbrace);
• P(Omega)=1.

Zusätzliches (außermathematisches) Wissen ist erforderlich, um P(lbrace Zahl rbrace)=P(lbrace Adler rbrace)=0,5 anzusetzen. Dies kann ja durchaus von der Beschaffenheit der Münze abhängen.

Folgerungen

Aus den Axiomen ergeben sich unmittelbar einige Folgerungen:

1. Aus der Additivität der Wahrscheinlichkeit disjunkter Ereignisse folgt, dass komplementäre Ereignisse komplementäre Wahrscheinlichkeiten haben: P(ΩA) = 1-P(A).

Beweis: Es ist (Omega setminus A) cup A = Omega sowie (Omega setminus A) cap A = lbrace rbrace. Folglich nach Axiom (3): P(Omega setminus A) + P(A) = P(Omega) und dann nach Axiom (2): P(Omega setminus A) + P(A) = 1. Umgestellt ergibt sich: P(Omega setminus A) = 1 - P(A), wie behauptet.

2. Daraus folgt unmittelbar, dass das unmögliche Ereignis, die leere Menge, die Wahrscheinlichkeit Null hat: P({})=0.

Beweis: Es ist lbrace rbrace cup Omega = Omega und lbrace rbrace cap Omega = lbrace rbrace, also nach Axiom (3): P(lbrace rbrace) + P(Omega) = P(Omega), d. h. nach Axiom (2): P(lbrace rbrace) + 1 = 1. Hieraus folgt P(lbrace rbrace) = 0, wie behauptet.

3. Für die Vereinigung nicht notwendig disjunkter Ereignisse folgt: P(A cup B) = P(A) + P(B) - P(A cap B).

Beweis: Die für den Beweis erforderlichen Mengen sind im obigen Bild dargestellt. Die Menge A cup B kann danach als Vereinigung von drei disjunkten Mengen dargestellt werden:

Hieraus folgt nach (3): P(A cup B) = P(A setminus B) + P(A cap B) + P(B setminus A).

Andererseits ist nach (3) sowohl

P(A) = P(A setminus B) + P(A cap B) als auch

P(B) = P(A cap B) + P(B setminus A).

Addition liefert:

P(A) + P(B) = P(A setminus B) + P(A cap B) + P(A cap B) + P(B setminus A)

= P(A cup B) + P(A cap B).

Umstellen ergibt P(A cup B) = P(A) + P(B) - P(A cap B), wie behauptet.

Die Siebformel von Poincaré-Sylvester verallgemeinert diese Behauptung im Falle n verschiedener (nicht notwendig disjunkter) Teilmengen.

Spezielle Eigenschaften im Fall diskreter Wahrscheinlichkeitsräume

Laplace-Experimente

Wenn man annimmt, dass nur endlich viele Elementarereignisse möglich sind und alle gleichberechtigt sind, d. h. mit der gleichen Wahrscheinlichkeit eintreten (wie zum Beispiel beim Werfen einer idealen Münze und jeweils die Wahrscheinlichkeit 0,5 besitzen), so spricht man von einem Laplace-Experiment. Dann lassen sich Wahrscheinlichkeiten einfach berechnen: Wir nehmen eine endliche Ergebnismenge Ω an, die die Mächtigkeit |Ω| = n besitzt, d. h. sie hat n Elemente. Dann ist die Wahrscheinlichkeit jedes Elementarereignisses einfach P={ 1 over n}.

Beweis: Wenn |Ω| = n ist, dann gibt es n Elementarereignisse E₁ bis E_n. Es ist dann einerseits Omega = E_1 cup ... cup E_n und andererseits sind je zwei Elementarereignisse disjunkt (inkompatibel: wenn das eine eintritt, kann das andere nicht eintreten). Also sind die Voraussetzungen für Axiom (3) erfüllt, und es gilt:

P(E_1) + ... + P(E_n) = P(Omega) = 1.

Da nun andererseits P(E_1) = ... = P(E_n) = P sein soll, ist n cdot P = 1 und daher umgestellt: P = { 1 over n }, wie behauptet.

Als Konsequenz folgt, dass für Ereignisse, die sich aus mehreren Elementarereignissen zusammensetzen, die entsprechend vielfache Wahrscheinlichkeit gilt. Ist A ein Ereignis der Mächtigkeit |A| = m, so ist A die Vereinigung von m Elementarereignissen. Jedes davon hat die Wahrscheinlichkeit P={ 1 over n}, also ist P(A)=m cdot {1 over n} = {m over n}. Man erhält also den einfachen Zusammenhang:

P(A) = { |A| over |Omega | }.

Bei Laplace-Versuchen ist die Wahrscheinlichkeit eines Ereignisses gleich der Zahl der für dieses Ereignis günstigen Ergebnisse, dividiert durch die Zahl der insgesamt möglichen Ergebnisse.

Das nachstehende Bild zeigt ein Beispiel beim Würfeln mit einem idealen Würfel (Laplace-Würfel).

Ein typischer Laplace-Versuch ist auch das Ziehen einer Karte aus einem Spiel mit n Karten oder das Ziehen einer Kugel aus einer Urne mit n Kugeln. Hier hat jedes Elementarereignis die gleiche Wahrscheinlichkeit.

Bedingte Wahrscheinlichkeit

Unter einer bedingten Wahrscheinlichkeit versteht man die Wahrscheinlichkeit für das Eintreten eines Ereignisses A unter der Voraussetzung, dass das Eintreten eines anderen Ereignisses B bereits bekannt ist (B darf nicht das unmögliche Ereignis sein). Man schreibt P(A|B) für ?Wahrscheinlichkeit von A unter der Voraussetzung B?, kurz ?P von A, vorausgesetzt B?.

Beispiel: Die Wahrscheinlichkeit, aus einem Kartenspiel mit 32 Karten (Skatblatt) eine Herz-Karte zu ziehen (Ereignis A), beträgt 1/4, denn es gibt 32 Karten und darunter 8 Herz-Karten. Dann ist P(?Herz?) = 8/32 = 1/4.

Wenn nun aber bereits das Ereignis B ?Die Karte ist rot? eingetreten ist, man also nur noch die Auswahl unter den 16 roten Karten hat, dann ist P(A|B) = 8/16 = 1/2.

Diese Überlegung galt für einen Laplaceversuch. Für den allgemeinen Fall definiert man die bedingte Wahrscheinlichkeit von ?A, vorausgesetzt B? als

P(A vert B) = { {P(A cap B)} over {P(B)}}

Dass diese Definition sinnvoll ist, zeigt sich daran, dass die so definierte Wahrscheinlichkeit den Axiomen vom Kolmogorow genügt, wenn man sich auf B als neue Ergebnismenge beschränkt; d. h. dass gilt:

(1a): 0 le P(A vert B) le 1

(2a): P(B vert B)=1

(3a): Wenn A_1 bis A_k paarweise disjunkt sind, so ist P(A_1 cup ... cup A_k vert B) = P(A_1 vert B) + ... + P(A_k vert B)

Beweis: Zu (1a). P(A vert B) ist Quotient zweier Wahrscheinlichkeiten, für welche nach Axiom (1) gilt P(A cap B) ge 0 und P(B) ge 0. Da B nicht das unmögliche Ereignis sein soll, ist sogar P(B) > 0. Also gilt auch für den Quotienten P(A vert B) ge 0. Ferner sind B und BA disjunkt, und ihre Vereinigung ist B. Also ist nach Axiom (3): P(A cap B) = P(B) - P(A setminus B). Da P(A setminus B) ge 0 ist, folgt P(A cap B) le P(B) und daher P(A vert B) le 1.

Zu (2a): Es ist P(B vert B) = {{P(B cap B)} over {P(B)}} = {P(B)over P(B)} = 1.

Zu (3a): Es ist P(A_1 cup ... cup A_k vert B) = {{P((A_1 cup ... cup A_k) cap B)} over {P(B)}}

= {{P((A_1 cap B) cup ... cup (A_k cap B))} over {P(B)}} = {{P(A_1 cap B) + ... + P(A_k cap B)} over {P(B)}}

= {{P(A_1 cap B)} over {P(B)}} + ... + {{P(A_k cap B)} over {P(B)}} = P(A_1 vert B) + ... + P(A_k vert B).

Dies war zu zeigen.

Beispiel: Es sei wie oben A das Ereignis ?Ziehen einer Karo-Karte? und B das Ereignis ?Es ist eine rote Karte?. Dann ist P(A cap B) = {8 over 32} = {1 over 4} und P(B)= {16 over 32} = {1 over 2}. Folglich P(A vert B) = {{P(A cap B)} over {P(B)}} = {{1 over 4} over {1 over 2}} = {1 over 2}.

Aus der Definition der bedingten Wahrscheinlichkeit ergeben sich folgende Konsequenzen:

Verbundwahrscheinlichkeit (Schnittmengen von Ereignissen)

Das gleichzeitige Eintreten zweier Ereignisse A und B entspricht mengentheoretisch dem Eintreten des Verbund-Ereignisses A cap B. Die Wahrscheinlichkeit hiervon berechnet sich zu

P(A cap B) = P(A) cdot P(B vert A) = P(B) cdot P(A vert B)

Beweis: Nach Definition der bedingten Wahrscheinlichkeit ist einerseits P(A vert B) = { {P(A cap B)} over {P(B)}} und andererseits auch P(B vert A) = { {P(A cap B)} over {P(A)}}. Umstellen nach P(A cap B) liefert dann sofort die Behauptung.

Beispiel: Es wird eine Karte aus 32 Karten gezogen. A sei das Ereignis: ?Es ist ein König?. B sei das Ereignis: ?Es ist eine Herz-Karte?. Dann ist A cap B das gleichzeitige Eintreten von A und B, also das Ereignis: ?Die gezogene Karte ist Herz-König?. Offenbar ist P(A) = 4/32 = 1/8. Ferner ist P(B|A) = 1/4, denn es gibt nur eine Herz-Karte unter den vier Königen. Und in der Tat ist dann P(A cap B) = P(A) cdot P(B vert A) = {1 over 8} cdot {1 over 4} = {1 over 32} die Wahrscheinlichkeit für den Herz-König.

Bayes-Theorem

Die bedingte Wahrscheinlichkeit von A, vorausgesetzt B, lässt sich durch die bedingte Wahrscheinlichkeit von B, vorausgesetzt A, wie folgt ausdrücken, wenn man die totalen Wahrscheinlichkeiten P(B) und P(A) hat:

P(A vert B) = frac {P(B vert A) cdot P(A)} {P(B)}

Beweis: Aus der obigen Formel für die Verbundwahrscheinlichkeit erhält man P(A) cdot P(B vert A) = P(B) cdot P(A vert B). Umstellen nach P(A vert B) liefert dann die Behauptung.

Beispiel: Es sind zwei Urnen ?A? und ?B? gegeben, in denen sich rote und weiße Kugeln befinden. In ?A? sind sieben rote und drei weiße Kugeln, in ?B? eine rote und neun weiße. Es wird nun eine beliebige Kugel aus einer beliebigen Urne gezogen. Die Kugel ist rot. Gesucht ist die Wahrscheinlichkeit dafür, dass diese Kugel aus Urne ?A? stammt.

Es sei A das Ereignis: Die Kugel stammt aus Urne ?A?. Es sei R das Ereignis ?Die Kugel ist rot?. Dann lässt sich unmittelbar berechnen: P(R) = 8/20 = 2/5, denn es sind insgesamt 20 Kugeln im Spiel, davon 8 rote. Ebenso folgt leicht P(R|A) = 7/10, denn in Urne A sind 10 Kugeln, davon 7 rote. Schließlich ist P(A) = 1/2, denn es wird eine von 2 Urnen willkürlich ausgewählt. Nun folgt P(A vert R) = frac {P(R vert A) cdot P(A)} {P(R)} = {{{7 over 10} cdot {1 over 2}} over {2 over 5}} = { 7 over 8 }. Die Wahrscheinlichkeit, dass eine gezogene rote Kugel aus Urne ?A? stammt (A vorausgesetzt R), beträgt 7/8.

Abhängigkeit und Unabhängigkeit von Ereignissen

Ereignisse nennt man unabhängig voneinander, wenn das Eintreten des einen die Wahrscheinlichkeit des anderen nicht beeinflusst. Im umgekehrten Fall nennt man sie abhängig. Man definiert:

Zwei Ereignisse A und B sind unabhängig, wenn gilt P(A cap B) = P(A) cdot P(B).

Ungenau, aber einprägsam formuliert: Bei unabhängigen Ereignissen kann man die Wahrscheinlichkeiten multiplizieren.

Dass dies dem Begriff ?Unabhängigkeit? gerecht wird, erkennt man durch Umstellen nach P(A): P(A) = {{P(A cap B)} over {P(B)}} = P(A vert B). Das bedeutet: Die totale Wahrscheinlichkeit für A ist ebenso groß wie die Wahrscheinlichkeit für A, vorausgesetzt B; das Eintreten von B beeinflusst also die Wahrscheinlichkeit von A nicht.

Beispiel: Es wird eine aus 32 Karten gezogen. A sei das Ereignis ?Es ist eine Herz-Karte?. B sei das Ereignis ?Es ist eine Bild-Karte?. Diese Ereignisse sind unabhängig, denn das Wissen, dass man eine Herz-Karte zieht, beeinflusst nicht die Wahrscheinlichkeit, dass es eine Bild-Karte ist (Der Anteil der Bilder unter den Herz-Karten ist ebenso groß wie der Anteil der Bilder an allen Karten). Offenbar ist P(A) = 8/32 = 1/4 und P(B) = 12/32 = 3/8. A cap B ist das Ereignis ?Es ist eine Herz-Bildkarte?. Da es davon drei gibt, ist P(A cap B) = {3 over 32}. Und in der Tat stellt man fest, dass {1 over 4} cdot {3 over 8} = {3 over 32} ist.

Ein weiteres lesenswertes Beispiel für sehr kleine und sehr große Wahrscheinlichkeiten findet sich hier: Unendlich-viele-Affen-Theorem

Wahrscheinlichkeitstheorie und Statistik

Wahrscheinlichkeitstheorie und Induktive Statistik werden zusammenfassend auch als Stochastik bezeichnet. Beide Gebiete stehen in enger wechselseitiger Beziehung:

• Statistische Verteilungen werden regelmäßig unter der Annahme modelliert, dass sie das Resultat zufälliger Prozesse sind.
• Umgekehrt liefern statistische Daten über eingetretene Ereignisse Anhaltspunkte (in frequentistischer Interpretation sogar die einzigen akzeptablen Anhaltspunkte) für die Wahrscheinlichkeit künftiger Ereignisse.

Anwendungsgebiete

Die Wahrscheinlichkeitstheorie entstand aus dem Problem der gerechten Verteilung des Einsatzes bei abgebrochenen Glücksspielen. Auch andere frühe Anwendungen stammen aus dem Bereich des Glücksspiels.

Heute ist die Wahrscheinlichkeitstheorie eine Grundlage der schließenden Statistik. Die angewandte Statistik nutzt Ergebnisse der Wahrscheinlichkeitstheorie, etwa um Umfrageergebnisse zu interpretieren oder Wirtschaftsprognosen zu erstellen.

Daneben kommt sie außer in der Physik unter anderem auch in der Zuverlässigkeitstheorie zum Einsatz.