#import "../../utils/core.typ": *

== Случайные величины

#ticket[Случайная величина. Распределение случайной величины.\ Свойства функций распределения. Интегрирование по мере, имеющей плотность.]
#def[
    $(Omega, Ff, P)$ --- вероятностное пространство, $xi: Omega --> RR$ --- _случайная величина_, если $xi$ --- измеримая функция, то есть $ lr(size: #1.5em, {omega: xi(omega) #stack($<=$, $>=$, $<$, $>$) x}) in Ff space forall x in RR. $
]

#def[
    _Распределение случайной величины $xi$_ --- $P_xi$ --- мера на борелевских подмножествах $RR$, определенная как $P_xi (A) := P(xi(omega) in A)$.
]

#def[
    Случайные величины $xi$ и $eta$ _одинаково распределены_, если $P_xi = P_eta$.
]

#def[
    _Функция распределения случайной величины $xi$_: $F_xi (x) := P(xi <= x)$.
]

#props[
    1. $F_xi: RR --> [0, 1]$.
    2. Функция распределения однозначно задает распределение.
    3. $F_xi$ неубывает.
    4. $F_xi$ непрерывна справа, то есть $lim_(y -> x+) F_xi (y) = F_xi (x)$.
    5. $lim_(x -> -oo) F_xi (x) = 0$ и $lim_(x -> oo) F_xi (x) = 1$.
    6. $P (xi < x) = lim_(y -> x-) F_xi (y)$ (и предел сущесвует).
    7. $F_(xi + c) (x) = F_xi (x - c)$.
    8. $F_(c xi) (x) = F_xi (x / c)$ (при c > 0).
]

#proof[
    1. Очевидно.
    2. Надо доказать
        $
            F_xi = F_eta ==>^? P_xi = P_eta
        $
        Посмотрим на $P_xi (a, b]$ --- то есть на функцию на ячейках:
        $
            P_xi (a, b] = F_xi (b) - F_xi (a) = F_eta (b) - F_eta (a) = P_eta (a, b] ==> P_xi = P_eta "совпадают на ячейках" ==> P_xi = P_eta
        $
        по единственности продолжения.
    3. Очевидно.
    4. Проверим по Гейне, пусть $y_n arrow.br x$:
        $
            lim_(n -> oo) F_xi (y_n) = lim_(n -> oo) P_xi (-oo, y_n] =^"непр. сверху" P_xi (-oo, x] = F_xi (x).
        $
    5. Проверим по Гейне второе, пусть $x_n arrow.tr +oo$:
        $
            F_xi (x_n) = P_xi (-oo, x_n] -->_"непр. снизу" P_xi (Union_(n = 1)^oo (-oo, x_n]) = P_xi (-oo, +oo) = 1.
        $
    6. $ F_xi (x_n) = P_xi (-oo, x_n] -->_"непр. снизу" P_xi (Union_(n = 1)^oo (-oo, x_n]) = P_xi (-oo, x) = P(xi < x). $
    7. $ F_(xi + c) (x) = P(xi + c <= x) = P(xi <= x - c) = F_xi (x - c). $
    8. $ F_(c xi) (x) = P(c xi <= x) = P(xi <= x / c) = F_xi (x / c). $
]

#notice[
    Любая функция со свойствами 3, 4 и 5 является функцией распределения случайной величины.
]

#proof[
    $F: RR --> [0, 1]$ --- функция. Рассмотрим $nu (a, b] = F(b) - F(a)$ --- это так называемая _мера Лебега-Стилтьеса_ простроенная на функции $F$, которая как минимум на $Bb$ определится. Положим $Omega = RR$, $Ff = Bb$, $P = nu$. Доказывать, что это мера мы не будем. Аккуратно надо возиться. Помните теорему про что-то вроде "объем и непрерывность сверху это мера"? Вот надо использовать вот эти штуки.
]

#ticket[Дискретное, непрерывное и абсолютно непрерывное распределения.\ Свойства. Примеры вероятностных распределений.]
#def[
    Случайная величина $xi$ _дискретна_, если множество ее значений не более чем счетно: $xi: Omega --> {y_1, y_2, y_3, ...}$
]

#def[
    _Дискретное распределение_ --- распределение дискретной случайной величины, duh.
]

#notice[
    Пусть $xi$ --- дискретная случайная величина.
    1. $P(xi = x) = 0$ если $x != y_j$.
    2. $P(xi in A) = sum_(j : y_j in A) P(xi = y_j)$, то есть дискретное распеделение полностью определяется числами $P(xi = y_j)$.
    3. $F_xi (x) = sum_(j: y_j <= x) P(xi = y_j)$.
]

#def[
    _Случайная величина $xi$ непрерывна_ (или _распределение случайной величины $xi$ непрерывно_), если $P(xi = x) = 0$ для любого $x$.
]

#notice[
    $xi$ --- непрерывная случайная величина тогда и только тогда, когда $F_xi$ непрерывна.
]

#proof[
    - "$==>$": Знаем, что $P (xi < x) = lim_(y -> x-) F_(xi) (y)$.
        $
            F_xi (x) = P(xi <= x) = P(xi < x) = lim_(y -> x-) F_xi (y) ==> F_xi "непрерывная слева". 
        $
    - "$<==$": $F_xi$ непрерывна слева, значит
        $
            P(xi < x) = lim_(y -> x-) F_xi (y) = F_xi (x) = P(xi <= x) ==>
            P(xi = x) = P(xi <= x) - P(xi < x) = 0.
        $
]

#def[
    $xi$ имеет _абсолютно непрерывное распределение_, если у $P_xi$ есть плотность относительно меры Лебега $lambda$, и эта плоность $p_xi$ называется _плотностью распределения_.
]

#remind[
    $mu, nu$ --- меры на одной $sigma$-алгебре $Aa$. Говорят, что $p >= 0$ --- плотность $mu$ относительно $nu$, если $p$ измерима относительно $Aa$ и $mu A = integral_A p dif nu$ для любого $A in Aa$.
]

#props[
    1. $ P_xi (A) = integral_A p_xi (t) dif t "и " F_xi (x) = integral_(-oo)^x p_xi (t) dif t. $
    2. $ integral_RR p_xi (t) dif t = 1. $
    3. $ p_xi (t) = (F_xi (t))' "при почти всех" t. $
]

#proof[
    1. Тривиально.
    2. Очевидно.
    3. Без доказательства. Если функция дифференцируема, то нетрудно, но в общем случае это тяжело.
]

=== Примеры вероятностных распределений

Оказывается, что это настолько важно, что у нас на это будет первый в истории подпараграф.

Для полноты картины, я добавлю сюда свойства, которых к текущему моменту у нас нет (матожидание, характеристическая функция, ...). Все свойства запоминать не надо, в любом случае они выводятся не трудно.

#example(name: "Распределение Бернулли")[
    - Параметризуется $p in [0, 1]$.
    
    - $xi: Omega --> {0, 1}$.
    
    - $ P(xi = 1) = p, space P(xi = 0) = 1 - p. $
    
    - $E xi = p$.
    
    - $D xi = p(1 - p)$.
    
    - $phi_xi (t) = p e^(i t) + 1 - p$.
]

#example(name: "Биномиальное распределение")[
    - Параметризуется $n in NN$ и $p in [0, 1]$.

    - $xi: Omega --> {0, 1, 2, ..., n}$.

    - $ P(xi = k) = C_n^k p^k (1 - p)^(n - k). $

    - Обозначается $xi sim op("Binom")(n, p)$.

    - Является количеством успехов в схеме Бернулли с $n$ испытаниями.

    - $E xi = n p$.

    - $D xi = n p (1 - p)$.

    - $phi_xi (t) = (p e^(i t) + 1 - p)^n$.
]

#example(name: "Дискретное равномерное распределение")[
    - Параметризуется $n in NN$.

    - $xi: Omega --> {1, 2, ..., n}$.

    - $ P(xi = k) = 1 / n. $

    - $E xi = (n + 1)/2$.

    - $D xi = (n^2 - 1)/12$.

    - $phi_xi = (e^(i t) - e^(i (N + 1) t))/(N (1 - e^(i t)))$.
]

#example(name: "Распределение Пуассона")[
    - Параметризуется $lambda > 0$.
    
    - $xi: Omega --> {0, 1, 2, ...}$.

    - $ P(xi = k) = e^(-lambda) lambda^k / k!. $

    - Обозначаются $xi sim op("Pois")(lambda)$, или $xi sim op("Poisson")(lambda)$.

    - $E xi = lambda$.

    - $D xi = lambda$.
    
    - $phi_xi = e^(lambda (e^(i t) - 1))$.
]

#example(name: "Геометрическое распределение")[
    - Параметризуется $p in (0, 1)$.

    - $xi: Omega --> {1, 2, ...}$.

    - $ P(xi = k) = p (1 - p)^(k - 1). $

    - Обозначается $xi sim op("Geom")(p)$.

    - $P(xi = k)$ --- вероятность того, что в схеме Бернулли с вероятностью успеха $p$ первый успех произойдет на $k$-м испытании.

    - $E xi = 1/p$.

    - $D xi = (1 - p)/p^2$.

    - $phi_xi = (p e^(i t))/(1 - (1 - p) e^(i t))$.
]

#example(name: "Непрерывное равномерное распределение")[
    - Параметризуется $a, b in RR$, $b > a$.

    - $xi: Omega --> [a, b]$.

    - $ p_xi (t) = 1/(b - a) bb(1)_[a, b] (t) = cases(1/(b - a) "при" t in [a, b], 0 "иначе"). $

    - Обозначается $xi sim U(a, b)$.

    - $E xi = (a + b)/2$.

    - $D xi = (b - a)^2/12$.

    - $phi_xi = (e^(i t b) - e^(i t a))/(i t (b - a))$.

    #subgraph(label: [$p_xi (t), xi sim U(-1; 1)$], domain: (-2, 2), t => if (t < 1 and t > -1) {1 / 2} else {0})
]

#example(name: "Нормальное распределение")[
    - Параметризуется $a in RR$, $sigma > 0$.

    - $xi: Omega --> RR$.

    - $ p_xi (t) = 1/(sqrt(2pi) sigma) e^(-(t-a)^2 / (2 sigma^2)). $

    - Обозначается $xi sim Nn(a, sigma^2)$.

    - _Стандартное нормальное распределение_: $Nn(0, 1)$.

    - $Phi(x) := 1/sqrt(2 pi) integral_oo^x e^(-t^2/2) dif t$ --- функция распределения для стандартного нормального распределения.

    - $E xi = a$.

    - $D xi = sigma^2$.

    - $phi_xi = e^(i a t - (sigma^2 t^2)/2)$.

    #subgraph(label: [$p_xi (t), xi sim Nn(0, 1)$], domain: (-4, 4), t => 1/(calc.sqrt(2 * calc.pi)) * calc.exp(-t*t / 2))
]

#notice[
    Если $eta sim Nn(0, 1)$, то $sigma nu + a sim Nn(a, sigma^2)$.
]

#proof[
    Знаем
    $ F_eta (x) = 1/sqrt(2pi) integral_(-oo)^x e^(-t^2/2) dif t. $
    Считаем,
    $
        F_(sigma eta + a) (x) =
        P(sigma eta + a <= x) =
        P(eta <= (x - a) / sigma) =
        F_eta ((x - a) / sigma) newline(=)
        1/sqrt(2pi) integral_(-oo)^((x - a)/sigma) e^(-t^2/2) dif t =
        1/sqrt(2pi) integral_(-oo)^x e^(-(s - a)^2 / (2 sigma^2)) (dif s)/sigma =
        F_(Nn(a, sigma^2)) (x).
    $
    Если что, мы подставили $t = (s - a)/sigma$, $dif t = (dif s)/sigma$.
]

#example(name: "Экспоненциальное распределение")[
    - Параметризуется $lambda > 0$.

    - $xi: Omega --> [0, +oo)$.

    - $ p_xi (t) = lambda e^(-lambda t) bb(1)_[0, +oo) (t) = cases(lambda e^(-lambda t) "при" t >= 0, 0 "иначе"). $

    - $F_xi (x) = 1 - e^(-lambda x)$ (при $x > 0$, иначе $0$).

    - Обозначается $xi sim op("Exp")(lambda)$.

    - $E xi = 1/lambda$.

    - $D xi = 1/lambda^2$.

    - $phi_xi = lambda/(lambda - i t)$.

    #subgraph(label: [$p_xi (t), xi sim op("Exp")(1)$], domain: (-1, 7), t => if (t >= 0) { calc.exp(-t) } else { 0 })
]
