Probability and Mathematical Statistics
概率论与数理统计。我看的网课是孔祥仁 的。概率论东西真不多，多刷题就完了，题型比较死。
(...) 表示此处表述不够严谨，若想完全掌握请自行学习。
工具
分布计算器 ：计算标准正态分布
概率论基础
独立性：若 A,B 相互独立，则 {A,~A} 和 {B,~B} 相互独立。
分布
求概率分布 ，就是求：分布函数 + 分布律（离散）/概率密度（连续）
分布函数：F ( x ) = P { ξ ≤ x } \displaystyle F(x)=P\{\xi\leq x\} F ( x ) = P { ξ ≤ x }
离散
二项分布，X ~ B(n,p)，期望：np，方差：np(1-p)
泊松分布：X ∼ π ( λ ) , P { x = k } = λ k k ! ⋅ e − λ \displaystyle X\sim\pi(\lambda), P\{x=k\}=\frac{\lambda^k}{k!}\cdot e^{-\lambda} X ∼ π ( λ ) , P { x = k } = k ! λ k ⋅ e − λ
泊松定理：(...) 若 n * p = λ，则（对任意 k） l i m n → + ∞ X ∼ b ( n , p ) = X ∼ π ( λ ) \displaystyle lim_{n\to+\infty}X\sim b(n,p)=X\sim\pi(\lambda) l i m n → + ∞ X ∼ b ( n , p ) = X ∼ π ( λ )
泊松分布可加性：X,Y 独立，各自服从 π(λ1),π(λ2)，则 Z=X+Y 服从 π(λ1 + λ2)
几何分布：X ∼ G ( p ) , P { x = k } = ( 1 − p ) k − 1 p \displaystyle X\sim G(p), P\{x=k\}=(1-p)^{k-1}p X ∼ G ( p ) , P { x = k } = ( 1 − p ) k − 1 p
超几何分布：X ∼ H ( n , D , N ) , P { x = k } = C D k C N − D n − k C N n \displaystyle X\sim H(n,D,N), P\{x=k\}=\frac{C_D^kC_{N-D}^{n-k}}{C_N^n} X ∼ H ( n , D , N ) , P { x = k } = C N n C D k C N − D n − k
连续
概率密度：若连续型随机变量 X 有分布函数F ( x ) = ∫ − ∞ x f ( t ) d t \displaystyle F(x)=\int_{-\infty}^xf(t)dt F ( x ) = ∫ − ∞ x f ( t ) d t
对于连续型随机变量，其概率在某点的取值为 0.
均匀分布：X ~ U(a,b)，期望：(a+b)/2，方差：( b − a ) 2 12 \displaystyle \frac{(b-a)^2}{12} 12 ( b − a ) 2
指数分布：X ~ E(λ)，f ( x ) = λ e − λ x , x > 0 \displaystyle f(x)=\lambda e^{-\lambda x}, x>0 f ( x ) = λ e − λ x , x > 0 F ( x ) = 1 − e − λ x \displaystyle F(x)=1-e^{-\lambda x} F ( x ) = 1 − e − λ x
无记忆性质：P{X>t} = P{X>s+t|X>s}
正态分布：X ∼ N ( μ , σ 2 ) : f ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 \displaystyle X\sim N(\mu,\sigma^2): f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} X ∼ N ( μ , σ 2 ) : f ( x ) = 2 π σ 1 e − 2 σ 2 ( x − μ ) 2 σ 2 \displaystyle \sigma^2 σ 2
正态标准化：若 X ∼ N ( μ , σ 2 ) , 则 Z = x − μ σ ∼ N ( 0 , 1 ) \displaystyle X\sim N(\mu,\sigma^2), \text{则}Z=\frac{x-\mu}\sigma\sim N(0,1) X ∼ N ( μ , σ 2 ) , 则 Z = σ x − μ ∼ N ( 0 , 1 )
2Φ(1)-1
2Φ(2)-1
2Φ(3)-1
0.6826
0.9544
0.9974
函数
求函数的概率密度
需要转化为分布函数再求解。
设 X 有概率密度f X ( x ) , a < x < b \displaystyle f_X(x), a<x<b f X ( x ) , a < x < b f Y ( y ) = f X ( g − 1 ( y ) ) ∣ g − 1 ( y ) d y ∣ g ( a ) < y < g ( b ) \displaystyle f_Y(y)=f_X(g^{-1}(y))|\frac{g^{-1} (y)}{dy}|\ \ \ \ \ \ g(a)<y<g(b) f Y ( y ) = f X ( g − 1 ( y )) ∣ d y g − 1 ( y ) ∣ g ( a ) < y < g ( b )
数字特征
期望
独立变量 的积的期望 = 期望的积
函数的期望是函数与 分布律/概率密度 相乘再 求和/积分
方差
本质上是函数的期望。函数为 (X-EX)^2
计算公式 2：D ( X ) = E ( X 2 ) − E 2 ( X ) \displaystyle D(X)=E(X^2)-E^2(X) D ( X ) = E ( X 2 ) − E 2 ( X )
D ( C X ) = C 2 D ( X ) \displaystyle D(CX)=C^2D(X) D ( C X ) = C 2 D ( X ) D(X+Y)=D(X)+D(Y)+2cov(X,Y) ，（若 X,Y 独立，则 cov(X,Y) 为 0）
协方差
cov(X,Y) = E((X-EX)(Y-EY)) = E(XY) - EXEY
cov(X,X) = DX
cov(CX,Y) = Ccov(X,Y)
cov(X+Y,Z) = cov(X,Z) + cov(Y,Z)
相关系数
ρ X Y = c o v ( X , Y ) D X D Y , ∣ ρ ∣ ≤ 1 , ρ \displaystyle \rho_{XY} = \frac{cov(X,Y)}{\sqrt{DX} \sqrt{DY}},|\rho|\leq 1,\rho ρ X Y = D X D Y co v ( X , Y ) , ∣ ρ ∣ ≤ 1 , ρ
独立 => 不相关，不相关 !=> 独立。特例：当 X,Y ~ N(μ1,μ2,...) 时可互推。
二维
边缘概率密度 = 联合概率密度在 R 上对另一自变量积分。
联合能求边缘，边缘不能求联合
条件概率密度：f X ∣ Y ( x ∣ y ) = f ( x , y ) / f Y ( y ) \displaystyle f_{X|Y}(x|y)=f(x,y)/f_Y(y) f X ∣ Y ( x ∣ y ) = f ( x , y ) / f Y ( y )
独立性判断：
离散：P i j = Σ P i ⋅ Σ P j \displaystyle P_{ij}=\Sigma P_i\cdot\Sigma P_j P ij = Σ P i ⋅ Σ P j
连续：f ( x , y ) = f X ( x ) ⋅ f Y ( y ) \displaystyle f(x,y)=f_X(x)\cdot f_Y(y) f ( x , y ) = f X ( x ) ⋅ f Y ( y )
函数
Z=X+Y，则f Z ( z ) = ∫ − ∞ + ∞ f ( z − y , y ) d y \displaystyle f_Z(z)=\int_{-\infty}^{+\infty}f(z-y,y)dy f Z ( z ) = ∫ − ∞ + ∞ f ( z − y , y ) d y f Z ( z ) = ∫ − ∞ + ∞ f X ( z − y ) f Y ( y ) d y \displaystyle f_Z(z)=\int_{-\infty}^{+\infty}f_X(z-y)f_Y(y)dy f Z ( z ) = ∫ − ∞ + ∞ f X ( z − y ) f Y ( y ) d y
Z=aX+bY，则f Z ( z ) = ∫ − ∞ + ∞ 1 ∣ b ∣ f ( x , z − a x b ) d x = ∫ − ∞ + ∞ 1 ∣ a ∣ f ( z − b y a , y ) d y \displaystyle f_Z(z)=\int_{-\infty}^{+\infty}\frac1{|b|}f(x,\frac{z-ax}{b})dx = \int_{-\infty}^{+\infty}\frac1{|a|}f(\frac{z-by}{a},y)dy f Z ( z ) = ∫ − ∞ + ∞ ∣ b ∣ 1 f ( x , b z − a x ) d x = ∫ − ∞ + ∞ ∣ a ∣ 1 f ( a z − b y , y ) d y
Z=XY，则f Z ( z ) = ∫ − ∞ + ∞ 1 ∣ x ∣ f ( x , z x ) d x = \displaystyle f_Z(z)=\int_{-\infty}^{+\infty}\frac1{|x|}f(x,\frac{z}{x})dx = f Z ( z ) = ∫ − ∞ + ∞ ∣ x ∣ 1 f ( x , x z ) d x =
Z=X/Y，类比
Z=max{X,Y...} 且 XY... 独立，则 F Z ( z ) = ∏ F . . . ( z ) \displaystyle F_Z(z)=\prod F_{...}(z) F Z ( z ) = ∏ F ... ( z )
Z=min{X,Y...} 且 XY... 独立，则 F Z ( z ) = 1 − ∏ ( 1 − F . . . ( z ) ) \displaystyle F_Z(z)=1-\prod (1-F_{...}(z)) F Z ( z ) = 1 − ∏ ( 1 − F ... ( z ))
多维正态
i f X 1 ∼ N ( μ 1 , σ 1 2 ) a n d X 2 ∼ N ( μ 2 , σ 2 2 ) 独立 , 则 ∑ X ∼ N ( ∑ μ , ∑ ( σ 2 ) ) \displaystyle if X_1\sim N(\mu_1,\sigma_1^2) and X_2\sim N(\mu_2,\sigma_2^2)\text{独立}, \text{则}\sum X\sim N(\sum\mu,\sum(\sigma^2)) i f X 1 ∼ N ( μ 1 , σ 1 2 ) an d X 2 ∼ N ( μ 2 , σ 2 2 ) 独立 , 则 ∑ X ∼ N ( ∑ μ , ∑ ( σ 2 ))
正态变量具有线性变换不变性，即多维正态变量的线性组合也服从正态分布；多维正态变量的线性函数也服从正态分布
多个多维正态变量若相互独立，则各变量之间不相关
矩
k 阶原点矩：E x k = E ( x − 0 ) k \displaystyle Ex^k=E(x-0)^k E x k = E ( x − 0 ) k
k 阶中心矩：E ( x − E x ) k \displaystyle E(x-Ex)^k E ( x − E x ) k
inequalities
Markov's inequality：P ( X ≥ a ) ≤ E ( X ) a \displaystyle \mathrm {P} (X\geq a)\leq {\frac {\mathrm {E} (X)}{a}} P ( X ≥ a ) ≤ a E ( X )
Chebyshev's Inequality：P { ∣ X − E X ∣ ≥ ε } ≤ D X ε 2 , ε ≥ 0 \displaystyle P\{|X-EX|\geq\varepsilon\}\leq\frac{DX}{\varepsilon^2}, \varepsilon\geq0 P { ∣ X − E X ∣ ≥ ε } ≤ ε 2 D X , ε ≥ 0
Bernoulli's theorem (LLN)：频率 概率收敛于 概率
Today, Bernoulli’s law of large numbers is also known as the weak law of large numbers. —— Bernoulli’s Law of Large Numbers, Erwin Bolthausen∗ and Mario V. W¨uthrich†
Weak Law (also Khinchin's law)：均值 概率收敛于 期望值 （独立同分布）
Central limit theorem
De Moivre–Laplace theorem ：( X − n p ) / n p ( 1 − p ) → d N ( 0 , 1 ) \displaystyle {\displaystyle \left(X\!\,-\!\,np\right)\!/\!{\sqrt {np(1-p)}}} \xrightarrow {d} \ {\mathcal {N}}(0,1) ( X − n p ) / n p ( 1 − p ) d N ( 0 , 1 ) Lindeberg CLT ：（独立同分布）X ˉ − E X σ / n → d N ( 0 , 1 ) . \displaystyle {\frac {{\bar {X}}-EX }{\sigma /{\sqrt {n}}}}\xrightarrow {d} \ {\mathcal {N}}(0,1). σ / n X ˉ − E X d N ( 0 , 1 ) . Lyapunov CLT ：（独立，满足...条件）s n 2 = ∑ i = 1 n σ i 2 , 1 s n ∑ i = 1 n ( X i − E X i ) → d N ( 0 , 1 ) . \displaystyle s_{n}^{2}=\sum _{i=1}^{n}\sigma _{i}^{2},\displaystyle {\frac {1}{s_{n}}}\,\sum _{i=1}^{n}\left(X_{i}-EX_{i}\right) \ \xrightarrow {d} \ {\mathcal {N}}(0,1). s n 2 = i = 1 ∑ n σ i 2 , s n 1 i = 1 ∑ n ( X i − E X i ) d N ( 0 , 1 ) .
抽样
样本方差是除以 n-1 的
经验分布函数 Glivenko–Cantelli Theorem: n → ∞，经验分布函数趋于分布函数
不是重点；需要掌握分位数的求法。
distribution
χ²-distribution：χ²(n) 为 n 个（总体为服从标准正态分布的变量的抽样）的平方和，n 称为自由度
期望：n，方差：2n
X,Y ~ χ²(n), χ²(m) 且相互独立，则 X+Y ~ χ²(n+m)
( n − 1 ) S 2 σ 2 = χ 2 ( n − 1 ) \displaystyle \frac{(n-1)S^2}{\sigma^2}=\chi^2(n-1) σ 2 ( n − 1 ) S 2 = χ 2 ( n − 1 )
Student's t-distribution: X~N(0,1), Y~ χ²(n) 且独立，t=X Y / n \displaystyle \frac{X}{\sqrt{Y/n}} Y / n X
E = 0, D = n/(n-2)
n → ∞, t ~ N(0,1)
F-distribution
E = n 2 n 2 − 2 \displaystyle \frac{n_2}{n_2-2} n 2 − 2 n 2
性质
其他性质
总体 X 均值 μ 方差 σ 则E X ˉ = μ , D X ˉ = σ 2 / n , E S n − 1 2 = σ 2 , D S n − 1 2 = 2 σ 4 n − 1 \displaystyle E\bar X=\mu,D\bar X=\sigma^2/n,ES_{n-1}^2=\sigma^2,DS_{n-1}^2=\frac{2\sigma^4}{n-1} E X ˉ = μ , D X ˉ = σ 2 / n , E S n − 1 2 = σ 2 , D S n − 1 2 = n − 1 2 σ 4
四个定理
( n − 1 ) S n − 1 2 σ 2 ∼ χ ( n − 1 ) \displaystyle \frac{(n-1)S_{n-1}^2}{\sigma^2}\sim\chi(n-1) σ 2 ( n − 1 ) S n − 1 2 ∼ χ ( n − 1 )
X ˉ − μ S n − 1 n ∼ t ( n − 1 ) \displaystyle \frac{\bar X-\mu}{S_{n-1}}\sqrt n\sim t(n-1) S n − 1 X ˉ − μ n ∼ t ( n − 1 )
S x 2 / σ 1 2 S y 2 / σ 2 2 ∼ F ( m − 1 , n − 1 ) \displaystyle \frac{S_x^2/\sigma_1^2}{S_y^2/\sigma_2^2}\sim F(m-1,n-1) S y 2 / σ 2 2 S x 2 / σ 1 2 ∼ F ( m − 1 , n − 1 )
参数估计
矩估计
有几个变量就作几阶原点矩
例题：求矩估计量
最大似然估计
已知观测值，估计参数
例题
评选标准
无偏性：E θ ^ = θ , θ ^ 为 θ \displaystyle E\hat\theta=\theta,\hat\theta\text{为}\theta E θ ^ = θ , θ ^ 为 θ
有效性：都是无偏估计，则方差更小的估计更加有效
相合性：当 n → ∞ 时，估计量依概率收敛于某值。
置信区间
例题 | 正态估均值通解 | 下一节为正态估方差通解
参数检验
正态检验
解题步骤：
设 H0, H1 并判断是否进入 H1
判断是否落在拒绝域内。
拒绝域
均值检验：总体方差已知，构造正态检验量X ˉ − μ 0 σ / n \displaystyle \frac{\bar X-\mu_0}{\sigma/\sqrt{n}} σ / n X ˉ − μ 0 X ˉ − μ 0 s / n \displaystyle \frac{\bar X-\mu_0}{s/\sqrt{n}} s / n X ˉ − μ 0
各种拒绝域的判断
之后还有方差检验。