文档
数学
概率论
参数估计

参数估计

  • 点估计
    • 矩估计
      • 设总体 XX，f(x;θ1,…,θn)f(x;\theta_1,\dots,\theta_n) 为其概率密度函数或分布列。θ1,…,θn\theta_1,\dots,\theta_n 未知。
      • 总体的各阶矩 μk=E(Xk)=μk(θ1,…,θn)\mu_k = E(X^k) = \mu_k(\theta_1,\dots,\theta_n)。可以通过 μ1,…,μn\mu_1,\dots,\mu_n 关于 θ1,…,θn\theta_1,\dots,\theta_n 的方程解出 θ1,…,θn\theta_1,\dots,\theta_n。
      • 用样本矩 AkA_k 估计 μk\mu_k，则 θ^k=θ^k(A1,…,An)\hat \theta_k = \hat \theta_k(A_1,\dots,A_n)，称为矩估计量。观测某个样本得到的 θ^k\hat \theta^k 称矩估计值。
    • 最大似然估计
      • 已知样本 X1,…,XmX_1,\dots,X_m 和其观测值 x1,…,xmx_1,\dots,x_m。
      • 定义似然函数 L(θ)=∏i=1mf(xi;θ)L(\boldsymbol \theta)=\displaystyle\prod_{i=1}^m f(x_i;\boldsymbol \theta)。
      • 求出满足 L(θ)L(\boldsymbol \theta) 取得最大值的 θ^\hat{\boldsymbol \theta}，θ^(x1,…,xm)\hat{\boldsymbol \theta}(x_1,\dots,x_m) 为最大似然估计值，θ^(X1,…,Xm)\hat{\boldsymbol \theta}(X_1,\dots,X_m) 为最大似然估计量。
    • 估计量的评价
      • 无偏性
        • 若对任意 θ∈Θ\theta\in \Theta，X1,…,XnX_1,\dots,X_n 来自 θ\theta 为参数的分布，有 E(θ^(X1,…,Xn))=θE(\hat \theta(X_1,\dots,X_n)) = \theta，则 θ^\hat \theta 是 θ\theta 的无偏估计。
        • 否则 E(θ^(X1,…,Xn))−θ=bn≠0E(\hat \theta(X_1,\dots,X_n)) - \theta = b_n \ne 0，则 θ^\hat \theta 是有偏估计，bnb_n 为偏差。
        • 若 lim⁡n→+∞bn=0\displaystyle\lim_{n\to +\infty} b_n = 0，则 θ^\hat \theta 是渐进无偏估计。
        • X‾\overline X 是 μ=E(X)\mu=E(X) 的无偏估计，S2S^2 是 σ2=D(X)\sigma^2=D(X) 的无偏估计。
        • 各阶样本矩 AkA_k 是对应总体矩 μk\mu_k 的无偏估计。
      • 有效性
        • θ^1,θ^2\hat \theta_1,\hat\theta_2 是 θ∈Θ\theta\in \Theta 的无偏估计，若对任意 θ∈Θ\theta\in\Theta，都有 D(θ^1)≤D(θ^2)D(\hat\theta_1) \le D(\hat\theta_2) 且存在不等号成立，则 θ^1\hat \theta_1 比 θ^2\hat\theta_2 有效。
      • 相合性
        • θ^\hat\theta 是 θ∈Θ\theta\in\Theta 的估计，若对任意 θ∈Θ\theta\in\Theta，都有 θ^n→Pθ\hat\theta_n \xrightarrow{P} \theta，则 θ^\hat\theta 是 θ\theta 的相合估计。
        • X‾\overline X 是 μ=E(X)\mu=E(X) 的相合估计，S2,Sn2S^2,S_n^2 都是是 σ2=D(X)\sigma^2=D(X) 的相合估计。
        • 各阶样本矩 AkA_k 是对应总体矩 μk\mu_k 的相合估计。
  • 区间估计
    • 枢轴量法
      • 对于 θ\theta 的点估计 θ^\hat\theta，若 P(a≤θ≤b)≥1−αP(a\le \theta\le b) \ge 1-\alpha，则 [a,b][a,b] 为 θ\theta 的置信水平为 1−α1-\alpha 的置信区间。
      • 枢轴量法用于解决区间估计：
        • 定义随机变量函数 G(T,θ)G(T,\theta) 为枢轴量，其中 TT 为与 θ\theta 有关的点估计。对于特定样本可以求出 TT。
        • G(T,θ)G(T,\theta) 一般服从一些易于求解分位数的分布，根据置信水平 1−α1-\alpha 确定 GG 的置信区间。
        • TT 已知情况下，解出 GG 置信区间端点对应的 θ\theta，得到 θ\theta 的置信区间。
    • 正态分布参数
      • 求 μ\mu 置信区间，σ2\sigma^2 已知
        • 已知 X1,X2,…,Xn∼N(μ,σ2)X_1,X_2,\dots,X_n \sim N(\mu, \sigma^2)。
        • 枢轴量 Z=X‾−μσ/n∼N(0,1)Z = \dfrac{\overline X - \mu}{\sigma/\sqrt{n}} \sim N(0, 1)。
        • 置信区间 [X‾−σnzα/2,X‾+σnzα/2]\left[\overline X - \dfrac{\sigma}{\sqrt{n}} z_{\alpha/2}, \overline X + \dfrac{\sigma}{\sqrt{n}} z_{\alpha/2} \right]。
      • 求 μ\mu 置信区间，σ2\sigma^2 未知
        • 枢轴量 T=X‾−μS/n∼t(n−1)T = \dfrac{\overline X - \mu}{S/\sqrt{n}} \sim t(n - 1)。
        • 置信区间 [X‾−Sntα/2(n−1),X‾+Sntα/2(n−1)]\left[\overline X - \dfrac{S}{\sqrt{n}} t_{\alpha/2}(n - 1), \overline X + \dfrac{S}{\sqrt{n}} t_{\alpha/2}(n - 1) \right]。
      • 求 σ2\sigma^2 置信区间，μ\mu 已知
        • 枢轴量 G=nσ^2σ2=∑i=1n(Xi−μσ)2∼χ2(n)G = \dfrac{n\hat{\sigma}^2}{\sigma^2} = \displaystyle\sum_{i=1}^n \left(\dfrac{X_i - \mu}{\sigma}\right)^2 \sim \chi^2(n)。
        • 置信区间 [∑i=1n(Xi−μ)2χα/22(n),∑i=1n(Xi−μ)2χ1−α/22(n)]\left[\dfrac{\sum_{i=1}^n (X_i - \mu)^2}{\chi_{\alpha/2}^2(n)}, \dfrac{\sum_{i=1}^n (X_i - \mu)^2}{\chi_{1 - \alpha/2}^2(n)}\right]。
      • 求 σ2\sigma^2 置信区间，μ\mu 未知
        • 枢轴量 χ2=(n−1)S2σ2\chi^2 = \dfrac{(n - 1)S^2}{\sigma^2}。
        • 置信区间 [∑i=1n(Xi−X‾)2χα/22(n−1),∑i=1n(Xi−X‾)2χ1−α/22(n−1)]\left[\dfrac{\sum_{i=1}^n (X_i - \overline X)^2}{\chi_{\alpha/2}^2(n-1)}, \dfrac{\sum_{i=1}^n (X_i - \overline X)^2}{\chi_{1 - \alpha/2}^2(n-1)}\right]。
    • 双正态分布组合
      • 求 μ1−μ2\mu_1-\mu_2 置信区间，σ12,σ22\sigma_1^2,\sigma_2^2 已知
        • 已知 X1,X2,…,Xm∼N(μ1,σ12)X_1,X_2,\dots,X_m \sim N(\mu_1, \sigma_1^2)，Y1,Y2,…,Yn∼N(μ2,σ22)Y_1,Y_2,\dots,Y_n \sim N(\mu_2, \sigma_2^2)。
        • 枢轴量 Z=(X‾−Y‾)−(μ1−μ2)σ12m+σ22n∼N(0,1)Z = \dfrac{(\overline X - \overline Y) - (\mu_1 - \mu_2)}{\sqrt{\dfrac{\sigma_1^2}{m} + \dfrac{\sigma_2^2}{n}}} \sim N(0, 1)。
        • 置信区间 [X‾−Y‾±zα/2σ12m+σ22n]\left[\overline X - \overline Y \pm z_{\alpha/2}\sqrt{\dfrac{\sigma_1^2}{m} + \dfrac{\sigma_2^2}{n}}\right]。
      • **求 μ1−μ2\mu_1-\mu_2 置信区间，σ12=σ22=σ2\sigma_1^2=\sigma_2^2=\sigma^2 未知
        • 已知 X1,X2,…,Xm∼N(μ1,σ2)X_1,X_2,\dots,X_m \sim N(\mu_1, \sigma^2)，Y1,Y2,…,Yn∼N(μ2,σ2)Y_1,Y_2,\dots,Y_n \sim N(\mu_2, \sigma^2)。
        • 枢轴量 T=(X‾−Y‾)−(μ1−μ2)Sω1m+1n∼t(m+n−2)T = \dfrac{(\overline X - \overline Y) - (\mu_1 - \mu_2)}{S_\omega\sqrt{\dfrac{1}{m} + \dfrac{1}{n}}} \sim t(m+n-2)。
        • 置信区间 [X‾−Y‾±tα/2(m+n−2)Sω1m+1n]\left[\overline X - \overline Y \pm t_{\alpha/2}(m+n-2)S_\omega\sqrt{\dfrac{1}{m} + \dfrac{1}{n}}\right]。
      • **求 μ1−μ2\mu_1-\mu_2 置信区间，σ12,σ22\sigma_1^2,\sigma_2^2 未知，m=nm=n
        • 已知 X1,X2,…,Xn∼N(μ1,σ12)X_1,X_2,\dots,X_n \sim N(\mu_1, \sigma_1^2)，Y1,Y2,…,Yn∼N(μ2,σ22)Y_1,Y_2,\dots,Y_n \sim N(\mu_2, \sigma_2^2)。
        • 令 Zi=Xi−Yi∼N(μ1−μ2,σ12+σ22)Z_i = X_i - Y_i \sim N(\mu_1 - \mu_2, \sigma_1^2 + \sigma_2^2)。
        • 枢轴量 T=Z‾−(μ1−μ2)S3/n∼t(n−1)T = \dfrac{\overline Z - (\mu_1 - \mu_2)}{S_3/\sqrt{n}} \sim t(n-1)。
        • 置信区间 [X‾−Y‾±S3ntα/2(n−1)]\left[\overline X - \overline Y \pm \dfrac{S_3}{\sqrt{n}} t_{\alpha/2}(n - 1)\right]。
      • 求 σ12/σ22\sigma_1^2/\sigma_2^2 置信区间，μ1,μ2\mu_1,\mu_2 已知
        • 已知 X1,X2,…,Xm∼N(μ1,σ12)X_1,X_2,\dots,X_m \sim N(\mu_1, \sigma_1^2)，Y1,Y2,…,Yn∼N(μ2,σ22)Y_1,Y_2,\dots,Y_n \sim N(\mu_2, \sigma_2^2)。
        • 枢轴量 F=(mσ^12/σ12)/m(nσ^22/σ22)/n=σ^12/σ^22σ12/σ22∼F(m,n)F = \dfrac{(m\hat{\sigma}_1^2/\sigma_1^2) / m}{(n\hat{\sigma}_2^2/\sigma_2^2) / n} = \dfrac{\hat{\sigma}_1^2 / \hat{\sigma}_2^2}{\sigma_1^2 / \sigma_2^2} \sim F(m,n)。
        • 置信区间 [σ^12/σ^22Fα/2(m,n),σ^12/σ^22F1−α/2(m,n)]\left[ \dfrac{\hat{\sigma}_1^2 / \hat{\sigma}_2^2}{F_{\alpha/2}(m,n)} , \dfrac{\hat{\sigma}_1^2 / \hat{\sigma}_2^2}{F_{1 - \alpha/2}(m,n)} \right]。
      • 求 σ12/σ22\sigma_1^2/\sigma_2^2 置信区间，μ1,μ2\mu_1,\mu_2 未知
        • 已知 X1,X2,…,Xm∼N(μ1,σ12)X_1,X_2,\dots,X_m \sim N(\mu_1, \sigma_1^2)，Y1,Y2,…,Yn∼N(μ2,σ22)Y_1,Y_2,\dots,Y_n \sim N(\mu_2, \sigma_2^2)。
        • 枢轴量 F=[(m−1)S12/σ12]/(m−1)[(n−1)S22/σ22]/(n−1)=S12/S22σ12/σ22∼F(m−1,n−1)F = \dfrac{[(m-1)S_1^2/\sigma_1^2] / (m-1)}{[(n-1)S_2^2/\sigma_2^2] / (n-1)} = \dfrac{S_1^2 / S_2^2}{\sigma_1^2 / \sigma_2^2} \sim F(m-1,n-1)。
        • 置信区间 [S12/S22Fα/2(m−1,n−1),S12/S22F1−α/2(m−1,n−1)]\left[ \dfrac{S_1^2 / S_2^2}{F_{\alpha/2}(m-1,n-1)} , \dfrac{S_1^2 / S_2^2}{F_{1 - \alpha/2}(m-1,n-1)} \right]。
    • 非正态分布参数
      • 均匀分布 U(0,θ)U(0,\theta)
        • 枢轴量 G=X(n)θG = \dfrac{X_{(n)}}{\theta}。
        • 置信区间 [X(n),X(n)αn]\left[ X_{(n)},\dfrac{X_{(n)}}{\sqrt[n]{\alpha}} \right]。
      • 指数分布 E(λ)E(\lambda)
        • 枢轴量 G=2nλX‾∼χ2(2n)G = 2n\lambda \overline X \sim \chi^2(2n)。
        • 置信区间 [2nX‾χα/22(2n),2nX‾χ1−α/22(2n)]\left[ \dfrac{2n\overline X}{\chi_{\alpha/2}^2(2n)}, \dfrac{2n\overline X}{\chi_{1-\alpha/2}^2(2n)} \right]。
数理统计基础假设检验