在数理统计中不同的求估计量的方式求得的估计量不同。这就要求我们从这些估计量中筛选最恰当的估计量。这就用到下面几种评价估计量优良性的标准。
一致性通常被认为是对估计量的一个最低层次的要求, 一个估计量, 若是做多少次试验或有多少个观测值, 都无法把参数估计到任一指定区间范围内, 那么这个估计是不准确的, 它就不满足一致性, 通常对此我们不予考虑。
设X1, X2, ..., Xn是总体X的一个样本, 它们与X相互独立并且服从同一个分布, θ是包含在总体X的分布中的需要估计的参数, 假设是θ的估计量, 若对∀ε>0, 有
则称为θ的相合估计量。
在一个估计量是相合估计的基础上, 进一步衡量这个估计量在所有估计量中的优良性, 首先由这个估计量所得到的估计值得接近真值, 然而真正得到的估计值会根据样本的不同而不同, 我们就只能反复将这个估计量使用多次, 就“平均”来说其偏差为0即可。这就是我们接下了来要介绍的评价估计量优良性的无偏性标准。
一般情况下, 在样本量确定时, 用点估计值与真实值的距离评价一个点估计的优良, 这个指标就是距离的平方函数。即均方误差
由上式我们看到要想使MSE最小, 须得使得Var和 (Εθ̂-θ) 小, 这就是无偏性的定义。
设是参数θ的估计, 若存在, 且对∀θ∈Θ有, 则称是θ的无偏估计量, 称具有无偏性。
无偏估计存在以下几点问题:
例1.2.2设X服从二项分布B (n, θ) (0≤θ≤1) , 其概率函数为P (X=k) =Cnkθk (1-θ) n-k, k=0, 1, 2, ..., n
则没有无偏估计。
例1.2.3设总体X~U (0, θ) 的均匀分布, θ未知, (X1, X2, ..., Xn) 是总体U (0, θ) 的样本, 则同为θ的无偏估计量。
若是θ的无偏估计, 通常情况下, 如果函数不是θ的线性函数, 那么其不是g (θ) 的无偏估计量。譬如, s2是σ2的无偏估计, 但s不是σ的无偏估计。
例1.2.5设X服从泊松分布, 参数为λ, (x1, x2, ..., xn) 是总体的一个样本, 是e-3λ的一个估计, 因为, 故此估计是无偏的, 然而当x1取奇数时, , 显然用它作e-3λ的估计不合理。
无偏估计不一定优于有偏估计, 因此其并不能作为评价估计量好坏的唯一标准, 下面的例子可以加以证明。
例1.2.6是来自总体的样本, 是θ的无偏估计, 在均方误差意义下优于。
由均方误差我们知道在偏差已经是0的时候想要让它更加小, 自然就是使Var (θ) ̂更加小了。因此我们用有效性来从无偏估计量中找到更优的估计量。
设均为θ的无偏估计量, 同时有, 那么称比有效。若对∀θ的无偏估计, 在参数空间Θ上都有:, 那么称为θ的一致最小方差无偏估计, 简记为UMVUE。
定理2.1设X= (x1, x2, ..., xn) 是总体的一个样本, 是θ的一个无偏估计, .则是θ的UMVUE的充分必要条件是, 对任意符合E[ϕ (X) ]=0和Var[ϕ (X) ]<∞的ϕ (X) , 都有
这个定理表明:θ的UMVUE必与任一零的无偏估计不相关, 反之亦然, 这是UMVUE的重要特征。
例2.1设x1, x2, ..., xn是来自指数分布Εxp (1θ) 的样本, 则根据因子分解定理可知, Τ=x1+....+xn是θ的充分统计量, 由于ΕΤ=nθ, 所以是θ的无偏估计。设ϕ=ϕ (x1, x2, ..., xn) 是0的任一无偏估计, 则
两端对θ求导, 得
即, 从而.由定理2.1, 是θ的UMVUE。
定义2.2设总体X是连续型的随机变量, 它的概率函数为p (x;θ) , θ∈Θ满足下列条件:
(1) 参数空间Θ是直线上的一个开区间;
(2) 支撑S={x:p (x;θ) >0}与θ无关;∂
(3) 导数;对一切θ∈Θ都存在;
(4) 对p (x) ;θ, 积分与微分运算可交换次序, 即
(5) 期望存在, (总体分布的费希尔信息量)
定理2.2 (Cramer-Rao不等式) 设总体分布p (x;θ) 满足定义2.2的条件, x1, x2, ..., xn是该总体的一个样本, Τ=Τ (x1, x2, ..., xn) 是g (θ) 的任意的一个无偏估计量,
如果
(1) 存在, 且有
(3) 存在, 且有
则有 (拉默-拉奥 (C-R不等式) 被简称为g (θ) 的C-R下界。
例2.3设总体为正态分布N (0, σ2) , 它满足定义2.2的所有条件, 下面计算它的费希尔信息量, 由于, 注意到, 故若x1, x2, ..., xn是样本, σ2的无偏估计达到C-R下界, 故是σ2的UMVUE.同时, 如果令, 则σ的C-R下界为
σ的无偏估计为
因为在n→∞时是方差最小的无偏估计, 即是σ的UMVUE, 同时又有
所以, 所有σ的无偏估计的方差都大于其C-R下界。
大部分UMVUE的方差要达到C-R下界是很难的, 而我们希望无偏估计的方差越小越好, 所以我们要尽可能找到一个估计的方差可以达到C-R下界, 则这个估计就是我们最终所求的最好的UMVUE了。这里对于可以达到C-R下界的我们称之为有效无偏估计, 把无偏估计的方差与其C-R下界之比的导数称为该估计的效。
摘要：众所周知, 参数估计的方法很多, 而且不同的方法将导致不同的估计量, 那么如何从这些估计量中寻找最适合的估计量成为了一个很重要的问题。因此, 本文主要以使得均方误差最小的原理来研究评价估计量优良性的标准 (相合性、无偏性、有效性) 。经过对这几个标准的研究最终得到相对而言较适合的估计量为:一致方差最小无偏估计量UMVUE。最后介绍证明一个估计是UMVUE的方法。
关键词：估计量的优良性标准,一致最小方差无偏估计量
[1] 陈家鼎, 孙山泽, 李东风等.数理统计学讲义[M].北京:高等教育出版社, 2006.
[2] 吴翊, 李永乐.应用数理统计[M].长沙:国防科技大学出版社, 1995.
[3] 茆诗松, 王静龙, 濮晓龙编著.高等数理统计[M].北京;高等教育出版社;海德堡:施普林格出版社, 1998.
推荐阅读：
