良的性质。
1? 总体X为离散型随机变量
设总体X为离散型随机变量,其分布律
P(X?x)?f(x,?)
已知,其中?为未知参数,x1,x2,...,xn为来自总体X的一组样本观测值。
由于样本X1,X2,...,Xn可以看作是n个相互独立且与总体X同分布的随机变量,而
(x1,x2,...,xn)就是n维随机变量(X1,X2,...,Xn)在一次观测或试验中所得到的观测值,这
表明事件
?X1?x1,X2?x2,...,Xn?xn?
在一次事件中发生了,说明该事件是大概率事件,其概率
P?X1?x1,X2?x2,?,Xn?xn?
= P(X1?x1)P(X2?x2)?P(Xn?xn)?f(x1,?)f(x2,?)?f(xn,?)???f(x,?)
ii?1n应该很大。又因为该概率是参数?的函数,其值大小依赖于?,若存在一个?,使该概率值达到最大值,我们就以?作为?的估计量。
??为未知参数,x1,x2,...,xn由于离散型总体X的分布律P(X?x)?f(x,?)形式已知,
为样本观测值,故
?f(x,?)仅是?的函数,记作L(?),即
ii?1nL(?)=?f(xi,?)
i?1n通常称L(?)为似然函数。
若?=?时,似然函数达到最大值,即
?L(?)?maxL(?)
??则称???(x1,x2,...,xn)为参数?的最大似然估计值;称???(X1,X2,...,Xn)为?的最大似然估计量。
???? 21
设L(?)是?的可微函数,要使L(?)为最大值,?应为方程
??dL(?)?0 d?的解。又由于lnL(?)是L(?)的单调函数,它们有相同的最大值点,故?一般由方程
?dlnL(?)?0
d?解出。
例: 设某车间生产一披产品,其次品率为p,今从中抽取n件,发现其中有m件次品,试用最大似然估计估计法估计其次品率p。
解:用Xi表示第i次抽取到的次品数,显然有
?1,第i次抽到次品 Xi???0第i次抽到正品Xi服从0—1分布,且概率分布
f(xi,p)?pxi(1?p)1?xi (xi?0,1;i?1,2,...,n)
于是似然函数
L(p)??pxi(1?p)1?xi?pi?1(1?p)i?1n?xinn??xii?1n?pm(1?p)n?m
两边取对数,得
lnL(p)?mlnp?(n?m)ln(1?p)
两边对p求导,并令其导数为零,得似然方程
dlnL(p)mn?m???0
dpn1?p解之,得到参数p的最大似然估计值为
m1np???xi
nni?1?1n而p??Xi
ni?1?为参数p的最大似然估计量。
22
2? 总体X为连续型随机变量
设总体X为连续型随机变量,其分布密度函数f(x,?)形式已知,而?为未知参数,
x1,x2,...,xn为样本观测值,称
L(?)??f(xi,?)?f(x1,?)f(x2,?)...f(xn,?)
i?1n为似然函数,当???时,若似然函数取最大值,即
?L(?)?maxL(?)
??则称???(x1,x2,...,xn)为参数?的最大似然估计值;称???(X1,X2,...,Xn)为?的最大似然估计量。由似然方程
????dL(?)dlnL(?)?0 或 ?0 d?d?解出。
例: 设总体X服从参数为?的指数分布,其分布密度
??e??x,x?0f(x:?)??
x?0?0,x1,x2,...,xn样本观测值,求?的最大似然估计量。
解:似然函数
L(?)???ei?1n??xi??en???xii?1n (xi?0,i?1,2,...,n)
取对数得
lnL(?)?nln????xi
i?1n对?求导,并令其为零,得似然方程
dL(?)nn???xi?0 d??i?1解得?的最大似然估计值为 ??n?xi?1n
i 23
?的最大似然估计量为 ??^n?Xi?1n
i与矩估计量一致。
当总体X的分布密度f(x:?2,?2,...,?s)中含有s个未知参数?1,?2,...,?s时,其似然函数仍为
L(?1,?2,...,?s)??f(xi;?1,?2,...,?s)
i?1n它是参数?1,?2,...,?s的多元函数。
当L(?1,?2,...,?s)或lnL(?1,?2,...,?s)偏导数都存在时,可由方程组
?L(?1,?2,...,?s)?0 (i?1,2,...,s)
??i或
?lnL(?1,?2,...,?s)?0 (i?1,2,...,s)
??i解出?1,?2,...,?s的最大似然函数。
例: 设X1,X2,...,Xn是来自正态总体N(?,?)的样本,求未知参数?和?的最大似然估计量。
解:设x1,x2,...,xn为正态总体N(?,?)的一组样本观测值,由于X的分布密度
222f(x;?,?2)?故似然函数
12??e?(x??)22?2
L(?,?)??2i?1n12??e?(xi??)22?2?1(2?)n/2?12?2?ne?(xi??)2i?1n
取对数
?n1lnL(?,?)?ln(2??2)?22?22?(xi?1ni??)2
对?和?求偏导,得似然方程
2 24
??lnL(?,?2)1n?2?(xi??)?0?????i?1 ?2n??lnL(?,?)??n?1?(xi??)2?0???22?22?4i?1?解得?和?最大似然估计值为
^??1n1n2???xi?x,???(xi?x)2
ni?1ni?1^2其最大似然估计量为
^??1n1n2???Xi?X ???(Xi?X)2
ni?1ni?1^
4.1.2 估计量优劣的评判标准 既然,总体参数可以有各种不同的估计量,那么,哪一种是最好的估计是问题的关键,一般来说,一个好的估计量应具备无偏差性,有效性和一致性三个条件。 (1)无偏差
若一个统计量的理论平均值,即其数学期望等于总体的参数,则称这个统计量为无偏估计量,样本均值X的数学期望等于总体均值?,即E(X)??,故样本均值是总体均值?的无偏估计量,记作
??1n??X??Xi
ni?1^??1n样本方差S?(Xi?X)2的理论平均值等于总体方差?2,即E(S2)??2,所以?n?1i?12样本方差是总体方差的无偏估计量,记作
?2?S2
(2)有效性
一个未知参数的无偏估计量往往不止一个,对于数学期望?,样本均值X是它的无偏估计量,样本的第一个观测值X1也是?的无偏差估计量(因为第E(X1)??)。如果总体的方差?存在,我们还可以进一步计算两个估计量的方法来评价它们的优劣,当然方差小的
2?^ 25