第七章 非参数回归模型与半参数回归模型
第一节 非参数回归与权函数法
一、非参数回归概念
前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。
设Y是一维观测随机向量，X是m维随机自变量。在第四章我们曾引进过条件期望作回归函数，即称
g (X) = E (Y|X) （7.1.1）
为Y对X的回归函数。我们证明了这样的回归函数可使误差平方和最小，即
E[Y?E(Y|X)]2?minE[Y?L(X)]2
L （7.1.2）
这里L是关于X的一切函数类。当然，如果限定L是线性函数类，那么g (X)就是线性回归函数了。
细心的读者会在这里立即提出一个问题。既然对拟合函数类L(X)没有任何限制，那么可以使误差平方和等于0。实际上，你只要作一条折线(曲面)通过所有观测点(Yi，Xi)就可以了是的，对拟合函数类不作任何限制是完全没有意义的。正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。 所以我们知道，参数回归与非参数回归的区分是相对的。用一个多项式去拟合(Yi，Xi)，属于参数回归；用多个低次多项式去分段拟合(Yi，Xi)，叫样条回归，属于非参数回归。
二、权函数方法
非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Yi的线性组合的某种权函数。也就是说，回归函数g (X)的估计gn(X)总可以表为下述形式：
gn(X)??Wi(X)Yi
i?1n （7.1.3）
1
其中｛Wi(X)｝称为权函数。这个表达式表明，gn(X)总是Yi的线性组合，一个Yi对应个Wi。不过Wi与Xi倒没有对应关系，Wi如何生成，也许不仅与Xi有关，而且可能与全体的｛Xi｝或部分的｛Xi｝有关，要视具体函数而定，所以Wi(X)写得更仔细一点应该是Wi(X；X1，?,Xn)。
??X?(X?这个权函数形式实际也包括了线性回归。如果Yi?Xi????i，则Xi??X)?1X?Y，也i是Yi的线性组合。
在一般实际问题中，权函数都满足下述条件：
Wi(X;X1,?,Xn)?0,?Wi(X;X1,?,Xn)?1
i?1n （7.1.4）
如果考虑在第五章介绍的配方回归与评估模型曾有类似条件，不妨称之为配方条件，并称满足配方条件的权函数为概率权。
下面我们结合具体回归函数看权函数的具体形式。 1．核函数法
选定Rm空间上的核函数K，一般取概率密度。如果取正交多项式则可能不满足配方条件。然后令
?X?XiWi(X;X1,?,Xn)?K??an?显然
?n?X?Xi??/????i?1?an??? ? （7.1.5）
?Wi?1ni?1。此时回归函数就是
?X?Xi??K??a?nnn??Y Y?g(X)??Wi(X)Yi??i n?X?Xi?i?1i?1??K??a?j?1n?? （7.1.6）
2．最近邻函数法
首先引进一个距离函数，用来衡量Rm空间中两点u = (u1，?，um) 和v= (v1，?，vm) 的距离‖u-v‖。可以选欧氏距离||u??||?2?(ui?1ni也可以选||u??||?max||ui??i||。??i)2，
1?i?n为了反映各分量的重要程度，可以引进权因子C1，?,Cn，使｛Ci｝也满足配方条件。然后将距离函数改进为
||u??||??Ci(ui??i)2
2i?1n
（7.1.7） （7.1.8）
|u??||2?maxCi|ui??i|
1?i?n
现在设有了样本(Yi，Xi)，i=1,?,n，并指定空间中之任一点X，我们来估计回归函数在该
2
点的值g(X)。将X1，?，Xn按在所选距离‖·‖意义下与X接近的程度排序：
||Xk1?X||?||Xk2?X||???||Xkn?X||
（7.1.9）
这表示点Xk1与X距离最近，就赋以权函数k1；与X距离次近的Xk2就赋予权函数k2。?，等等。这里的n个权函数k1,?,kn也满足配方条件，并且按从大到小排序，即
k1?k2???kn?0, ?ki?1
i?1n （7.1.10）
就是
Wki(X;X1,?,Xn)?ki, i ?1,?,n
（7.1.11）
若在｛‖Xi-X‖, i=1,?,n｝中有相等的，可将这n个相等的应该赋有的权取平均。比如若前两名相等，‖X1-X‖=‖X2-X‖, 就令W1 = W2=
这样最近邻回归函数就是
1(k1?k2)。 2nnY?g(X)??Wi(X;X1,?,Xn)Yi??kiYi??ki(X)Yi
i?1i?1i?1n （7.1.12）
ki尽管是n个常数，事先已选好，但到底排列次序如何与X有关，故可记为ki(X)。
三、权函数估计的矩相合性
首先解释矩相合性的概念。如果对样本 (Yi，Xi)，i=1,?,n构造了权函数Wi = Wi (X)=WI(X;X1,?,Xn)，有了回归函数g(X)的权函数估计gn(X)?(E|Y|r<∞)时，若
n?WYi?1ii，当Y的r阶矩存在
limE|gn(X)?g(X)|r?0
n?? （7.1.13）
则称这样的权函数为矩相合的权函数。
在什么样的条件下构造的权函数是矩相合的呢? Stone(1977)提出了很一般的，几乎是充分必要的条件。下面我们考虑其充分性条件，并限于考虑概率权。 定理7.1.1 设概率权｛Wi｝满足下述条件： (1)存在有限常数C，使对Rm上任何非负可测函数(连续函数与分段连续函数是最常见的可测函数)f, 必有
?n?E??Wif(Xi)??CEf(X) ?i?1?(2)?ε>0, 当n→∞时，
3
（7.1.14）
(3)当n→∞时，
PWI???0 ?i(||Xi?X||??)i?1n （7.1.15）
??0 maxWi?1?i?nP （7.1.16）
则｛Wi｝是矩相合的权函数。
定理条件可以作一些直观解释。条件(1)可以作如下理解，因为权函数是概率权，必有|Wi|<1，i=1,?,n。于是
nnn?n?E??Wif(Xi)??E?Wif(Xi)?E?f(Xi)?E?f(Xi)
i?1i?1i?1?i?1?（7.1.17）
这里取的是C=1。因此条件(1)可以说不叫做一个条件。条件(2)是说，与X的距离超过一定值
的那些Xi，对应算出来的权函数之和很小，也就是说，权函数的值主要取决于那些与X邻近的Xi的值。这个条件合理。条件(3)是说，当n越来越大时，各个权系数将越来越小，这也是合理的要求。
在证明本定理之前，先证两个引理。
引理7.1.1 设概率权函数｛Wi｝适合定理7.1.1的条件(1)及(2)，又对某个r, E|f(X)|r<∞，则
?nr?limE??Wi(X)f(Xi)?f(X)??0 n???i?1? （7.1.18）
证明 先设f在Rm上有界且一致连续，则任给ε>0，存在ε>0，当‖u-v‖?ε时，|f(u)-f(v)|
?(ε/2)1/r。于是
?W(X)f(X)?f(X)iii?1Xnr??2?(2M)r?W(X)Iii?1n(||Xi?X)?? （7.1.19）
其中M?supf(X)，此处X表示具体取值。由条件(2)，上式右边第二项依概率收敛于0且不大于1。依控制收敛定理有
?n?limE??Wi(X)I(||Xi?X)????0 n???i?1?故存在n0，使当n?n0时，有
（7.1.20）
?n?? E??Wi(X)I(|X|i?X)????
?i?1?2因此当n?n0时，有
（7.1.21）
4
?n? E??Wi(X)|f(Xi)?f(X)|r???
?i?1? （7.1.22）
于是对这种一致连续的f，引理得证。 证毕
2~~对一般的函数f，取一个在R上连续，且在一有界域之外为0的函数f，使Ef(X)??，
m
且Ef(X)?f(X)??，这里ε是事先指定的。因为
n~?n?r?r?1??E??Wi(X)f(Xi)?f(X)??3???Wi(X)|f(Xi)?f(X)|r??i?1????i?1~r~~??r?r?? ?E??Wi(X)|f(Xi)?f(Xi)|??E??Wi(X)|f(X)?f(X)|???i?1??i?1??nn （7.1.23）
r~右边括号里第三项等于Ef(X)?f(X)??；第一项根据条件(1)不超过r~~CEf(X)?f(X)?C?；因为f在Rm上有界且一致连续，由前面已证结果知当n→∞时，
第二项将趋于0。因此
?n?limE??Wi(X)|f(X)?f(Xi)|r??3r?1(C?1)? n???i?1?ε是任意的，故引理得证。
（7.1.24）
证毕
引理7.1.2 设｛Wi｝为满足定理7.1.1三个条件的概率权，函数f非负且Ef(X)??，则
?n2?limE??Wi(X)f(Xi)??0 n???i?1? （7.1.25）
证明 定义一组新的概率权函数Wi??Wi2，由于0?Wi?1, 故0?Wi??1。于是由引理7.1.1，有
?n2? limE??Wi(X)|f(X)?f(Xi)|??0
n???i?1?因为0?
（7.1.26）
?Wi?1n2i?1，由条件(3)知
5
故由控制收敛定理有
PW?(maxW)W?maxW???0 ?ii?ii2i?11?i?ni?11?i?nnn （7.1.27）
?n2? limE??Wi(X)f(X)??0 n???i?1?综合两个极限式可知本引理成立。
下面我们证明定理7.1.1。
先设r=2, 则E(Y2)<∞。令
（7.1.28）
证毕
Z?Y?E(Y|X),Zi?Yi?E(Yi|Xi),f(X)?E(Y|X)
由E(Y2)<∞知E(Z2)<∞，故
h (X) = E (Z2|X)
存在。又
（7.1.29）
（7.1.30）
E(Z|X)?E(Zi|Xi)?0,E(f2(X))??,E(h(X))?E(Z2)??
还须注意：f (Xi) = E (Yi|Xi) (而非E (Y|Xi))。因此按定义
（7.1.31）
f(Xi)?E(Y|X?x)|x?xi
而因为 (X，Y) 与 (Xi，Yi)同分布，有E (Y|X=x) = E (Yi|Xi=x)。故
f(Xi)?E(Yi|Xi?x)|x?xi?E(Yi|Xi)
现有
?n?ngn(X)?g(X)???Wi(X)f(Xi)?f(X)???Wi(X)Zi
?i?1?i?1因 E | f (X) |2<∞，依引理7.1.1，有
2 （7.1.31）
?n?limE??Wi(X)f(Xi)?f(X)??0 n???i?1?又若将X固定为x，则有
22??n????nlimE??Wi(x)Zi??E???Wi(x)Zi?X1,?,Xnn????i?1????i?1 （7.1.32）
??? ?? （7.1.33）
注意到当X固定为x而X1，?, Xn也给定时，Wi (x)成为常数，而Z1，?, Zn在给定X1，?，
Xn时，条件相互独立，再注意到E (Zi |Xi)=0，由上式有
???n2??n2?2E??Wi(x)Zi??E??Wi(x)E(Zi|Xi)??E??Wi(x)h(Xi)? ?i?1??i?1??i?1?
6
n2因此式对一切x都成立，有
?n??n2? E??Wi(X)Zi??E??Wi(X)h(Xi)?
?i?1??i?1?考虑到E (h (X))<∞，h?0，由引理6.4及上式，知
2 （7.1.34）
?n? limE??Wi(X)Zi??0 n???i?1?n??
2 （7.1.35）
合并考虑 (7.1.31)，(7.1.32) 和上式，得limE|gn(X)?g(X)|?0。这证明了定理当r=2的情况。
现在设r?1,
E |Y| r<∞。定义截断函数Y(K) ：
Y(K)当Y??K??K ???Y 当|Y|?K ?K 当|Y|?K? （7.1.36）
类似地定义Yi(K)(只须把上式中的Y都改为Yi)。因Wi ?0，
r?Wi?1ni?1, r?1，有
n?n(K)???Wi(x)|Yi?Yi|???Wi(x)|Yi?Yi(K)|r
i?1?i?1? （7.1.37）
记hK(x)?E(|Y?Y(K)|r|X?x)，则
limEhK(X)?limE|Y?YK??K??(K)r|?0
（7.1.38）
且E(|Yi?Yi(M)r|Xi)?hM(Xi)。由此得
rrn???n?????(K)(K)|??EE???Wi(x)|Yi?Yi|?|X1,?,Xn? E??Wi(x)|Yi?Yi???i?1????i?1??n??n?(K)r ?EE??Wi(x)|Yi?Yi|X1,?,Xn??E??Wi(x)hk(Xi)?
?i?1??i?1?因为此式对一切x成立，有
r?n?n?(K)?E??Wi(x)|Yi?Yi|??E??Wi(x)hk(Xi)??CE(hk(X))
?i?1??i?1? （7.1.39）
上式最后一不等式是根据定理的条件(1)。由 (7.1.38) 及上式，知当K充分大时，对n一致地
成立
7
?n?E??Wi(x)|Yi?Yi(K)|???/3 ?i?1?又当K→∞时有
r （7.1.40）
E|E(Y|X)?E(Y(K)|X)|r?E|E(Y?Y(K)|X)|r?E|Y?Y(K)|r?0
现有
n（7.1.41）
E|g(X)?gn(X)|?E|E(Y|X)??Wi(X)|Yi|rri?1 ?3r?1{E|E(Y|X)?E(Y(K) ?E|E(Y(K)n?n?r|X)|?E??Wi(X)|Yi?Yi(K)|?
?i?1?r（7.1.42）
|X)??Wi(X)Yi(K)|ri?1因为Y(K)有界，其二阶矩有限，故由已证的r=2的情况，知
limE|E(Yn??(K)|X)??Wi(X)Yi(K)|2?0
i?1n （7.1.43）
由于|Y(K) |?K, 而Wi为概率权，故由上式推出对任何r?1有
limE|E(Yn??(K)|X)??Wi(X)Yi(K)|r?0
i?1n （7.1.44）
任给ε>0，先找K0，使当K ? K0时，对一切n成立 (7.1.40)。又依 (7.1.41)，找K1，使当K
?K1时有E | E ( Y | X )- E ( Y(K) | X )| r<ε/3。固定K = max ( K0, K1)。根据上式，存在n0, 使当n?n0时
E|E(Y(K)|X)??Wi(X)Yi(K)|r??/3
i?1n （7.1.45）
这时由 (7.1.42)推出：当n ? n0时有
E|gn(X)?g(X)|r?3r?1?
（7.1.46）
这就证明了权函数的矩相合性。 证毕
关于权函数估计的收敛性质还有更多更深入的讨论，如逐点矩相合性，强相合性等，有兴趣的读者可参看有关专着。这里引述Stone的成果，一是因为它是基本的，可以作为入门的引子；二是因为它是一般的，概括了核估计、最近邻估计、样条估计、小波估计等具体形式。
算例7.1.3 一元非参数回归
本算例利用核估计给出一元非参数回归。计算过程如下。
------------------------------------------------------------------------------------------------------------------------- 一般非参数回归模型计算程序, 例 7.1.4
8
模型及数据结构说明:
本项程序计算一般非参数回归模型: Y(i)=g(t(i)) +ε(i)
i=1,2,...,n, 0<= t <=1 其中函数 g 未知待估.
资料准备要点: 因变量 Y 在数据第一列, 自变量 t 是 1 维, 例713.D 数据文件中, n=50
要打印原始资料吗? 0= 不打印, 1= 打印 (1) 打印 Y 的原始资料
1.188100 1.833400 1.081500 2.868000 0.616500 1.067000 1.185200 0.836500 1.805300 1.084800 0.412000 1.315900 1.362600 1.303200 1.731700 0.622000 0.430500 0.997600 1.285700 1.620900 1.329200 1.605700 1.687600 1.376800 1.251000 1.145600 0.743300 0.728600 0.865800 -0.171800 0.923800 0.872400 1.989900 0.009500 0.307900 0.172600 0.282300 0.225500 1.126200 1.365100 1.712400 0.864400 0.882600 1.088700 1.651900 1.523100 0.966300 1.985700 1.888800 0.904900 打印 X 的原始资料
0.538100 0.017800 0.615100 0.027000 0.561200 0.114000 0.343400 0.877500 0.103200 0.221100 0.962700 0.168900 0.453600 0.552000 0.048600 0.263200 0.158300 0.948500 0.616700 0.192300 0.575900 0.218300 0.009000 0.151500 0.834300 0.651100 0.419200 0.229300 0.459800 0.996900 0.220100 0.754500 0.069500 0.420100 0.350800 0.975400 0.253500 0.482500 0.096900 0.790200 0.124000 0.847100 0.785700 0.580600 0.559900 0.638300 0.078700 0.084200 0.623700 0.149800 请决定非参数回归的方法: （0）
0= 固定自变量窗宽的核函数法. 这需要事先将自变量变换为 0<=t<=1. 1= 固定自变量资料点数的平滑法. 这需要自变量资料等距并顺序排列. 请键入核函数的窗宽选择h(1/N<=h<=1, 不妨就取h=0.1-0.2): （0.1） 要打印拟合数据吗? 0=不打印, 1=打印 （0） 计算结束。
-------------------------------------------------------------------------------------------------------------------------
9
圖7.1.3.13.532.521.510.50原始数据拟合数据159131721252933374145-0.5
49
第二节 密度核估计与回归函数核估计
我们在上一节已指出，非参数回归可以归结为权函数方法，权函数具体有四种主要形式：核函数，最近邻函数，样条函数，小波函数。在具体计算方面，一般来说，核函数方法多用于密度估计或者需要密度估计的随机样本回归，样条与小波函数多用于作信噪分离解释的回归(当然也有用于密度估计的)。这一节我们主要介绍密度的核估计，虽然它本身不属于非参数回归内容，但在随机样本回归方法里要经常用到它。最后介绍二元非参数回归函数核估计问题。本节第二、三、四段都是本书作者近期发表的研究成果。
一、密度核估计概念与收敛性
设X1，?，Xn是从具有未知密度函数f(x)的总体中抽出的i.i.d.样本，要依据这些样本对每一x去估计f(x)的值。当然这样f(x)的估计也有参数估计与非参数估计的问题。但是习惯上，人们说密度估计时，都是指不知道密度函数的具体形式，因而都是指非参数估计问题。
密度估计最基本的方法是直方图估计。这在初等概率教科书中都有介绍，这里就不说了。但是，它的基本思想却与核估计是相通的。下面我们从直方图估计导出密度核估计。
作直方图时，先用点?ai?i?1把直线分成若干小的计数区间，当然kn。这样，计数区间的端
k点与宽度都是固定的。记Ni为样本点X1，?，Xn落在第i个计数区间［ai, ai+1)里的个数，则密度函数f(x)在［ai, ai+1）里的函数估计值就取为
fn(x)?
Ni,ai?x?ai?1,i?1,?,k
n(ai?1?ai)10
（7.2.1）
这样的直方图估计当然是阶梯函数，于是人们想法改进它(最有趣的是有人用计算数学里的磨光函数去把直方图顶部磨光滑)。不难想象，这种估计对计数区间［ai, ai+1)中心部分比较精确，而对计数区间端点处精度稍差。有人提出，对每个x,各作一个以x为中点的小计数区间［x-h, x+h), 再对落在该计数区间的样本点计数，设为N (x, h)，则密度估计为
fn(x)?N(x,h) 2nh （7.2.2）
这个想法与直方图不同在于它的计数区间端点划分不是固定的，而是随x而变，可以自始至终保持x点在计数区间中间。不过此时计数区间宽度hn一般是固定的。如果引进函数
?1当?1?x?1? K(x)??2
?其他?0 则上述变端点计数区间的密度估计可写为
（7.2.3）
1n?x?Xn?fn(x)?? ?K?nhi?1?h? （7.2.4）
后来Parzen(1962)提出，可以将这种矩形核函数形式放宽限制，只须积分为1(最好还为恒正)即可。这就导出了密度的核估计。
我们也可以从经验分布函数导出密度核估计。经验分布函数
Fn(x)?*1(X1,?,Xn中小于x的个数) n （7.2.5）
也是一种计数，不过从-∞一直计到x为止。我们可以利用它表示一个以x为中心窗宽为2h计数区间里的样本点数，于是密度估计为 可以看到，本书作者在第六章第五节第二段里提出的密度的求导插值估计，本质上与这里也是相通的。
对核函数形式放宽了，那么有哪些条件是不能放宽而必须坚持的呢?一般来说，要求核函数满足条件
?K(x)?0,??K(x)dx?1???????2supK(x)???,K????(x)dx??? ?K(x)?x?0?limx??? （7.2.7）
对于一般概率密度函数，这些条件是能满足的，所以可以选一个概率密度函数作核函数。不过，最好还是选一个有限窗宽的函数。对窗宽h的要求，显然样本数越多，窗宽应越小，但不能太小，即h是n的函数，且
limh(n)?0,limnh(n)?n??
x??n?? （7.2.8）
在上述要求的核函数及窗宽条件下，密度f (x)的核估计fn(x)是f(x)的渐近无偏估计与相合估计。这是因为
11
??x?X1Efn(x)?E?K?h(n)???h(n) ????????1???x?t??K?f(t)dt?????h(n)?h(n)? （7.2.9）
?1h(n)?????K???y??h(n)???f(x?y)dy(x?t?y) ??????K?Z?f(x?h(n)Z)dZ???y??h(n)?Z???对于给定的ε>0，由条件 (7.2.7)，存在充分大的T0，使
?|Z|?T0K(Z)dZ??4M
这里M?supf(x)，并且
xlimT0T0h????TK(Z)f(x?hZ)dZ?f(x)?K(Z)dZ
0?T0于是
|Efn(x)?(x)|??T0T0?TK(Z)f(x?h(n)Z)dZ?0??TK(Z)f(x)dZ?20?|Z|?T0K(Z)dZ?M??T0?TK(Z)f(x?h(n)Z)dZ?f(x)0?T0K(Z??T)dZ?02??2(当n???)由ε的任意性，可知limn??Efn(x)?f(x)。这就说明fn(x)是f(x)的渐近无偏估计。
再利用X1，?,Xn的独立性，有
Var(f11?2???2n(x))?n?h2(n)??EK??x?X??????h(n)??x?X????EK????h(n)???????? ?类似于渐近无偏性的证法可得
lim1E?2?x?X?n??h(n)?K???????h(n)????f(x)?2???K(x)dx ?于是
limE(fn(x)?f(x))2?limVar(f2n??n??n(x))?limn??(Efn?f(x))?0
12
7.2.10）
7.2.11）
7.2.12）
7.2.13）
7.2.14）
7.2.15）
（（ （（（（这就说明对一切x，fn(x)均方收敛于f(x)，因此fn(x)???f(x)(n??)，这就证明密度核估计的相合性。
P 二、使用正交多项式核的密度及其偏导数核估计的收敛速度
上一段研究的密度核估计的收敛性，针对的是使用概率密度核函数K，它非负，积分为1，从而可以肯定保证密度核估计函数fn(x)非负且积分为1。只是它的收敛速度不会超过O(n?45)。
为了提高收敛速度，统计工作者使用正交多项式作理论上的研究，取得不少成果。这里介绍的是本书作者的研究成果，近期发表在国际数学杂志“Communications in Statistics”上。它是直接研究多元密度，并连带一般偏导数的核估计给出收敛速度。
记多元密度f(t)的s阶混合偏导数为
f(s)(t)?f(s)?sf(t)(s1,?,sp;t)?s s?t11??tpp （7.2.16）
这里t?(t1,?,tp)?,s1???sp?s,s?0,1,2,?。
使用多元核函数作出f(s) (t)的估计如下：
f(s)n(t)?1n?np?s~?t(j)?t?Ks?????? j?1n??n （7.2.17）
其中?n?n?1,r?2是构造核函数的正交多项式空间维数，可以任意取定。
2r?p~Ks(u)不仅决定于s, 而且决定于s1,?, sp,且满足：
~?|K当u?(0,u0)p?D0?s(u)|?C ?~?当u?D0?Ks(u)?0 Ks(u)还满足：
（7.2.18）
其中u0是一正常数，u = (u1,?,up)′。我们以C表示某一合适常数，各个C可不相同。
~1s1!?sp!???1当i1?s1,?,ip?spii~ u?uK(u)du??D011spp??0否则,但0?i1,?,ip?r?1 （7.2.19）
这种多元核函数可以如下构造：
~Ks(u)?Ks1(u1)Ks2(u2)?Ksp(up)
13
（7.2.20）
其中Ks1(ui),i?1,?,p是普通一元核函数，满足：
~?|K当ui?(0,u0)?si(ui)|?C ?~否则??Ksi(ui)?0 及
（7.2.21）
?1 当l?si1u0l uiKsi(ui)dui??si!?00 当l?s但0?l?r?1i? 这种核函数具体构造及改进我们放到下一段再统一研究。
下面研究fn(s)(t)的收敛性。我们假定偏导函数f(r) （7.2.22）
(t)局部有界，即存在与对t的各分量
求偏导次数r1,?,rp无关的fs(r)(t)，ε>0, r1+?+rp = r, 使当t?X，且t∈Xt且t+ξ∈Xt时，有
sup|f0?||?||??(r)(t??)|?f?(r)(t)
（7.2.23）
这里Xt是t的样本空间。同理定义f(t)局部有界。En (·) 表示对n个样本求数学期望。
定理7.2.1 设f (r) (t), f(t)局部有界，则
Enfn(s)(t)?f(s)?r?s?(r)?(t)?O?n???f?(t) 2r?p?? （7.2.24）
2?2(r?s)?(r)2(0)?Enfn(s)(t)?f(s)(t)?O?n?f(t)?f(t) ss??2r?p??????（7.2.25）
证明 由t(1),?t(n) 的i.i.d.，令u?y?t?np，注意dy??ndu，有
Enfn(s)(t)?1?p?sn?1~?y?t???Kf(y)dy?Xis?s??n??n?~K?D0s(u)f(t??nu)du
（7.2.26）
再由多元Taylor展式、多项展式及核函数正交条件得
r?sEnfn(s)(t)?f(s)(t)??n?D0?~Ks(u)??nuii1?uippi1!?ip!f(r)(t??)du
（7.2.27）
i1??ip?r这里0?||?||??np，由f(r) (t)局部有界，核函数有界，积分域有界，可得 (7.2.24)。又
Varfnt?
?(s)?1n?p?2sn??D0?s)??22(rr??2~p?(0)?Ks(u)f(t??nu)du?Onf(t) ??s???（7.2.28）
14
Enfn(s)(t)?f(s)(t)?Varfn(s)(t)?Enfn(s)(t)?f(s)(t)
可知 (7.2.25)成立。
2??2
（7.2.29）
证毕
在s=1时，由 (7.2.16) 我们把
?f(t)?f(t)?f(t)都记作了f(1) (t), 把它们排成向量得。,?,?t?t1?tp相应fn(1)(t)也代表了p种核估计fn(1)(t),?,fn(1)(t)。由 (7.2.17)知它们的核函数构造不同，
1p满足的正交条件不同，也把它们排成向量得f~(1)n(t)。由定理 (7.2.2)有
22?E~f(1)?f(t)?2nn(t)??E?f(1)?f(t)?f(t)??tn??n1t????f(1)np? ??t(t)?1?tp??进一步有
?f(t)?1?~2E?~(1)(1)?f(t)?~(1)?f(t)n??fn(t)??t?????fn(t)??t???CEnfn(t)??t ?O? ?n?2(r?1)2r?p??f(r)?2(0)?s(t)?fs(t)?????? 设1<2δ<2，由 Jensen 和H?o?lder不等式有 E|?|2??2?(Var?)??|E?|2??
于是有 推论1 设
12???1， E~f(s)(s)t)2??O?n?2?(r?s)2r?p?(r)2??nn(t)?f(???fs(t)???f(0)?s(t)?? ????2??E~(1)t)??f(t)nfn(?E??(1)(t)??f(t)???f(1)?f(t)?2??tn??fn1?tnp(t)??t??p????pE?(1)?f(t)2?(1)?f(t)2???n?f?n1(t)????fnp(t)??t?t?
1?p?? 15
（7.2.30）
（7.2.31）
（7.2.32）
（7.2.33）
(r?1)??2??(r)2??2r?p?? ?Onf?(t)?f?(0)(t) （7.2.34）??????????这就证明了使用正交多项式核的密度及其偏导数核估计的收敛速度。在本书第十章第四
节要引用这些结果。
三、密度核估计的连续性及光滑性
这一段介绍本书作者提出的一种正交多项式，用它构造的一元到多元密度及其偏导数的核估计，在样本抽定时，保持连续性，在样本数趋于无穷时可以保持好的收敛速度。密度核估计是一随机函数，它利用随机抽得的历史样本x(1) ，?，x (n) 构造fn (x)，去估计母体的密度f(x)。它的收敛性是一种大样本性质。对于一个具体的核函数和一个具体的fn (x)的构造，一旦历史样本抽定转入统计计算，fn (x)就是一个普通的函数。这时我们自然要考虑它的分析性质，例如连续性和光滑性。因此，密度核估计的连续性和光滑性是对任意抽定的历史样本而言，它是一种小样本性质。从统计计算的角度，仅仅研究大样本性质是不够的。
如果核估计呈跳跃间断，得到的参数估计将随当前样本x的连续变动而发生剧烈跳跃，使其难以进入实用，许多文献要么忽略了核函数的构造，要么给出的核函数不满足连续性光滑性，Lin(1975)构造密度及其(偏)导数核估计如下。
1fn(x)?nan1fn(x)?2nan?x?Xi?K?0?j?1?ann??? ???? ? （7.2.35）
?x?Xi?K?1?j?1?ann （7.2.36）
他进一步具体给出了正交多项式的构造，在n=3时我们画出所给函数式的图像。
K1(u) K0(u) 12 9 1 0 u 0 1
u -48 图7.2.3.1.
当0?u?1时，
K0(u)?30u2?36u?9?30(u?0.6)2?1.8
16
（7.2.37）
8??K0(u)??180u?192u?36??180?u???15.2
15??22 （7.2.38）
显然这样的fn (x)与fn?(x)都不连续。
我们试图寻找截断后仍然连续的正交多项式，从而使密度及其(偏)导数的核估计连续，同
时保持较高的收敛速度。
我们先考虑一元密度核估计的连续性、光滑性、收敛性。以下给出的正交多项式与Lin给出的正交多项式区别在于连续性和光滑性，其正交性是一样的。
1?1?23?11?4H??3????11?rr?1?11??u??ut?1?H0(u)??3????1?r??1?1?2??u?H1(u)??ut????1?r??1?u???u???t?1421?r?1?1???r?2?
?1??2r?1??1???r （7.2.39）
????1r?11?u????u????t??1??r?2?
?1?2r?1?1?? （7.2.40）
11??3r?1?2r??u??u????u?????u????t??t??
?11??r?12r?1?1?1?? （7.2.41）
令H是r阶行列式，其第1至r-1行的元素为hij?1，第r行元素全为1。将H的第i?j一行换上(u/ut)j得H0，将H的第二行换上(u/ut)j得H1，ut是一常数。
显然H0(0) = H0 (ut) = H1(0) = H1(ut)=0。
17
再令
?H0 当0?u?ut? K0(u)??Hut?0 否则??H1当0?u?ut?2 HuK1(u)??t ?0 否则?则
（7.2.42）
（7.2.43）
?ul01ululK0(u)du?ulH0du
Hut?0?ul?u?l?1?du???0?u???l??1l?1ut??3?H???1??r?1??ul0?u??u?l????14l?2du?????ul01r?1111?r??u???u??du???l??1?r?2?
?1?2r?1??1??1yl?1dy??0?1utl?3????H??1?r??1l?2y?0dy?1?411r?11?1l?r?ydy?0?l?2??11?l?r?2?ut?3???H???1??1??r2r?1??1?1???11??l?32r?1?11???4r?2?
?11??r?12r?1?1?1??当l?0,?1 ???0 当l?0,但1?l?r?2 ?c ?当l?r?1又K0(0) = K0(ut)=0，可见K0是满足正交性及连续性的核函数。在r = 3, ut=1时我们画出它的图形 (图7.2.3.2)。当0?u?ut=1时
3??K0(u)?60u3?96u2?36u?60u(u?1)?u??
5??同样容易验证K1(u)的正交性及连续性。
18
（7.2.44）
?ut0当l?1,?1 ? uk1(u)du??当l?1,但0?l?r?2?0 K1(0)=K1(ut)=0
在这样的构造里，密度核估计的光滑性通过密度导数核估计的连续性实现。
下面我们再说明多元密度核估计的连续性、光滑性及收敛性。
K0 4 u -2
图7.2.3.2
?tf(x)设有p元密度f(x), x = (x1,?, xp)′, 对于其各阶混合偏导数t1，t?t1???tp，tp?x1?x我们使用多元核函数Kt,t1,?,tp(u),u?(u1,?up)?，作出它的估计：
1fn(t;t1,?tp,x)?p?tnan其中
an?n同时要求fn在全空间连续，即
??x(j)?x??Kt;t1,?,tp???a?
j?1n??n （7.2.45）
12r?p （7.2.46）
fn(t;t1,?,tp;x)?C(Rp)
多元核函数Kt,t1?,tp(u)要满足：
（7.2.47）
?Kt;t,?,t(u)?C 当u?(0,ut)p?D?1p ?
否则??Kt;t1,?,tp(u)?0 （7.2.48）
当i?t1,?,ip?tp?1?1 iii Du11u22?upKt;t1,?,tp(u)du???t1!?tp!??0 否则,但0?i,?,ip?r?2
19
（7.2.49）
且Kt,t?,t(u)?C0(Rp)
1p这种多元核函数构造如下：
Kt,t1?,tp(u)?Kt1(u1)Kt2(u2)?Ktp(up)
其中Kti(ui),i?1,?,p是普通一元核函数，满足
（7.2.50）
?当ui?(0,ut)?Kti(ui)?C ??否则?K(ui)?0 （7.2.51）
当l?ti?1 1ut? uK(u)du??itiii?0ti!当l?ti,但0?l?r?2?0 且Kti(ui)?C(R?)。 这种一元核函数构造如下：
作行列式H?|hkj|r?r，其中第1至r-1行元素为hkj?将其第ti+1行换上hti?1,j?(ui/ut)，得r阶行列式Hti(ui)
j0 （7.2.52）
1，最后一行元素全为1，k?j1?1?23?11?4?3???1H??1?t?1t?2i?i???1?1?rr?1?11??????1?r?1?1??r?1??1? ti?r???1?2r?1?1?? （7.2.53）
20
6=C11.D, 7=C12.D, 8=C13.D, 9=C14.D, 10=C15.D, 0=LI733.D, 11=自选
本程序读入文本文件, 如果是二进制文件, 请转换之
请输入资料长度(观测点数, li733.d是500-550) N: （500） 要屏幕显示读入的资料吗 ? 0= 不显示; 1= 显示 （0） 请输入样条回归平滑参数 PH (1 平滑参数 PH 越大, 平滑越厉害; 但可能出现过头, 尤其在两头 已经作完初始样条平滑插值 已经作完第 1 次样条平滑插值 已经作完第 2 次样条平滑插值 已经作完第 3 次样条平滑插值 已经作完第 4 次样条平滑插值 要屏幕显示样条平滑拟合数据吗 ? 0= 不显示; 1= 显示 （1） x(i) y(i) 0.0000 1.9412 1.0000 4.1522 2.0000 6.4290 ?????????? 497.0000 -1.4977 498.0000 2.1833 499.0000 4.8845 t(i) z(i) 0.5000 6.9375 1.5000 8.9958 2.5000 10.3448 ?????????? 489.5000 -5.5044 490.5000 -4.4215 491.5000 -8.2043 数据存入文件吗？ 0=不存， 1=存 （0） 计算结束。 ------------------------------------------------------------------------------------------------------------------------- 下面显示原始数据与样条拟合结果的图像。 46 图7.3.3.1 第四节 非参数回归模型的小波拟合 小波理论可以为非参数回归提供迄今最新的强有力工具。这方面主要是应用它的逼近理论与信号分析理论。前面讲过，非参数回归是将混杂有信号g (t)与噪音ε(t)的资料Y(t)进行信噪分离。样条回归的思路是在“尽量通过每一点”与“尽量平滑”之间取得折衷。小波回归的思路则是将数据Y(t)接不同频道分解，然后重构信号时舍去噪音频道，就可得到光滑的信号曲线。所以小波回归既可以看作是信噪分离，也可以看作是一种滤波，如果主信号与噪音信号频率相差较大，小波回归比样条回归效果要好得多，这从本章算例图像比较即知。读者可以先不看数学推导，而先看本节算例里的几幅图像，就明白了小波拟合的原理。 不过作为一本书，我们还是先从小波理论起源，与信噪分离有关的小波分析理论准备讲起，搭起一个简明的数学框架，然后编程计算。 一、与信噪分离有关的小波理论准备 我们先从信号函数f (t)的Fourier变换与反变换存在的问题谈起。 Fourier分析的本质在于将一个相当任意的函数f (t)表示为一族标准函数e加权求和： ?j?t|??R的 ? 47 f(t)?其中权函数 g(?)?12?????y(?)ej?td? （7.4.1） 12?????f(t)e?j?tdt （7.4.2） 这两个式子就是经典的付氏变换与反变换，是一种纯频域分析。它的固有缺点是在时域没有任 ?(?)在任何有限频段上的信息都不足以确定在任意小范围内的函数f (t) 何分辨，变换g(?)?f(数学上的根源在于必须从-∞到+∞完整地积分)。 为了克服这一缺陷，Gabor于1946年引入了加窗付里叶变换(短时付里叶变换)： G(?,r)??2?1Rf(t)g(t?r)e?j?tdt （7.4.3） 其中窗口函数g (·)是固定的，例如高斯窗g (x)=?( ?1/4?x2/2e。对于具有单位能量 ?Rg(x)dx?1) 的窗函数g (x) (又称标准单窗函数)，上式有如下的逆转公式： 2f(t)???2?1R2G(?,r)g(t?r)ej?td?dr （7.4.4） 加窗付里叶变换既能刻划信号的局部性，又能完全保留信号的全部信息。对于标准单窗函数 ω gr,ω(t)=ejtg (t-r), t, r∈R，随着窗口中心(t, r)的移动变化，相空间(时域、频域空间)可全部为窗口所覆盖。 加窗付里叶变换提供了信号时频局部化分析的有力工具，但是它的局部化是一次性的，即加窗付里叶变换中的函数族gr,?(t)|(r,?)?R?2?所确定的时频窗口有固定的时宽和频宽。由 于窗口大小形状是固定不变的，加窗付里叶变换不能敏感地反映信号的突变。因为一个信号的频率反比于其时间周期，因此对高频谱信息而言，时间区域相对窄一些；而对低频谱信息而言，时间区域应比较宽。一个好的时频域分析，它的时频窗口应是可调的。 小波变换发展了Gabor的加窗付里叶变换的局部化思想，它的窗口宽随频率增高而缩小，符合高频信号的分辨率较高的要求，因此特别适合于信号分析。理论与实践都证明，小波变换对于信号的信噪分离和奇异值检验，都是特别行之有效的。 下面我们围绕信噪分离搭起一个简明的小波理论框架。 1.连续小波变换 设函数ψ满足 ?(?)|2|?C???Rd??? |?| 48 （7.4.5） 则信号f (t)的连续小波变换Wf (a, b)定义为 Wf(a,b)?|C?a|其逆变换为 ?12?R?t?b?f(t)???dt a?? （7.4.6） f(t)?1Cp??RWf(a,b)?a,b(x)21dadb a2 （7.4.7） 上述定义中的函数ψ叫基本小波或母小波。如果ψ满足条件 (7.4.5)，则ψ叫做允许小波。ψ按照条件 ?a,b(t)?|a|?12???t?b??,b?R,u?R?{0} ?a? （7.4.8） 生成的函数族｛ψa,b｝叫做分析小波或连续小波。可以验证以下函数是基本小波： (1) Haar小波： 1?1 0?x??2?1??(x)???1 ?x?1 2??0 其他?? (2)墨西哥帽状小波： ?22 （7.4.9） ?(x)?(1?x2)12?e?,???x??? （7.4.10） 2. 二进小波性质及构造 在计算机实现上，需要将上述连续小波及其变换离散化。实践中主要是采用二进小波和二进小波变换。 如果函数ψ(·)满足下述稳定性条件，即存在二常数0 ?(2?k?)?B, a.s A???k?Z2 （7.4.11） 则称函数ψ为一个二进小波，而函数序列W2f叫做f的二进小波变换。这里 kW2kf(x)?f*?2(x)??k?12kC??x?t?f(t)??k?dt ?R?2? （7.4.12） 二进小波变换由于只是对尺度参数a进行了离散化，而对时域上的平移参量b保持连续变 化，因此二进小波不破坏信号在时域上的平移不变量。即若 49 fr(t)?f(t?r) 则 （7.4.13） (W2kfr)(t)?W2k(fr(t)) （7.4.14） 也就是说，f的平移的二进小波变换等于它的二进小波变换的平移。 在小波变换中，我们需要引进标架的概念。设Φk, k∈Z是一族平方可积函数，若对一切平方可积函数f，存在与f无关的常数A，B，0 Af2???f,?k??Bfk?Z22 （7.4.15） 成立，则称函数族｛Φk｝k∈Z是平方可积函数空间L2的一组标架，B，A分别称为此标架的上、 下界。当A=B时的标架称为紧标架。 显然，L2中的基一定是标架，但即使是紧标架，也未必是L2中的基。紧标架成为一组正交基的充要条件是：A=1，且对一切k∈Z有‖Φk‖=1。对于紧标架，可以将L2中的函数f近似展开为 f?A?1??f,?k??k k?Z （7.4.16） 在实际信号分析中，需要将正频轴分解成不相交的频率带，常用的方式是二进制分解。可 以考虑如下的二进划分： (0,??)??(2j?Zj??,2j?1??] （7.4.17） ?作为窗函数的半径，定义为 其中Δψ>0是基小波ψ的Fourier变换，?????1??2??????(x)dx(x?t)?*22?1/2 （7.4.18） ?作为窗函数的中心，定义为 而其中t*是?t*??的宽度是2Δψ。 窗函数?设函数?(t)满足 1??2?????(?)d? ??2 （7.4.19） ?(2?)??(2?)?1 ??jjj?Z （7.4.20） 这样的函数?是存在的，例如可取 50
