您的位置:

回归函数的分解及其应用

2022-07-28
来源:求医网
摘要利用均值漂移的思想,在试验有重复的场合,将回归函数分解为线性分量部分与非线性分量部分,并由此给出了回归模型为线性的线性假设形式,并证明了该形式下所得到的检验统计量与用方差分析方法所得到的检验统计量一致,这在某种程度上说明了用方差分析方法检验回归函数的线性性是一优良的方法。此外,导出了回归函数的线性分量部分与非线性分量部分的估计。

1引言

在线性回归的理论中,关于回归系数的线性假设的检验有一套完美的解决方法,其检验方法具有若干优良性,因此在本文中,对于有重复试验的情形,我们利用正交投影将回归函数(并不假定其为线性函数)分解为两部分:一部分为自变量的线性函数,称为线性分量部分;而另一部分为一些人工变量的线性组合,称为非线性分量部分。把非线性回归问题转化为形式上的线性回归问题,进而将回归函数是否为线性的检验问题转化为非线性部分是否为零这样一个线性假设的检验问题,并证明了该线性假设的检验统计量与利用方差分析所得到的检验统计量是一致的。本文还导出了线性分量部分与非线性分量部分的估计。

下面,先介绍有关的记号与说明。

设x=(x1,x2,…,xp-1)为p-1维的自变量(这里“”表示向量或矩阵的转置,下同),y为响应变量(或叫做因变量),我们用m(x)=E(y|x)表示y对x的回归函数,则有

y=m(x)+ε(1)

若m(x)是x的线性函数,则

Y=β0+xβ*+ε(2)

其中,β*=(β12,…,βp-1)为线性组合系数,β0为常数项,ε为随机误差项,假设E(ε)=0,Var(ε)=σ2,若要作假设检验,一般还需假定ε~N(0,σ2)。

记xi=(xi1,xi2,…,xi(p-1)),i=1,2,…,r。表示r个试验点,在xi点处作了mi次试验,得y的值为yi1,…,yim,且m1,m2,…,mr中至少有一个大于1,记yi=(yi1…yim),Y=(y1,y2,…,yr)有

yij=m(xi)+εij,j=1,2,…,mi,i=1,2,…,r(3)

yi=m(xi)1mii,i=1,2,…,r(4)

其中1mi为mi维的分量全为1的列向量(i=1,2,…,r),以后1mi的意义也如此。

若E(y|x)是x的线性函数,则

yij0+xiβ*ij,j=1,2,…,mi,i=1,2,…,r(5)

或yi=(β0+xiβ*)1mii,i=1,2,…,r(6)

记ε=(ε11,…,ε1m1,…,εr1,…,εrmr),

为叙述方便,将(4)式写成:

Y=AM(X)+ε(7)

将(5)或(6)记为

Y=β0+X*β*+εXβ+ε(8)

为讨论方便,设r>p且X0为列满秩矩阵,即rank(X0)=P。

2结果

我们先给出下面的引理:

引理1Rank〔Ir-X0(X0'A'AX0)-1X0'A'A〕=r-P

证明:因为

X0'A'A(Ir-X0(X0'A'AX0)-1X0'A'A)=0

所以

Rank〔Ir-X0(X0'A'AX0)-1X0'A'A〕≤r-Rank(X0'A'A)=r-Rank(X0)=r-P(9)

又由于

X0(X0'A'AX0)-1X0'A'A+〔Ir-X0(X0'A'AX0)-1X0'A'A〕=Ir

所以

Rank〔Ir-X0(X0'A'AX0)-1X0'A'A〕+Rank〔X0(X0'A'AX0)-1X0'A'A〕≥Rank(Ir)=r

Rank〔Ir-X0(X0'A'AX0)-1X0'A'A〕≥Rank(Ir)-Rank〔X0(X0'A'AX0)-1X0'A'A〕

注意到

Rank〔X0(X0'A'AX0)-1X0'A'A〕≤Rank(X0)=P

Rank〔Ir-X0(X0'A'AX0)-1X0'A'A〕≥r-P(10)

由(9),(10)两式可知

Rank〔Ir-X0(X0'A'AX0)-1X0'A'A〕=r-P

引理得证。

引理2若记P=X(X'X')-X',N=In-P,XA=X(…A),PA=XA(XA'XA)-XA',NA=In-PA则PA=P+NA(A'NA)-A'N,NA=N-NA(A'NA)-A'N(11)

其中矩阵右上角的“-”表示矩阵广义逆。

引理2是熟知的投影矩阵的分解公式[2]

若m(x)不是x的线性函数,我们将AM(X)进行分解为两部分

AM(X)=PAM(X)+NAM(X)

分别表示向X的列向量空间及其正交补空间的正交投影矩阵,由于

将(7)写成

(12)

则中自由参数的个数等于

Rank〔(X0'A'AX0)-1X0'A'A〕=Rank(X0)=P=参数个数

中自由参数的个数等于

Rank〔Ir-X0(X0'A'AX0)-1X0'A'A〕=r-P<参数个数。

从引理1的证明中还可以看出,满足的最大约束为

(13)

这样,在回归函数非线性的情况我们将回归模型(7)转变为形式上的线性回归模型(12),在(12)式中,我们将X称为Y对X回归的线性分量部分,而将A称为Y对X回归的非线性分量部分,这一部分也是回归函数在试验点上对线性函数的漂移,由于不致引起混淆,仍将X与A分别记为Xβ及Aγ,进而将(8)与(7)分别记为

Y=Xβ+ε(14)

Y=Xβ+Aγ+ε(15)

因此,要检验Y对X*的回归函数是否为线性函数,就转换为检验假设:

H0:γ=0(16)

这样,回归函数是否为线性的检验问题就转化为线性模型(15)中参数γ是否为零这样一个线性假设的检验问题,而后一问题在线性模型的理论中具有一套完美的解决方法,其检验方法具有种种的优良性。此外,我们还可以利用(15)式估计出Y对X*回归的非线性分量部分Aγ。

以下我们讨论线性假设(16)式的检验问题,设ε~N(0,σIn)。根据线性假设的检验方法,我们知道H0的检验统计量为

(17)