Common Patterns and Rational Applications of the General Linear Model
Hu Liangping,
Department of Medical Statistics,Academy of Military Medical Sciences(100850),Beijng
【Abstract】ObjectivePresenting the common patterns and their characteristics of the general linear model(GLM)for the convenient and rational application.MethodsBy changing the structures of design matrix(X)and covariance matrix of error(Ω) and analyzing the characters of variables in the design matrix(X),some concise and concrete expressions are deduced from GLM respectively.ResultsTo simplify GLM into several particular statistical models which are suitable for regression analysis,analysis of variance and covariance,and multilevel modelling.ConclusionThe key to the rational selection of statistical models lies in clarifying the design types of data,the characters of affecting factors and response variables,the availability of covariates,and the applicability of various statistical models.
【Key words】General linear modelDesign matrixCovariate matrixMultilevel model
一般线性模型概述
统计分析的对象是统计资料,如果资料中包含着自变量X和连续变化的反应变量Y时,为了用最简便的方式描述反应变量与自变量之间的依存关系,人们首选一般线性模型(GLM),见式(1)。
Y=Xβ+e
(1)
模型(1)中,Y为反应变量的观测值向量,X为由自变量构造的设计矩阵,β为回归参数向量,e为正态独立随机误差向量,并假定其均值E(e)=0,协方差矩阵为Ω=Cov(e)。
当由模型(1)定义的GLM具有各种不同结构的设计矩阵X和误差的协方差矩阵Ω时,GLM就会有各种不同的变形。例如:当Ω=σ2In时,模型(1)被称为经典(或标准)线性回归模型;如果可将X剖分成X=(X1,X2),其中X1与固定效应有关,X2与随机效应有关,同时,Ω具有式(2)的形式:
Ω=X2VX′2+Ψ
(2)
式(2)中V和Ψ是协方差矩阵,则模型(1)就变成一般线性混合模型(GLMM);如果对X与Ω作其他一些假定,模型(1)可分别转变成MANOVA模型(即多元方差分析模型)和GMANOVA模型(即广义多元方差分析模型)等模型〔1〕。
从构成设计矩阵X的变量性质来分类,模型(1)又有许多不同的变形。例如:当X分别由固定效应、随机效应和固定与随机两种效应的定性影响因素构造而成时,模型(1)就分别简化为固定效应、随机效应和混合效应的方差分析模型;当X全部由定量的影响因素(包括哑变量)构造而成时,模型(1)就简化为回归分析模型;当X同时由定性和定量两种影响因素构造而成时,需分以下三种情形来讨论:情形一,当定性的影响因素是固定效应时,模型(1)就变成了协方差分析模型;情形二,当定性的影响因素是随机效应时,模型(1)就变成了多水平回归模型(亦称随机系数模型或分层模型)〔1~3〕;情形三,当定性的影响因素包括固定和随机两种效应时,若固定效应的定性变量未用哑变量技术处理,模型(1)就变成了具有协方差分析结构的多水平模型;反之,模型(1)仍旧是多水平回归模型。
GLM常见的简化形式
1.方差分析模型
(1)固定效应方差分析模型及F统计量
由于多因素实验设计类型很多,今以两因素析因设计为例(下同)。设固定效应因素A、B分别有a、b个水平,共有a×b种水平组合,各组合下均重复k(k≥2)次实验,Y为定量的反应变量,则与这个两因素析因设计对应的方差分析模型由式(3)给出:
yijk=μ+τi+βj+(τβ )ij+eijk
(3)
i=1,2…,a;j=1,2,…,b;k=1,2,…,n。
模型(3)中,μ是总平均效应,τi是因素A第i个水平的效应(即τi=μAi-μ),βj是因素B第j个水平的效应(即βj=μBj-μ,(τβ)ij是A与B分别在第i水平与第j水平组合条件下的交互作用的效应,eijk是随机误差分量,且
进行方差分析时,需要构造出F统计量,其方法是推导出因素A、B及交互作用A×B的期望均方,详见文献[4]。依据三个期望均方的表达式,构造出检验“H0:τi=0,H0:βj=0,H0:(τβ)ij=0对一切i,j”的三个F统计量,见式(4)。
FA=MSA/MSE、FB=MSB/MSE、FAB=MSAB/MSE
(4)
式(4)中,FA~Fa-1,ab(n-1)分布,FB~Fb-1,ab(n-1)分布,FAB~F(a-1)(b-1),ab(n-1)分布。
(2)随机效应方差分析模型及F统计量
如果某因素的水平是从较大的总体中随机选取的,那么,关于该因素的推断将会对所研究的总体的全部水平都有效,称这种因素为随机效应因素。现仍以两因素析因设计为例,来研究随机效应方差分析模型。在上述关于模型(3)的“假设条件”中,将固定效应因素A、B改为随机效应因素,其他条件不变,此时,处理资料的模型见式(5)。
yijk=μ+τi+βj+(τβ )ij+eijk
(5)
i=1,2,…,a;j=1,2,…,b;k=1,2,…,n。
模型(5)中,μ是总平均效应,τi,βj,(τβ )ij以及eijk都是随机变量。特别地,假定τi~NID(0,στ2),βj~NID(0,σβ2)、(τβ )ij~NID(0,στβ2)、eijk~NID(0,σ2)。
于是,任一观察值的方差是:
V(yijk)=στ2+σβ2+στβ2+σ2
(6)
式(6)中等号右边四项叫做方差分量,故模型(5)又称为方差分量模型。
对于方差分量模型,构造F统计量的方法仍是推导出A、B及A×B的期望均方,详见文献[4]。依据三个期望均方的表达式,构造出检验“H0∶στ2=0;H0∶σβ2=0;H0∶στβ2=0”的三个F统计量(因为对随机效应因素来说,检验关于各个处理效应的假设是没有意义的),见式(7)。
FA=MSA/MSAB
FB=MSB/MSAB
FAB=MSAB/MSE
(7)
式(7)中,FA~Fa-1,(a-1)(b-1)分布,FB~Fb-1,(a-1)(b-1)分布,FAB~F(a-1)(b-1),ab(n-1)分布。
(3)混合效应方差分析模型及F统计量
当因素A为固定效应、因素B为随机效应因素时,分析这种两因素析因设计资料的模型称为混合效应方差分析模型,见式(8)
yijk=μ+τi+βj+(τβ )ij+eijk
(8)
