在日常统计工作或者质量管理活动中,我们经常遇到两者进行比较的情况。无论只是实验还是统计抽样,我们都想知道两者是否相同或存在某种对比情况。在这种情况下,我们可以采用统计方法――假设检验,它可以告诉我们两者是否相等,同时也可以告诉我们,在做出这样的结论时,所承担的风险。
在自然界生物现象个体差异是客观存在的,我们不可能对每个个体进行分析,大部分情况下只能抽样,用样本来代替整体进行分析,其误差不可避免。当样本均值与总体均值有差别时,在此种情况就要区分误差是由抽样产生还是其它因素不同造成的影响。而假设检验的目的就是排除抽样误差的影响,区分差别在统计上是否成立,并了解事件发生的概率。
假设检验(Hypothesis Testing) 又称统计假设检验,是数理统计学中根据一定假设条件由样本推断总体,来判断样本与样本,样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。其基本原理是先对总体的特征作出某种假设,然后通过抽样研究的统计推理,对此假设应该被拒绝还是接受作出推断。
假设检验的基本思想是小概率反证法思想。小概率思想是指小概率事件在一次试验中基本上不会发生。至于怎样才算是“小概率”呢?通常可将概率不超过0.05的事件称为“小概率事件”,也可视具体情形而取0.1或0.01等。反证法思想是先提出假设,再用适当的统计方法确定假设成立的可能性大小,如可能性小,则认为假设不成立,若可能性大,则还不能认为假设不成立。
在假设检验中通常有两个假设命题即原假设和备择假设:
原假设又称零假设,指进行统计检验时预先建立的假设,其内容一般是希望被证明为错误的假设或者是需要着重考虑的假设。
备择假设又称对立假设。备择假设与原假设是依赖于假设检验而存在的,备择假设处于原假设的对立面,故又称为对立假设。
原假设的设立原则如下:
1)往往把有把握的、不能轻易被否定的命题作为原假设H0,而把无把握的、不能轻易肯定的命题作为备择假设H1;
2)当我们的目的是希望取得对某一陈述强有力的支持时,把这一陈述的对立面作为原假设;
3)尽量使后果严重的错误成为第一类错误。
在假设检验中,由于样本信息的局限性,势必会产生错误,错误无非只有两种情况,在统计学中,我们一般称为Ⅰ类错误,Ⅱ类错误。
Ⅰ类错误:原假设H0实际上是真的,但被假设验证为假的,导致弃真错误,发生的概率为α,也称为α错误;
Ⅱ类错误:原假设H0实际上是假的,但被假设验证为真的,导致取伪错误,发生的概率为β,也称为β错误;
其中α称为显著性水平,意义是在一次试验中小概率事物发生的可能性大小,即发生的概率,取值:0.1, 0.05, 0.001等。如果犯I类错误损失更大,为减少损失,α值取小;如果犯II类错误损失更大,α值取大。
Ⅰ类错误可能产生原因:
1、样本中极端数值。
2、采用决策标准较宽松等。
Ⅱ类错误可能产生的原因:
1、实验设计不灵敏。
2、样本数据变异性过大。
3、处理效应本身比较小等。
一般情况下,考虑控制假设假设检验的显著水平大小来降低Ⅰ类错误的概率,显著水平越小,发生错误的概率就越低。犯Ⅰ类错误的危害较大,由于报告了本来不存在的现象,则因此现象而衍生出的后续研究、应用的危害将是不可估量的。相对而言,Ⅱ类错误的危害则相对较小,因为研究者如果对自己的假设很有信心,可能会重新设计实验,再次来过,直到得到自己满意的结果。
α与β两者的关系:α β不一定等于1;α越大,β越小,反之α越小β越大;在样本容量确定的情况下,α与β不能同时增加或减少;当样本容n增大时,α和β可以同时减小
假设检验的形式有如下三种:
H0——原假设, H1——备择假设
(1)双侧检验:H0:μ = μ0 ,H1:μ≠μ0 ;
(2)右侧单边检验:H0:μ≤μ0 ,H1:μ>μ0;
(3)左侧单边检验:H0:μ≥μ0 ,H1:μ<μ0;
假设检验可分为正态分布检验、正态总体均值分布检验、非参数检验三类。
正态分布检验,即判断一样本所代表的背景总体与理论正态分布是否没有显著差异的检验,具有最重要的意义,也是应用最为广泛的检验方法,是参数统计分析的前提。
非参数统计是在对总体的分布不作假设或仅作非常一般性假设条件下的统计方法。
下面介绍几种常见的假设检验:
1. T检验
T检验亦称student t检验(Student's t test),是用小样本检验总体参数,特点是在均方差不知道的情况下,可以检验样本平均数的显著性。主要用于样本含量较小(例如n<30),总体标准差σ未知的正态分布资料。
2. Z检验(U检验)
Z检验一般用于大样本(即样本容量大于30)平均值差异性检验的方法。它是用标准正态分布的理论来推断差异发生的概率,从而比较两个平均数的差异是否显著。
3.卡方检验
卡方检验主要是比较两个及两个以上样本率( 构成比)以及两个分类变量的关联性分析,它属于非参数检验的范畴。其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。
4.F检验
F检验(F-test),又叫做联合假设检验。它是一种在原假设之下,统计值服从F-分布的检验。其通常是用来分析用了超过一个参数的统计模型,以判断该模型中的全部或一部分参数是否适合用来估计母体。
上面几种分布,如何构造呢?简单说明如下:
1. 如果已知分布的均值和方差,则可以构造标准正态分布,利用标准正态分布表得到确定值。即Z检验法;
2. 如果已知分布的均值,不知道方差,则可以用方差的无偏估计代替方差,构造t分布,查t分布表。即t检验法;
3. 如果均值、方差都不知,利用样本的方差,构造卡方分布,查卡方分布表。即卡方检验;
4. 如果均值、方差都不知,存在两个分布的比较,构造F分布,查F分布表。即F检验;
假设检验的常见步骤如下:
1. 提炼问题
将实际问题提炼为统计问题,是很重要的一步,也是关键的一步。
2. 建立假设
假设检验需要建立一对相互对立的假设,原假设H0和备择假设H1,通常我们将无区别的、不需证明的放在原假设,将有差别的、需要证明的放在备择假设。
3. 确定水平
确定显著性水平α。显著性水平也叫第一类风险,大多数情况下α取0.05,当然也有取0.1或者0.01的。
4. 验证条件
在很多的方法应用中,都会有一些前提条件,如单样本z检验要求收集的数据要服从正态分布;方差分析中要求每个样本都要服从正态分布,且要满足方差齐性即方差相等的要求。这是因为每一种检验方法都是在这些前提假设中推导出来的,如果这些前提条件不能满足,则这个方法应用的效果就要大打折扣,这就是在每次检验是要验证前提条件的原因。
5.确定统计量
确定了检验方法后,就可以列出它的检验统计量,这是关键的一步。
总体均值的检验:
小样本总体标准差σ未知:
总体比例的检验:
总体方差的检验:
两个总体均值之差的检验:
σ^2未知,且样本量小,两总体方差相等:
σ^2未知,且样本量小,两总体方差不相等:
两个总体比例之差的检验:
a.两个总体比例相等:
b.两个总体比例之差不为零:
两个总体方差比的检验:
6. 确定拒绝域
在确定了显著性水平后,即可以根据检验统计量计算出拒绝域。所谓拒绝域,就是根据原假设划定的一个区域,当所抽样本计算出的统计量落在这个区域时,就可以拒绝原假设,它代表的是样本远离原假设的程度。
7. 据值判断
根据样本计算检验统计量的值并进行判断。确定了拒绝域,下面就是根据样本计算检验统计量的值,如果这个值落在拒绝域中,则拒绝原假设,接受备择假设;如果没有落在拒绝域,就说明拒绝原假设的证据还不够充分,但尽量不要说接受原假设。现在流行的方法是计算p值,即备择假设远离以及更远离原假设的概率。将求得的统计量绝对值与界值限相比,可以确定P值。
8. 结果转换
将统计判断结果转换成实际结果,要把统计上得出的结论转换为实际的结论,并据此作出相应的决策。
在上述步骤中既然提到P值,我们就了解一下它。
P值即概率,反映某一事件发生的可能性大小。假设检验是推断统计中的一项重要内容。用SAS、SPSS等专业统计软件进行假设检验时常见到P值( P-Value),P值是进行检验决策的另一个依据。统计学根据显著性检验方法所得到的P 值,一般以P < 0.05 为显著, P <0.01 为非常显著,其含义是样本间的差异由抽样误差所致的概率小于0.05 或0.01。实际上,P 值不能赋予数据任何重要性,只能说明某事件发生的机率。
计算出P 值后,将给定的显著性水平α与P 值比较,就可作出检验的结论:
如果α > P 值,则在显著性水平α下拒绝原假设。
如果α ≤ P 值,则在显著性水平α下接受原假设。
在实践中,当α = P 值时,也即统计量的值C 刚好等于临界值,为慎重起见,可增加样本容量,重新进行抽样检验。
为加深理解,P值使用和解释的6原则如下:
1. p值可以表示数据与一个特定的统计模型是否相容;
例如在原假设通常用来假设一个效应不存在,如两组之间没有差异,两个因素没有相关性。此时p值越小,数据与原假设的不相容性越大,可以解释为这些数据怀疑或否定了原假设。
2. p值不能代表假说为真的概率,也不代表数据完全是由随机因素造成的概率;p值是所得数据与解释之间关系的说明,而不是对解释本身的说明。
3. 科研结论、商业决定和政策制定不能完全凭p是否小于一个特定的值来决定;重大决策与结论中,需要考虑诸多因素,如实验设计、数据质量、外部证据、假设的合理性等等,不能只由p值决定Yes or No的问题。
4. 正确的推理需要全面的报告和透明度;
正确的科学推理,需要研究者公布研究中包含的所有假设,所有数据收集的决定,所有进行的统计分析和所有p值。
5. 一个p值,或者显著性,不能表示一个效应的大小,或者一个结果的重要性;p值大小不代表效应大小。再微小的效应,达到一定的样本量和测量精度,都能得到小的p值;再大的效应,在样本量和测量精度不那么高的时候,也可能只能得到普普通通的p值。
6. p值本身不能作为判断一个模型或假说的良好量度。
单独的p值只能提供有限信息。用一个略小于0.05的p值来拒绝原假设就难以有说服力;相反,一个相对较大的p值也不能说就赞成原假设。当有其它方法可选时,数据分析不应该以一个简单的p值计算作为结束。
在用假设检验时应注意如下的问题:
1、做假设检验之前,应注意资料本身是否有可比性。
2、当差别有统计学意义时应注意这样的差别在实际应用中有无意义。
3、根据资料类型和特点选用正确的假设检验方法。
4、根据专业及经验确定是选用单侧检验还是双侧检验。
5、当检验结果为拒绝无效假设时,应注意有发生I类错误的可能性,即错误地拒绝了本身成立的H0,发生这种错误的可能性预先是知道的,即检验水准那么大;当检验结果为不拒绝无效假设时,应注意有发生II类错误的可能性,即仍有可能错误地接受了本身就不成立的H0,发生这种错误的可能性预先是不知道的,但与样本含量和I类错误的大小有关系。
6、判断结论时不能绝对化,应注意无论接受或拒绝检验假设,都有判断错误的可能性。
7、报告结论时是应注意说明所用的统计量,检验的单双侧及P值的确切范围。
假设检验作为一种重要的统计推理方法,在工作中越来越被广泛使用。统计推断是由样本的信息来推测母体性能的一种方法,它又可以分为两类问题,即参数估计和假设检验。实际生产和科学实验中,大量的问题是在获得一批数据后,要对母体的某一参数进行估计和检验。参数估计是假设检验的第一步,没有参数估计,也就无法完成假设检验。假设检验根据原资料假设,然后利用样本资料采用一定的统计方法计算出有关检验的统计量,依据一定的概率原则,以较小的风险来判断估计数值与总体数值是否存在显著差异,是否应当接受原假设选择,利用统计学思维,得出合理的推断。
了解假设检验,使用假设检验,能让我们在做判断时事半功倍,做出的决策更科学,不武断。
Copyright © 2008-2022 秒下下载站
m.down10s.com .All Rights Reserved