# 1. T检验
# 1.1. 什么是T检验?
T检验是假设检验的一种,又叫student t检验(Student’s t test),主要用于样本含量较小(例如n<30),总体标准差σ未知的正态分布资料。
T检验用于检验两个总体的均值差异是否显著。
# 1.2. 一个例子
例1:
“超级引擎”工厂是一家专门生产汽车引擎的工厂,根据政府发布的新排放要求,引擎排放平均值应低于20ppm,如何证明生产的引擎是否达标呢?(排放量的均值小于20ppm)
# 1.3. 思路1
一个直接的想法就是,把这个工厂所有的引擎都测试一下,然后求一下排放平均值就好了。比如工厂生产了10个引擎,排放水平如下:
15.6 16.2 22.5 20.5 16.4
19.4 16.6 17.9 12.7 13.9
排放平均值为
(15.6+16.2+22.5+20.5+16.4+19.4+16.6+17.9+12.7+13.9)/10=17.17
小于政府规定的20ppm,合格!
这也太简单了!
然而,随着“超级引擎”工厂规模逐渐增大,每天可以生产出10万个引擎,如果把每个引擎都测试一遍,估计要累死人了……
有没有更好的方法?
# 1.4. 思路2
由于引擎数量太多,把所有引擎测试一遍太麻烦了,“智多星”有一个好想法:
可不可以采用“反证法”?先假设所有引擎排放量的均值为μ,然后**随机抽取10个引擎,看看这10个引擎的排放量均值与假设是否相符,如果相符,则认为假设是正确的,反之认为假设是错误的。**这样,就可以通过一小部分数据推测数据的总体,真是太棒了!
具体怎么操作呢?
先建立两个假设,分别为:
- H0:μ⩾20(原假设)
- H1:μ<20 (备择假设)
【μ代表总体(所有引擎的排放量)均值】
在原假设成立的基础上,求出”取得样本均值或者更极端的均值”的概率,如果概率很大,就倾向于认为原假设H0是正确的,如果概率很小,就倾向于认为原假设H0是错误的,从而接受备择假设H1。
那么如何求这个概率p呢?
这就需要引入一个概念——统计量
简单的讲,统计量就类似于用样本已知的信息(如样本均值,样本标准差)构建的一个“标准得分”,这个“标准得分”可以让我们求出概率p
由于样本服从正态分布,且样本数量较小(10),所以这里要用到的统计量为t统计量,公式如下:
t=(x¯−μ)/(S/√n)∼t(n−1)
- x¯:样本均值
- μ:总体均值
- S:样本标准差
- n:样本容量
该t统计量服从自由度为n−1的t分布
让我们试验一下!
现在抽取出10台引擎供测试使用,每一台的排放水平如下:
15.6 16.2 22.5 20.5 16.4
19.4 16.6 17.9 12.7 13.9
样本均值
样本方差
样本标准差
我们把原假设μ⩾20拆分,先考虑μ=20的情况
将数值带入t统计量公式中,可以得出t=(17.17−20)/(2.98/√10)=−3.00,由于t统计量服从自由度为9的t分布,我们可以求出t统计量小于-3.00的概率,即下图阴影部分面积
# 1.5. p值
通过查询t分位数表(见附录),我们可知,**当自由度为9时,t统计量小于-2.821的概率为1%,而我们求得的t统计量为-3.00,所以t统计量小于-3.00的概率比1%还要小(因为-3.00在-2.81的左边,所以阴影面积更小)。 ** 这个概率值通常被称作“p值”,即在原假设成立的前提下,取得“像样本这样,或比样本更加极端的数据”的概率。
到这里,我们可以总结出如下结论:
在μ=20成立(所有引擎排放均值为20ppm)的前提下,从所有引擎中随机选出10个引擎,这10个引擎排放均值小于17.17的概率小于1%
再考虑μ>20的情况:
由t统计量的公式t=(x¯−μ)/(S/√n)可以看出,当μ增大,其他变量均保持不变时,t统计量的值会变小,因此求概率时阴影面积也会变小,总结来看,我们得出如下结论:
在μ⩾20成立的前提下,从所有引擎中随机选出10个引擎,这10个引擎排放均值小于17.17的概率小于1%
由于1%的概率很小,所以我们更倾向于认为,原假设H0:μ⩾20是错误的,从而接受备择假设H1。
综上,我们认为,所有引擎的排放量均值小于20ppm,工厂生产的引擎符合标准。
# 1.6. 第一类错误与第二类错误
在例1中,我们认为1%的概率很小,所以更倾向于认为原假设是错误的,从而接受了备择假设。但这样的判断是准确的吗?为了探讨这个问题,我们考虑以下四种情况:
即:
- 如果事实为H0成立,而我们做出了接受备择假设H1的判断,则犯了第一类错误——拒真
- 如果事实为H1成立,而我们做出了接受原假设H0的判断,则犯了第二类错误——取伪
所以用另外一种角度来看上面的例子:
在μ⩾20成立的前提下,从所有引擎中随机选出10个引擎,这10个引擎排放均值小于17.17的概率小于1%,当我们据此做出“拒绝原假设H0,接受备择假设H1”的结论时,有小于1%的概率犯第一类错误,因为H0仍有小于1%的概率是成立的,虽然这个概率很小。
# 1.7. α值
所以利用t检验做出的结论并不是百分之百正确的,仍有很小的几率会犯错误。对于上面的例子,有些人会认为1%的概率已经很小了,可以拒绝原假设,还有些人会认为1%的概率虽然很小,但不足以拒绝原假设。为了解决这个问题,统计学家们提出了一个阈值,如果犯第一类错误的概率小于这个阈值,就认为可以拒绝原假设,否则认为不足以拒绝原假设。这个阈值就叫α。
# 1.8. 另一种流程
现在,让我们尝试引入α,用另一种流程解决例1:
1、建立原假设和备择假设
- H0:μ⩾20
- H1:μ<20
2、确定α
令α=0.05 (α的值通常为0.01,0.05,0.1,视具体问题而定)
3、确定用于决策的拒绝域
在确定了α和t统计量自由度(根据样本容量可以求出,在这个例子中,自由度为[样本容量-1])的前提下,我们可以通过查询t分位数表,找出“拒绝域”,如果t统计量落入拒绝域内,就拒绝原假设,否则接收原假设。
根据t分位数表,我们查出当自由度为9时,t⩽−1.833的概率为0.05,因此,拒绝域为{t | t ⩽ −1.833}
4、查看样本结果是否位于拒绝域内
将样本均值和样本标准差带入t统计量计算公式,得出t=-3.00,落入拒绝域内
5、做出决策
拒绝原假设H0,接受备择假设H1,认为样本均值与总体均值差异显著,认为所有的引擎排放量平均值小于20ppm
以上就是t检验的标准化流程。
# 1.9. 假设形式与拒绝域的推广
在例1中,我们的假设形式为:
- H0:μ⩾x0
- H1:μ<x0 (x0为某一常数)
拒绝域的形式为{t | t ⩽ c} (cc为某一常数),如果用数轴表示,形如:
假设的形式与拒绝域的形式有没有什么联系呢?
为了进一步讨论,我们将假设的形式做如下分类:
类别1:备择假设中包含≠
- 1.1 H0:μ=x0 vs H1:μ≠x0
类别2:备择假设中包含>或<
- 2.1 H0:μ=x0 vs H1:μ>x0
- 2.2 H0:μ=x0 vs H1:μ<x0
- 2.3 H0:μ⩾x0 vs H1:μ<x0
- 2.4 H0:μ⩽x0 vs H1:μ>x
注意:原假设和备择假设不一定将数轴全部覆盖,在实际生活中,形如2.1和2.2的问题是存在的
1、类别1称为双尾检验,由于备择假设中包含≠,拒绝域分布在两侧
2、类别2称为单尾检验
2.1、备择假设中包含>的情形,拒绝域在数轴右侧
2.2、备择假设中包含<的情形,拒绝域在数轴左侧
# 1.10. t检验的分类
t检验分为单总体t检验和双总体t检验
# 1.11. 单总体t检验
检验一个样本平均数与一个已知的总体平均数差异是否显著。
适用条件:
1.总体服从正态分布
2.样本量小于30(当样本量大于30时,用Z统计量)
统计量:
- x¯——样本均值
- μ——总体均值
- S——样本标准差
- n——样本容量
例1就是单样本t检验的例子。
# 1.12. 双总体t检验
检验两个样本各自所代表的总体的均值差异是否显著,包括独立样本t检验和配对样本t检验
# 1.12.1. 独立样本t检验
检验两个独立样本所代表的总体均值差异是否显著。
适用条件:
- 两样本均来自于正态总体
- 两样本相互独立
- 满足方差齐性(两总体方差相等)
统计量:
其中
- x¯——第一个样本均值
- y¯——第二个样本均值
- m——第一个样本容量
- n——第二个样本容量
- S21——第一个样本方差
- S22——第二个样本方差
# 1.12.2. 配对样本t检验
检验两个配对样本所代表的总体均值差异是否显著。
配对样本主要包含以下两种情形:
1、同源配对,也就是同质的对象分别接受两种不同的处理。例如:为了验证某种记忆方法对改善儿童对词汇的记忆是否有效,先随机抽取40名学生,再随机分为两组。一组使用该训练方法,一组不使用,三个月后对这两组的学生进行词汇测验,得到数据。问该训练方法是否对提高词汇记忆量有效?
2、自身配对
2.1、某组同质对象接受两种不同的处理。例如:某公司推广了一种新的促销方式,实施前和实施后分别统计了员工的业务量,得到数据。试问这种促销方式是否有效?
适用条件:
每对数据的差值必须服从正态分布
统计量:
两配对样本对应元素做差后形成的新样本
- xd¯——新样本均值
- Sd——新样本标准差
- n——新样本容量
# 2. 附录
# 2.1. 什么是t分布
t分布的形状与正态分布很相似,都是中间高,两端低的“钟形”,当t分布的自由度为无穷大时,其形状与正态分布相同,随着自由度的减小,t分布的中间变低,两端变高,与正态分布相比更加“平坦”。
t分布接近于正态分布N(0,1)(灰色的虚线就是N(0,1)),下面是ν=2的t分布:
而t值,实际上对应的就是横坐标的值,比如说t值等于4。
t=4之后的曲线下面积其实就是P值:
# 2.2. 为什么t统计量服从t分布
# 2.2.1. 单样本t检验
# 2.2.2. 独立样本t检验
# 2.2.3. 配对样本t检验
可将两配对样本对应元素做差,得到新样本,这个新样本可视作单样本,与单样本t检验统计量证明方法相同。