回归的思想

回归的分类
3.png
7.png
回归分析:研究x和y之间相关性的分析
这里有三个关键词:
1、相关性
2、X
3、Y

1、相关性 != 因果性
4.png
5.png

6.png

数据的分类

8.png

横截面数据

9.png

时间序列数据

10.png

面板数据

1.png

一元线性回归

2.png
残差平方和在机器学习中被称为损失函数
对于线性回归中线性的理解
3.png

一元线性回归模型

1.png

最小二乘法(OLS普通最小二乘法)

2.png
3.png
4.png

检验

1、回归方程的显著性检验

显著性水平是估算整体参数落在某一个区间可能犯错的概率,一般用α表示,取值一般为0.05

异方差与多重共线

存在异方差会出现的问题:
1、OLS估计出来的回归系数是无偏的、一致的
2、假设检验无法使用(构造的统计量失效了)
3、OLS估计量不再是最优线性无偏估计量
怎么解决异方差问题:
1、使用OLS+稳健的标准误
2、广义最小二乘法GLS
检验异方差:
1、BP检验(怀特检验的特殊情况)
2、怀特检验(应用范围更广)


多重共线性
多重共线性导致的问题:
1、对系数的估计变得不准确
2、回归方程的R^2很大,F检验也很显著,但是单个系数的t检验并不显著
如何检验多重共线性:
通过方差膨胀因子VIF
3.png
解决多重共线性的方法:
1、增大样本容量(最好的方法但是不现实)
2、删除VIF>10的变量

如果仅仅是为了预测而不关心回归系数,即使模型存在多重共线性我们也不用管
逐步回归也可以解决多重共线性的问题


回归分析中还有很多内容,比如代码部分,以及stata在回归分析中的应用,本博客仅用于应试。