首发于 中国社科院数量经济学
切换模式
多元线性回归思维导图
刘博
随机漫步的傻瓜
多元线性回归
内容来自《计量经济学（第四版）》第三章。
1. 多元线性回归模型
形式
- Y=b_0+b_1x_1+…+b_kx_k+e
- e被称为残差，是总体回归函数中随机干扰项u的近似替代
基本假设
- 对模型设定的假设
- 假设1：回归模型是正确设定的
- 对解释变量的假设
- 假设2：解释变量有变异性，且各随机变量之间不存在严格线性相关性（无完全多重共线性）
- 对随机干扰项的假设
- 假设3：随机干扰项具有条件零均值性。任意不同观测点的随机干扰项均值都是0
- 表明u与X不存在任何形式的相关性
- 各X是同期外生的或与u同期不相关
- 假设4：随机干扰项具有条件同方差及序列不相关性。任意观测点随机干扰项的方差都是同一个常数。任意两个不同观测点的随机干扰项不相关
- 假设5：随机干扰项满足正态分布。
2. 参数估计
任务
- 对参数进行估计
- 求随机干扰项的方差估计delta^2
方法
- 普通最小二乘法
- 得到正规方程组，并求解
- 最大似然估计法
- 矩估计法
参数估计的统计性质
- 线性性
- 线性相关
- 无偏性
- 等于总体均值
- 有效性
- 最小方差
- 渐进无偏性
- N趋近无穷大时，等于总体均值
- 一致性
- n趋近无穷大时，收敛于总体真值
- 渐进有效性
- N趋近无穷大时，趋近于最小方差
样本容量
- 最小样本容量
- n>=k+1
- 满足基本要求的样本容量
- n>=3(k+1)
3. 统计检验
拟合优度检验
- R^2往往随着解释变量的增加而增大，因此必须调整
- 调整的可决系数
- 残差平方和与总离差平方和分别除以各自的自由度
方程总体线性性的显著性检验（F检验）
- 模型的参数是否显著不为0
- 拟合优度与显著性检验的关系
- 拟合优度从模型出发，检验对样本观测值的拟合程度
- 显著性检验从样本观测值出发，检验模型线性关系的显著性
变量的显著性检验（t检验）
- 方程总体的线性关系是显著的，并不能说明每个解释变量对被解释变量的影响都是显著的。
- 一元模型中，t检验与f检验是一致的
参数的置信区间估计
- 估计的参数值离真值有“多近”
- 如何减小置信区间
- 增大样本容量n
- 提高模型的拟合优度
- 提高样本观测值的分散度
4. 预测
严格地说，由模型得出的“预测值”，只是被解释变量预测值的估计值，而不是预测值。
科学地预测应该同时给出均值E(Y)和点预测值Y的置信区间
5. 可化为线性的多元非线性回归模型
解释变量非线性
- 直接置换法
- 将非线性的解释变量置换为线性变量
参数非线性
- 函数变换法
- 例：两边取对数
6.含有虚拟变量的多元线性回归模型
虚拟变量
- 取值只有1或0的人工变量
- 用D表示
虚拟变量的引入
- 加法方式
- 乘法方式
虚拟变量的设置原则
- 个数
- 比类别数少1
- 虚拟变量陷阱
- 如果多设置了一个虚拟变量，会导致模型不满秩，进而参数无法唯一求出
7. 受约束回归
定义：模型施加约束条件后进行回归，称为受约束回归；不添加任何约束的回归称为无约束回归。
模型参数的线性约束
- 能否对施加约束条件的模型进行回归？
- 需要进一步检验
- F检验
- x^2检验
- T检验
- 通常情况下，施加约束条件会降低模型的解释能力
- 如果约束条件为真，则受约束回归模型与无约束具有相同解释能力
对回归模型增加或减少解释变量
- T检验可对单个变量的取舍进行判断
- F检验能够对多个变量的同时取舍进行判断
不同组之间回归函数的差异
- 邹氏参数稳定性检验
- 利用F检验
- 假设：两组样本的回归参数无差别
- 第一步：对两组样本分别进行回归，得到相应的残差平方和
- 第二步：将两组合并后进行回归，得到大样本下的残差平方和
- 第三步：F检验，是否显著，如果f大于临界值，则拒绝原假设，认为两组的回归函数有差异，即它们的参数不完全相同
编辑于 2019-02-09 01:40
计量经济学
文章被以下专栏收录
