Stata: gen 命令中的 group() 函数的潜在风险

发布时间:2019-04-09 阅读 90

作者:连玉君 ( lianxh.cn )

Stata连享会   主页 || 视频 || 推文

连享会 - Stata 暑期班

线上直播 9 天:2020.7.28-8.7
主讲嘉宾:连玉君 (中山大学) | 江艇 (中国人民大学)
课程主页https://gitee.com/arlionn/PX | 微信版


目录


1. 问题背景

我们经常使用 generate (后文简称 gen) 命令提供的 group() 函数对某个变量进行分组,产生分组变量 gg,继而基于 gg 变量进行后续的分组回归分析。

例如,在公司金融中,常用如下代码产生融资约束的分组指标:

  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
*-用公司规模衡量融资约束,分成三组. bysort code: egen av_size = mean(size). sort av_size. gen gg = group(3). gen  FC = (gg==1)     //小规模公司定义为 FC 组. replace FC=. if gg==2 //丢弃中间组 . reg y x if FC==0. est store m_FC. reg y x if FC==1. est store m_NFC
. esttab m_FC m_NFC

恐怖的事情就要发生了!

后续做分组回归时,你会发现:执行相同的代码,但两次得到的结果居然不同!

原因何在??


一个小例子

我先虚构一份数据,让各位了解 group() 函数的工作原理,搞明白这件事情后,上面的问题就迎刃而解了。

这份数据很简单,只有 4 行观察值。我们对变量 x 排序后再执行 gen g = group(2) 命令,以便将样本分成两组。为了测试分组结果是否唯一\稳定,我进一步使用 tatstat 命令计算了两组的均值。

  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
 clear  input x    y         3   13         2   10        1    1         2    8 end 
sort x \\ 由小到大排序 gen g = group(2) \\ 等分两组 tabstat x y, by(g) f(%3.1f) sort g x y list, sepby(g) noobs

第一轮执行的结果如下:

  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
. tabstat x y, by(g) f(%3.1f)
Summary statistics: mean by categories of: g
g | x y---------+-------------------- 1 | 1.5 5.5 2 | 2.5 10.5---------+-------------------- Total | 2.0 8.0------------------------------
. sort g x y
. list, sepby(g) noobs
+------------------+ | id x y g | |------------------| | 301 1 1 1 | | 201 2 10 1 | |------------------| | 401 2 8 2 | | 101 3 13 2 | +------------------+

可以看到,g 取值为 1 和 2 时两组的均值分别为 5.5 和 10.5,差为 5。

我又连续执行了两遍上述代码,结果都没有任何变化,似乎表明上述分组结果是稳定的。

然而,当我执行第四次时,得到了如下结果:

  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
.  tabstat x y, by(g) f(%3.1f)
Summary statistics: mean by categories of: g
g | x y---------+-------------------- 1 | 1.5 4.5 2 | 2.5 11.5---------+-------------------- Total | 2.0 8.0------------------------------
. sort g x y
. list, sepby(g) noobs
+------------------+ | id x y g | |------------------| | 301 1 1 1 | | 401 2 8 1 | |------------------| | 201 2 10 2 | | 101 3 13 2 | +------------------+

此时,两组的均值分比为 4.5 和 11.5,差为 7。

留给诸位 2 分钟,对比一下两组结果,然后想想为什么会出现结果不一致的现象?

2. 揭秘:group() 函数的工作原理

细心的读者已经发现了结果发生漂移的原因:id=201 和 id=401 的两个观察值的 x 变量具有相同的取值,x=2。然而,他们的 y 变量取值却不同。当我们执行 sort x 命令对 x 变量进行排序时,id=201 会随机地被排在第二位或第三位。虽然这对 x 的排序结果没有任何影响,但 y 变量中各个观察值出现的顺序却存在差异。

让我们更细致地解读一下 group() 函数的工作原理。

上面的分析中我们用到了如下两条核心命令:

  • ounter(line
  • ounter(line
 sort x            \\ 由小到大排序 gen g = group(2)  \\ 等分两组

也就是说,gen 命令下的 group() 函数按如下两个步骤工作:

  • Step 1: 使用 sort 命令对样本进行排序;
  • Step 2: 将观察值平均分配为两组 (group(2))。比如,上例中样本数 N=4,那么排序后的第 1 个和第 2 个观察值就被分到第一组 (gg=1),第 3 和 4 个观察值被分到第二组 (gg=2)。

显然,某个观察值被分到第一组还是第二组,并不是由 group() 函数决定的,而是它之前的 sort 命令决定的。

如果诸位此时输入 help sort 命令查看其帮助文件,就会发现他有一个唯一的选项——stable(我用了十几年的 Stata,今天才发现原来 sort 命令还有选项!)

执行 sort x 时,如果不加入 stable 选项,那么就会随机出现如下两种情形中的一种:

  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
   CaseA          Case_B -----------  -----------  x    y     |     x   y  1    1     |     1   1  2   10     |     2   8  2    8     |     2  10   3   13     |     3  13 -----------  -----------

这就是我们此前看到的两种情形。

加入 stable 选项后,每次执行 sort x 后得到的结果都是相同的,即 Case A (它维持了原始数据中 y 变量各个观察值的相对顺序)。

其实,上述表述并不严谨,sort x, stable 其实上只是帮助我们维持在执行 sort 命令前一刻内存中数据的相对状态。然而,如果在 sort 命令之前执行过会打乱样本中各个观察值相对位置的命令,即使在 sort 命令中附加 stable 选项,仍然无法保证排序结果的稳定性,也就无法保证 group() 函数分组的唯一性。

有兴趣的读者可以执行如下命令测试一下。

  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
 clear  input x    y         3   13         2   10        1    1         2    8 end  rsort // 外部命令,随机排序,使用 ssc install rsort 下载 sort x, stable   gen g = group(2) tabstat x y, by(g) f(%3.1f) sort g x y list, sepby(g) noobs

当然,实证分析中很少有人会使用上例中的 rsort 命令主动打乱观察值顺序 (一个典型的特例是在 PSM 分析中使用最近邻匹配时,需要预先打乱观察值顺序)。更一般的情形是如下命令 (你在毫不自知的情况下打乱了样本顺序):

  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
bysort industry year: egen av_x = mean(x)  sort av_x, stablegen g_x = group(10)……

2.1 同类问题

其实,当分组变量本身存在较多重复值时,egen 命令提供的 pctile() 函数,以及 quantiles 命令都存在上述问题,因为背后的道理都是相同的。

下面是针对 quantiles 命令的测试代码,也会存在结果不稳定的问题。

  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
 clear  input x    y         3   13         2   10        1    1         2    8 end   quantiles x, gen(gg) n(2)  tabstat x y, by(g) f(%3.1f) sort g x y list, sepby(g) noobs 

2.2 小结

  • 如果用于分组变量存在诸多重复值,就非常容易导致上述问题;
  • 上例中,x 变量只有一个重复值 (数值 2 重复出现了两次),极端状况是 x 的所有观察值都集中于某一个取值,那么此时使用 group() 函数进行分组,就相当于随机分组,可能每次的结果都会不同。有兴趣的读者可以反复运行一下如下代码:
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
 clear  input x    y         2   13         2   10        2    1         1    8       2   12 end 
sort x gen g = group(2) tabstat x y, by(g) f(%3.1f) sort g x y list, sepby(g) noobs

3. 解决方法

狭义而言,这个问题无解。

实证分析中的建议就是:

  • 如果分组变量本身有很多重复值,那么使用 group() 函数进行分组是非常糟糕的选择。Note:类别变量 (如教育水平)、计数变量 (如教育年限, 专利个数等) 都会存在很多重复值。此时最好是人为地事先设定分组界点,比如教育年限低于 12 年定义为「Low」,高于 12 年定义为「High」。
  • 如果分组变量是连续变量,如公司规模 (ln(总资产))、负债率等,出现重复值的概率很小,此时可以使用 generate 命令下的 group() 函数,但更好的办法是使用 quantiles 命令,基于分位数进行分组。但需要注意的是,quantiles 命令在样本数太小或分组个数太小时都不适用。
  • 更好的办法是基于分位数分组 (但分组结果不再保证每组的样本数相当近似相等),此时可以开始用 xtile,或 egen 命令下的 pctile() 函数。

使用 xtile 命令

由于 xtile 基于分位数分组,使用 sum x, detail 命令可知,x 变量的中位数是 2,因此,xitle gg=x, n(2) 会以 x=2 为分界点 (cutpoint) 将样本分成两组,用新生成的变量 gg 加以标记。此时,分组结果并不均等,这在小样本中是非常普遍的事情,对于大样本而言,组间样本数的差异基本上可以忽略。

对于前文提到的类别变量,或续别变量,我们可以使用 xtile 命令的 cutpoints() 选项人为设定分界点,此处不再赘述。也可以使用 egen 命令中的 cut() 函数实现相似的目的,缺陷是此时无法配合使用 bysort 前缀。

  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
 clear  input id    x    y         101   3   13         201   2   10        301   1    1         401   2    8 end   xtile gg = x, n(2) // New tabstat x y, by(g) f(%3.1f) sort g x y list, sepby(g) noobs 

结果如下:

  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
  • ounter(line
.  tabstat x y, by(g) f(%3.1f)
Summary statistics: mean by categories of: gg (2 quantiles of x)
gg | x y---------+-------------------- 1 | 1.7 6.3 2 | 3.0 13.0---------+-------------------- Total | 2.0 8.0------------------------------
. sort g x y
. list, sepby(g) noobs
+-------------------+ | id x y gg | |-------------------| | 301 1 1 1 | | 401 2 8 1 | | 201 2 10 1 | |-------------------| | 101 3 13 2 | +-------------------+

   

相关课程

连享会-直播课 上线了!
http://lianxh.duanshu.com

免费公开课:


课程一览

支持回看,所有课程可以随时购买观看。

专题 嘉宾 直播/回看视频
Stata暑期班 连玉君
江艇
线上直播 9 天
2020.7.28-8.7
效率分析-专题 连玉君
鲁晓东
张 宁
视频-TFP-SFA-DEA
已上线,3天
文本分析/爬虫 游万海
司继春
视频-文本分析与爬虫
已上线,4天
空间计量系列 范巧 空间全局模型, 空间权重矩阵
空间动态面板, 空间DID
研究设计 连玉君 我的特斯拉-实证研究设计-幻灯片-
面板模型 连玉君 动态面板模型-幻灯片-
直击面板数据模型 [免费公开课,2小时]

Note: 部分课程的资料,PPT 等可以前往 连享会-直播课 主页查看,下载。


关于我们

  • Stata连享会 由中山大学连玉君老师团队创办,定期分享实证分析经验。直播间 有很多视频课程,可以随时观看。
  • 连享会-主页知乎专栏,300+ 推文,实证分析不再抓狂。
  • 公众号推文分类: 计量专题 | 分类推文 | 资源工具。推文分成 内生性 | 空间计量 | 时序面板 | 结果输出 | 交乘调节 五类,主流方法介绍一目了然:DID, RDD, IV, GMM, FE, Probit 等。
  • 公众号关键词搜索/回复 功能已经上线。大家可以在公众号左下角点击键盘图标,输入简要关键词,以便快速呈现历史推文,获取工具软件和数据下载。常见关键词:
    • 课程, 直播, 视频, 客服, 模型设定, 研究设计, 暑期班
    • stata, plus,Profile, 手册, SJ, 外部命令, profile, mata, 绘图, 编程, 数据, 可视化
    • DID,RDD, PSM,IV,DID, DDD, 合成控制法,内生性, 事件研究, 交乘, 平方项, 缺失值, 离群值, 缩尾, R2, 乱码, 结果
    • Probit, Logit, tobit, MLE, GMM, DEA, Bootstrap, bs, MC, TFP, 面板, 直击面板数据, 动态面板, VAR, 生存分析, 分位数
    • 空间, 空间计量, 连老师, 直播, 爬虫, 文本, 正则, python
    • Markdown, Markdown幻灯片, marp, 工具, 软件, Sai2, gInk, Annotator, 手写批注, 盈余管理, 特斯拉, 甲壳虫, 论文重现, 易懂教程, 码云, 教程, 知乎

连享会主页  lianxh.cn
连享会主页 lianxh.cn

连享会小程序:扫一扫,看推文,看视频……


扫码加入连享会微信群,提问交流更方便

???? 连享会学习群-常见问题解答汇总:
???? https://gitee.com/arlionn/WD