主要观点总结
本文探讨了计量经济学领域中的p-hacking和发表偏倚现象,重点关注顶级经济学期刊中随机对照试验(RCT)、双重差分法(DID)、工具变量(IV)和断点回归设计(RDD)等方法的运用。研究发现,p-hacking和发表偏倚在不同方法中的程度存在差异,其中工具变量(IV)和双重差分法(DID)尤为突出。文章通过三种方法量化显著性区域内z值的过剩或缺乏,并探讨了研究方法、研究设计、编辑和审稿人的态度等因素对结果的影响。同时,文章还提供了关于多期DID或交叠DID的最新进展和相关代码解读。
关键观点总结
关键观点1: 本文探讨了计量经济学领域中的p-hacking和发表偏倚现象,这是经济学领域可信度革命的一部分。
本文研究了在顶级经济学期刊中,不同因果推断方法(如RCT、DID、IV和RDD)在p-hacking和发表偏倚方面的差异。研究发现p-hacking和发表偏倚的程度因所使用方法而异,其中IV和DID方法尤为突出。
关键观点2: 本文采用了三种不同的方法来识别p-hacking的差异,包括扩展Brodeur等方法,通过对比已发表研究体量,发现IV方法和(在较小程度上)DID方法的p-hacking和/或选择性发表的现象显著高于RCT和RDD方法。
本文通过卡尺检验和对比对照分布等方法,发现工具变量(IV)方法的边际显著检验比例高于RCT,表明IV方法更容易受到p-hacking的影响。
关键观点3: 本文探讨了研究方法、研究设计、编辑和审稿人的态度等因素对p-hacking和发表偏倚的影响,并强调了识别和纠正发表偏倚的重要性。
本文通过对比不同期刊、不同领域的研究,发现p-hacking现象与研究者的背景并无关联。同时,本文强调了改进研究设计本身可能在一定程度上限制p-hacking,并降低偏颇报告的可能性。
文章预览
凡是搞计量经济的,都关注这个号了 邮箱: econometrics666@126.com 所有计量经济圈方法论 丛的code程序 , 宏微观 数据库和各种软 件都放在社群里.欢迎到计量经济圈社群交流访问 . 在经济学领域,可信度革命促进了随机对照试验(RCT)、双重差分法(DID)、工具变量(IV)和断点回归设计(RDD)等方法在因果关系研究中的应用。该篇AER文章对25本顶尖经济学期刊上发表的21,000多个假设检验进行了多种方法的综合分析,结果发现p-hacking和发表偏倚的程度因所使用方法而异, 其中IV(以及DID, 稍微小一点程度)尤为突出 。 很遗憾,本文的研究 并“没有“ 发现以下证据:(i)就上述问题,TOP5刊发表的论文与其他期刊的论文存在显著差异;(ii)期刊的“修改并重新提交”过程有效缓解了这一问题;(iii)随着时间的推移,这一现象有所改善。 具体看看:在
………………………………