Makalah seminal yang kemudian terbukti mengandung kesalahan

37

Saya membaca tentang institusi, dan saya menemukan kertas Acemoglu, Johnson dan Robinson (AJR) pada The Colonial Origins tentang pengembangan komparatif: Investigasi Empiris , dan makalah ini tampak begitu 'sempurna' sehingga menelurkan banyak makalah lain berdasarkan data. tingkat kematian pemukim kuno dan bagaimana itu digunakan oleh AJR sebagai IV untuk kualitas Lembaga saat ini di bekas koloni.

Namun, ketika saya mulai mencari lebih banyak di makalah ini, saya menemukan bahwa makalah itu sebenarnya penuh dengan kesalahan, khususnya pada pengolahan data. ( Komentar Albouy 2012 di kertas yang sama, diterbitkan oleh The American Economic Review)

Saya ingin tahu, jika, selain makalah ini tentang ekonomi pembangunan, apakah ada makalah mani lainnya, di bidang ekonomi mana pun, yang kemudian terbukti memiliki kesalahan / kesalahan penting yang membatalkan kesimpulan makalah?

Seorang lelaki tua di laut.
sumber
5
Bagaimana kalau kita melakukan seperti yang kita lakukan untuk buku, satu saran per jawaban? Jadi orang dapat memberikan suaranya secara individual.
FooBar
1
Perhatikan bahwa bahkan dalam kasus makalah yang Anda kutip sebagai "penuh dengan kesalahan", penulis asli dengan keras menolak komentar Albouy. Mereka membuka jawaban mereka atas komentarnya dengan kutipan yang luar biasa, "Engkau datang, tetapi tidak lebih jauh." . Demikian juga dengan kontroversi Reinhart / Rogoff yang lebih terkenal dan lebih baru. Saya tidak mengetahui adanya makalah ekonomi empiris di mana penulis asli sampai pada titik mengatakan "OK kita kacau." Ada kesalahan di setiap makalah, tetapi tidak ada penulis yang pernah mengakui bahwa makalah mereka mengandung kesalahan fatal.
Kenny LJ
@ KennyLJ Balasan itu adalah untuk komentar pertama Albouy, itu bukan untuk komentar Albouy 2012 yang diterbitkan oleh AER.
Seorang pria tua di laut.
@Anoldmaninthesea: Silakan lihat isi edisi AER Oktober 2012 dan Anda akan melihat bahwa jawaban AJR yang saya kutip dalam komentar saya di atas memang merupakan jawaban langsung "untuk komentar Albouy 2012 yang diterbitkan oleh AER".
Kenny LJ

Jawaban:

29

Contoh favorit saya adalah formulasi awal teorema ketidakmungkinan Arrow dalam edisi pertama Arrows "Social Choice and Individual Values" (1951). Dalam edisi pertama, Arrow mengklaim bahwa, bersama dengan 4 kondisi lainnya , kondisi domain berikut

`` Domain cukup luas sehingga ada setidaknya satu triple alternatif gratis. (Triple disebut bebas jika semua kombinasi yang mungkin dari pemesanan individual triple ini benar-benar terjadi di "(penulisan ulang dari Blau (1957))DDD

tersirat bahwa tidak ada fungsi kesejahteraan sosial , di mana adalah himpunan semua pemesanan yang mungkin (yaitu hubungan biner yang lengkap dan transitif) atas serangkaian alternatif .S:DRRA

Ini kemudian terbukti salah oleh Blau (1957) Keberadaan Fungsi Kesejahteraan Sosial "Econometrica Vol. 25, No. 2 (Apr., 1957), hlm. 302-313 yang memberikan contoh tandingan.

Blau juga menunjukkan (antara lain) bahwa teorema tersebut dapat dikoreksi dengan mengganti kondisi domain di atas dengan kondisi berikut

Domain universal: domain dari fungsi kesejahteraan sosial berisi setiap kemungkinan profil preferensi di atas sekumpulan alternatif (dengan ).DA|A|3

Arrow kemudian mengoreksi kesalahan ini dalam edisi kedua Pilihan Sosial dan Nilai Individu (1963) , dan perumusan teorema Arrow menggunakan kondisi domain Universal kini telah menjadi standar.

Karena itu, kesalahan awal dalam edisi pertama buku Arrow agak kecil, dan solusi yang diusulkan oleh Blau tidak mengurangi dalam arti kuat pentingnya hasil dan pendekatan Arrow. Secara intuitif, kesimpulan tetap bahwa pada domain luas masalah ekonomi yang relevan, tidak ada fungsi kesejahteraan sosial memenuhi seperangkat kondisi yang agak mendasar dan masuk akal.

Jadi ini mungkin bukan jenis kesalahan yang Anda cari (pasti makalah seminal!), Tapi saya suka contohnya sehingga saya tidak bisa menolak mempostingnya. Jika orang-orang hebat seperti Arrow membuat kesalahan seperti ini, saya kira perlu sedikit tekanan untuk semua orang?

Martin Van der Linden
sumber
:) contoh yang bagus.
Seorang pria tua di laut.
22

Makalah seminal Kydland dan Prescott tentang teori RBC menggunakan spesifikasi log-log tentang preferensi konsumsi-waktu luang, dengan alasan itu adalah satu-satunya yang cocok dengan porsi jam kerja konstan jangka panjang (salah satu fakta Kaldor).

Ini salah. Bahkan, ada seluruh kelas fungsi utilitas yang dapat dipisahkan secara terpisah (King-Rebelo-Plosser, yang ditemukan (diterbitkan) pada dekade yang sama) di mana pendapatan dan efek substitusi dari pendapatan tenaga kerja dibatalkan dan tidak memengaruhi keputusan jam kerja.

Mengapa ini relevan? Yah, karena spesifikasi log-log mereka memberi mereka elastisitas Frisch yang sangat besar, yang merupakan satu-satunya alasan mengapa mereka cocok dengan tenaga kerja. Stok modal (bukan investasi) tidak banyak berbeda selama siklus bisnis. Kemudian adalah logika sirkular untuk mendapatkan guncangan TFP sebagai residu Solow dari data, memasukkannya ke dalam model di mana modal tidak banyak bergerak, dan amati bahwa Anda mendapatkan kembali (di mana hampir konstan dan datang dari data).K AAF(K,L)KA

Jangan salah paham, ini masih kertas yang sangat penting, karena ini adalah dasar dari kebanyakan makro modern. Tetapi orang-orang pada waktu itu heran betapa baiknya RBC cocok dengan data. Nah, jika Anda tidak cocok dengan data tenaga kerja, sisanya tidak mengejutkan.

FooBar
sumber
19

Makalah yang sangat berpengaruh oleh Angrst dan Krueger (1991) menggunakan seperempat kelahiran sebagai instrumen untuk efek sekolah pada pendapatan. Karena sekolah wajib berhenti ketika Anda mencapai usia tertentu (begitu banyak putus sekolah ketika mereka bisa). Namun ternyata bahwa seperempat kelahiran bukanlah instrumen yang baik, berkorelasi dengan latar belakang keluarga dan dengan demikian juga pendapatan.

http://web.stanford.edu/~pista/angrist.pdf

Sunting seperti yang diminta oleh 'Seorang lelaki tua di lautan': lihat a (Buckles and Hungerman, 2013), yang menunjukkan dengan jelas bahwa tanggal lahir berkorelasi dengan karakteristik ibu. Jadi instrumen tidak memuaskan asumsi eksogenitas (Sunting2: karena karakteristik ibu jelas berkorelasi dengan upah).masukkan deskripsi gambar di sini

masukkan deskripsi gambar di sini

http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3777829/

Snoram
sumber
1
Senang mendengarnya. Sebagai catatan saya pikir karya Angrist dan Krueger luar biasa, tetapi hari ini kita lebih tahu daripada menggunakan seperempat kelahiran (setidaknya di AS dan untuk tujuan ini) sebagai instrumen. Kemajuan ilmu pengetahuan.
snoram
15

Dalam makalah 1929, Harold Hotelling memperkenalkan apa yang menjadi model standar kompetisi spasial. Dua perusahaan memposisikan diri pada suatu interval, yang menginduksi struktur permintaan tertentu, dan kemudian bersaing dalam harga. Model itu berpengaruh dan diajarkan secara luas. Pesannya adalah bahwa perusahaan membedakan minimal, keduanya berlokasi di pusat.

Tetapi pada 1979 (!) Kertas , d'Aspremont, Gabszewicz, dan Thisse menunjukkan bahwa model tersebut sebenarnya tidak memiliki keseimbangan di bawah spesifikasi asli Hotelling. Ada diskontinuitas penting yang diabaikan Hotelling dan semua orang sesudahnya.

Michael Greinecker
sumber
14

Ini adalah freebee, tetapi saya akan mengambilnya: Reinhard dan Rogoff (2010, AER pp) berpendapat bahwa ada tingkat kritis rasio utang terhadap PDB pemerintah sekitar 90%, dengan alasan bahwa negara-negara yang melintasi tingkat leverage ini biasanya tumbuh lebih sedikit.

Mengabaikan seluruh poin korelasi versus kausalitas, mahasiswa UMass + rekan penulis [referensi diperlukan] menunjukkan bahwa hasil ini hanya berlaku ketika

  • Menggunakan metode pembobotan khusus dan kontroversial yang, iirc, tidak ditekankan dalam makalah mereka
  • Pemilihan sampel spesifik dan kontroversial (seperti di atas)
  • Kesalahan dalam perhitungan excel mereka yang mengabaikan beberapa pengamatan

Hanya ketika ketiganya hidup berdampingan, seseorang mendapat 90% sebagai tingkat intoleransi tertentu. Jika tidak, sementara rasio utang terhadap gdp yang lebih tinggi mungkin berkorelasi dengan pertumbuhan yang lebih kecil, belum ada penelitian yang menunjukkan pemutusan struktural / diskontinuitas pada 90%.

FooBar
sumber
Saya pikir sesuatu yang serupa terjadi pada kertas Alesina dan Ardagna yang berpendapat bahwa penghematan sebenarnya bersifat ekspansif. Saya ingat pernah membacanya di blog Paul Krugman, tetapi saya tidak ingat detailnya.
Keshav Srinivasan
5
Saya tidak akan menyebut kertas Reinhard dan Rogoff kertas "seminal" ...
ReplicationWiki kami mencantumkan sejumlah replikasi dari penelitian ini .
Jan Höffler
Saya baru saja memperbaiki komentar yang saya buat beberapa hari yang lalu dan sekarang saya menghapus untuk mengikuti aturan bahwa seseorang harus mengungkapkan afiliasi. Salah satu replikasi adalah apa yang mengungkapkan kesalahan, dan saya menemukan penting untuk menunjukkan bahwa masalah tidak selalu begitu jelas, ada berbagai pandangan dan di wiki Anda menemukan sumber, juga untuk balasan, sehingga Anda dapat membangun pendapat sendiri. Anda menulis sendiri "referensi diperlukan" ...
Jan Höffler
9

Donohue & Levitt, 2001 menunjukkan hubungan sebab akibat antara tingkat aborsi dan tingkat kejahatan 20 tahun kemudian. Ketika aborsi dilegalkan pada tahun 1970-an, seluruh generasi kelahiran yang tidak diinginkan dihindarkan, yang mengarah ke penurunan kejahatan hampir dua dekade kemudian ketika generasi hantu ini akan menjadi dewasa.

Akun aborsi yang dilegalisir sebanyak 50% dari penurunan kejahatan.

Masalah dengan kertas adalah bahwa penulis tidak melakukan apa yang mereka katakan. Sebagai bagian dari analisis mereka, mereka melakukan serangkaian tes. Mereka mengklaim telah mengendalikan berbagai efek yang sebenarnya, karena kesalahan pengkodean, mereka tidak melakukannya. The Economist menjelaskannya seperti halnya The Wall Street Journal .

Donohue dan Levitt tidak menjalankan tes yang mereka kira memiliki — "kesalahan pemrograman komputer yang tidak disengaja tetapi serius", menurut Messrs Foote dan Goetz ... Memperbaiki kesalahan itu mengurangi efek aborsi pada penangkapan sekitar setengahnya, menggunakan data asli , dan dua pertiga menggunakan nomor yang diperbarui.

Kesalahan lain yang diidentifikasi di koran adalah bahwa mereka menggunakan total tingkat penangkapan alih-alih variabel yang dikendalikan populasi.

Kesalahan ini secara drastis mengurangi kesimpulan dari makalah yang sangat menonjol dan kontroversial.

Jamzy
sumber
2
ReplicationWiki kami mencantumkan sejumlah replikasi dari penelitian ini .
Jan Höffler