Jawaban sepele adalah bahwa lebih banyak data selalu lebih disukai daripada lebih sedikit data.
Masalah ukuran sampel kecil jelas. Dalam regresi linier (OLS) secara teknis Anda dapat memasukkan model seperti OLS di mana n = k + 1 tetapi Anda akan mendapatkan sampah dari itu yaitu kesalahan standar yang sangat besar. Ada makalah hebat oleh Arthur Goldberger bernama Micronumerocity pada topik ini yang dirangkum dalam bab 23 bukunya A Course in Econometrics .
Heuristik yang umum adalah Anda harus memiliki 20 pengamatan untuk setiap parameter yang ingin Anda perkirakan. Itu selalu merupakan trade off antara ukuran kesalahan standar Anda (dan karenanya pengujian signifikansi) dan ukuran sampel Anda. Ini adalah salah satu alasan sebagian dari kita membenci pengujian signifikansi karena Anda bisa mendapatkan kesalahan standar (relatif) yang sangat kecil dengan sampel yang sangat besar dan karenanya menemukan signifikansi statistik yang tidak berguna pada tes naif seperti apakah koefisien regresi nol.
Sementara ukuran sampel penting, kualitas sampel Anda lebih penting, misalnya apakah sampel dapat digeneralisasikan untuk populasi, apakah itu Sampel Acak Sederhana atau metodologi pengambilan sampel lain yang sesuai (dan apakah ini diperhitungkan selama analisis), apakah ada kesalahan pengukuran , bias respon, bias seleksi, dll.