Kriteria apa yang harus dipenuhi untuk menyimpulkan 'efek langit-langit' yang terjadi?

Menurut The SAGE Encyclopedia of Metode Penelitian Ilmu Sosial ...

[a] efek langit-langit terjadi ketika suatu ukuran memiliki batas atas yang berbeda untuk respons potensial dan konsentrasi besar skor peserta pada atau dekat batas ini. Redaman skala adalah masalah metodologis yang terjadi setiap kali varians dibatasi dengan cara ini. ... Sebagai contoh, efek plafon dapat terjadi dengan ukuran sikap di mana skor tinggi menunjukkan sikap yang menguntungkan dan respons tertinggi gagal menangkap evaluasi paling positif yang mungkin. … Solusi terbaik untuk masalah efek plafon adalah uji coba pilot, yang memungkinkan masalah diidentifikasi lebih awal . Jika efek langit-langit ditemukan , [dan] ukuran hasil adalah kinerja tugas, tugas dapat menjadi lebih sulit untuk meningkatkan kisaran respons potensial. ¹ [penekanan ditambahkan]

Tampaknya ada banyak dari saran dan pertanyaan ( dan di sini ) berurusan dengan menganalisis data yang menunjukkan efek langit-langit mirip dengan yang dijelaskan dalam kutipan di atas.

Pertanyaan saya mungkin sederhana atau naif, tetapi bagaimana orang benar-benar mendeteksi bahwa ada efek langit-langit pada data? Lebih khusus lagi, katakanlah tes psikometrik dibuat dan diduga menyebabkan efek plafon (hanya pemeriksaan visual) dan kemudian tes direvisi untuk menghasilkan rentang nilai yang lebih besar. Bagaimana bisa ditunjukkan bahwa uji revisi telah menghilangkan efek plafon dari data yang dihasilkannya? Apakah ada tes yang menunjukkan bahwa ada efek langit-langit di set data yang tetapi tidak ada efek langit-langit di kumpulan data b ?

Pendekatan naif saya akan hanya memeriksa kecenderungan distribusi dan jika tidak miring, simpulkan bahwa tidak ada efek plafon. Apakah itu terlalu sederhana?

Edit

Untuk menambahkan contoh yang lebih konkret, katakanlah saya mengembangkan instrumen yang mengukur beberapa sifat laten x yang meningkat seiring bertambahnya usia tetapi akhirnya turun dan mulai menurun di usia tua. Saya membuat versi pertama, yang memiliki kisaran 1-14, melakukan beberapa uji coba, dan menemukan bahwa tampaknya ada efek plafon (sejumlah besar respons pada atau mendekati 14, maksimum .. Saya menyimpulkan ini hanya dengan melihat data. Tapi mengapa? Apakah ada metode keras untuk mendukung klaim itu?

Kemudian saya merevisi ukuran untuk memiliki kisaran 1-20 dan mengumpulkan lebih banyak data. Saya melihat bahwa tren lebih dekat dengan harapan saya, tetapi bagaimana saya tahu bahwa rentang pengukurannya cukup besar. Apakah saya perlu merevisinya lagi? Secara visual, tampaknya baik-baik saja, tetapi apakah ada cara mengujinya untuk mengonfirmasi kecurigaan saya?

Saya ingin tahu bagaimana saya bisa mendeteksi efek plafon ini di dalam data daripada hanya melihatnya. Grafik mewakili data aktual, bukan teoretis. Memperluas rentang instrumen menciptakan penyebaran data yang lebih baik, tetapi apakah itu cukup? Bagaimana saya bisa mengujinya?

¹ Hessling, R., Traxel, N., & Schmidt, T. (2004). Efek langit-langit. Dalam Michael S. Lewis-Beck, A. Bryman, & Tim Futing Liao (Eds.), Ensiklopedia SAGE Metode Penelitian Ilmu Sosial . (hlm. 107). Thousand Oaks, CA: Sage Publications, Inc. doi: 10.4135 / 9781412950589.n102

Pertama, saya ingin mengatakan bahwa kedua grafik memberikan bukti yang jelas kepada saya bahwa ada efek langit-langit. Bagaimana saya akan mencoba untuk mengukur efek itu daripada hanya secara visual akan mengamati bahwa selama bagian non-sepele dari pengamatan terletak di dekat batas atas rentang instrumen. Biasanya efek langit-langit akan selalu ada selama ada bagian non-sepele dari peserta tes yang mencapai skor maksimum pada tes.

Namun demikian, teknologi analisis tes telah berkembang jauh sejak kami perlu menginterpretasikan skor langsung pada instrumen berdasarkan skor yang benar. Kita sekarang dapat menggunakan Teori Respons Item untuk memperkirakan parameter item masing-masing item dan menggunakan item-item itu untuk mengidentifikasi kemampuan subjek. Tentu saja masih ada efek langit-langit pada tes jika kita membuat tes terlalu mudah. Namun, karena kekuatan teori respons barang, kita harus dapat menempatkan setidaknya beberapa item dengan kesulitan cukup tinggi dalam instrumen sehingga hanya mencegah sebagian kecil populasi yang mengenai langit-langit.

Terima kasih untuk pertanyaannya. Itu sangat menarik!

Saya kira cara yang kasar dan siap hanya untuk mengukur varians karena skala meningkat. Jika ini menunjukkan pengurangan maka ini adalah bukti untuk efek plafon dan jika tidak ada efek plafon. Anda bisa membuat homogenitas varians plot. Tes Levene dapat berguna untuk menentukan apakah varians sig berbeda pada titik yang berbeda pada skala.

Masalah kritis dalam memutuskan apakah pengelompokan di sekitar titik tertinggi atau terendah adalah karena efek plafon / lantai adalah apakah nilai kasus benar-benar "mewakili" nilai. Ketika efek langit-langit / lantai benar-benar terjadi, beberapa kasus, meskipun dengan asumsi nilai maksimum atau minimum, sebenarnya lebih tinggi / lebih rendah dari nilai maksimum atau minimum (bayangkan seorang dewasa dan seorang anak menyelesaikan tes matematika yang sangat sederhana yang dimaksudkan untuk mengukur kemampuan matematika seseorang, dan keduanya mencetak skor 100%). Di sini, data disensor.

Skenario lain juga dimungkinkan ketika kami menggunakan skala terbatas seperti skala likert-like yang memiliki batas atas dan bawah yang melekat. Sangat mungkin bahwa mereka yang mendapat skor tertinggi memang layak mendapat skor itu dan tidak ada perbedaan (seperti contoh matematika di atas) ada di antara semua yang mendapat skor tertinggi. Dalam kasus seperti itu, data terpotong pada batasnya, bukan disensor.

Berdasarkan alasan di atas, saya rasa orang harus merancang prosedur agar sesuai dengan dataset yang diberikan dengan pemotongan data dan sensor data. Jika model sensor paling cocok dengan data, saya pikir kita dapat menyimpulkan bahwa ada efek plafon / lantai.