Mengapa

Kedua jawaban di utas ini, satu dan dua menyatakan bahwa harus ditransformasikan sebelum menerapkan transformasi lain pada prediktor. Memang bab Weisberg tentang transformasi lebih fokus pada DV daripada prediktor, dan begitu juga halaman manual paket mobil R PowerTransform (). $Y$

Namun, kita tahu bahwa normalitas distribusi DV bukanlah persyaratan dalam OLS untuk memperkirakan koefisien BLUE dan, bahkan ketika residu tidak terdistribusi secara normal, OLS masih merupakan estimator yang masuk akal .

Jadi mengapa penekanan pada transformasi ? Ada beberapa alasan yang saya pikir sebenarnya lebih disukai untuk tidak mengubah : pertama itu membuat hubungan IVs lebih sulit untuk dibaca dan kedua, dalam prediksi, itu membutuhkan transformasi balik dari nilai estimasi ke skala asli . Tergantung apa yang Anda lakukan ini bisa menjadi masalah. $Y$ $Y$ $Y$

regression data-transformation Robert Kubrick
sumber

Kami telah menggeneralisasi model linier dalam nama sejak tahun 1972 dan dalam kasus-kasus tertentu lebih lama. Artinya, menggunakan fungsi tautan yang tepat dapat memberi Anda semua keuntungan menggunakan skala non-linear dengan semua keuntungan untuk mendapatkan prediksi pada skala data asli. Mengapa ini tidak diketahui dan dipraktikkan secara luas? Dibutuhkan balasan yang lebih panjang dan akan datang tetapi menganalisis hubungan nonlinier dengan alat linier yang diterapkan pada data yang tidak diubah jarang berfungsi dengan baik.

Nick Cox

+1 ke @Nick. Selain itu, menganalisis hubungan dengan hampir semua prosedur standar (yaitu, berdasarkan distribusi yang hampir Normal) dalam keadaan di mana distribusi kesalahan sangat miring biasanya rumit dan tidak memuaskan juga. Ekspresi nonlinier benar-benar mencapai tiga hal (dan sering melakukan semuanya secara bersamaan): mereka mensinkronkan distribusi residu, menciptakan homoseksualitas , dan hubungan linier.

whuber

Jawaban:

Transformasi X tidak memengaruhi bentuk distribusi kondisional, atau heteroskedastisitas, jadi mentransformasikan X hanya berfungsi untuk menangani hubungan nonlinear. (Jika Anda memasang model aditif yang mungkin berguna untuk membantu menghilangkan interaksi, tetapi bahkan itu yang paling baik dibiarkan mengubah Y)

Contoh di mana mentransformasikan hanya X masuk akal:
masukkan deskripsi gambar di sini

Jika itu - kurangnya kecocokan dalam mean bersyarat - adalah masalah utama Anda, maka mentransformasikan X mungkin masuk akal, tetapi jika Anda mentransformasikannya karena bentuk Y bersyarat atau karena heteroskedastisitas, jika Anda menyelesaikannya dengan transformasi ( belum tentu pilihan terbaik, tetapi kami mengambil transformasi sebagai yang diberikan untuk pertanyaan ini), maka Anda harus mengubah Y dengan beberapa cara untuk mengubahnya.

Pertimbangkan, misalnya, model di mana varian bersyarat sebanding dengan rata-rata:

Contoh di mana mengubah hanya X tidak bisa menyelesaikan masalah:
masukkan deskripsi gambar di sini

Memindahkan nilai pada sumbu x tidak akan mengubah fakta bahwa spread lebih besar untuk nilai di sebelah kanan daripada nilai di sebelah kiri. Jika Anda ingin memperbaiki varians perubahan ini dengan transformasi, Anda harus menekan nilai Y tinggi dan merentangkan nilai Y rendah.

Sekarang, jika Anda mempertimbangkan untuk mengubah Y, itu akan mengubah bentuk hubungan antara respons dan prediktor ... jadi Anda akan sering berharap untuk mengubah X juga jika Anda menginginkan model linier (jika linier sebelum mentransformasikannya, tidak akan sesudahnya). Terkadang (seperti pada plot kedua di atas), transformasi Y = akan membuat hubungan lebih linier pada saat yang sama - tetapi tidak selalu demikian.

Jika Anda mengubah X dan Y, Anda ingin melakukan Y terlebih dahulu, karena perubahan dalam bentuk hubungan antara Y dan X - biasanya Anda perlu melihat seperti apa hubungan setelah Anda bertransformasi. Transformasi X selanjutnya akan bertujuan untuk memperoleh linearitas hubungan.

Jadi secara umum, jika Anda mengubah sama sekali, Anda sering perlu mengubah Y, dan jika Anda melakukan itu, Anda hampir selalu ingin melakukannya terlebih dahulu.

Glen_b -Reinstate Monica
sumber

Jika sudah

Y = β_{0} + β_{1} X^{5} + ϵ

$Y = \beta{_0} + \beta{_1}X{^5} + \epsilon$ residual akan mengalami peningkatan varians terhadap

X^{1}

$X{^1}$ (tidak diubah). Tentu saja berubah

X

$X$ memiliki dampak pada heteroskedastisitas residual.

Robert Kubrick

@RobertKubrick tidak relatif terhadap rata-rata lokal mereka. Lihat posting saya yang diedit.

Glen_b -Reinstate Monica

Saya masih tidak melihatnya. Saya percaya perubahan varians sebenarnya karena

ϵ

$\epsilon$ tidak

Y

$Y$ distribusi bersyarat. Btw, plot yang Anda posting adalah untuk yang belum diubah

X

$X$ . Saya tahu Anda melakukannya untuk menunjukkan non-linearitas hubungan tetapi agak membingungkan dalam konteks jawaban Anda.

Robert Kubrick

Var (ϵ) = Var (Y | X)

$\text{Var}(\epsilon)=\text{Var}(Y|X)$ . Anda tampaknya membedakan antara dua varian, tetapi mereka tidak berbeda.

Glen_b -Reinstate Monica

Itu hanya mengubah mean bersyarat. Itulah poin yang dibuat dalam jawaban saya.

Glen_b -Reinstate Monica

Transformasi Y awalnya merupakan pendekatan anakronistik untuk analisis data. Kakek buyut buyut lelaki kami melakukan itu, jadi mengapa kita tidak? Banyak alasan dan posting Anda yang mencerminkan bahwa asumsi Gaussian semata-mata didasarkan pada kesalahan dari model BUKAN seri Y mati.

IrishStat
sumber

Saya setuju dengan kalimat pertama lebih dari saya tidak setuju; namun jawabannya lebih dari sedikit disederhanakan. Contoh-contoh seperti pH atau desibel menunjukkan bahwa pengukuran ilmiah seringkali sudah pada skala yang diubah, dan dengan alasan yang bagus. Banyak ekonom yang secara rutin menggunakan pendapatan kayu bukan pendapatan sebagai variabel respons mereka dan yang sesuai dengan cara orang biasa membuat banyak keputusan (misalnya dalam hal berpikir persen). (Menurut saya, sejarah di sini juga bisa diperdebatkan; transformasi tidak lazim terjadi sebelum pertengahan abad ke-20.)

Nick Cox

@Nick, saya sedang berbicara sambil berbicara tentang leluhur saya. Transformasi mulai muncul pada pertengahan tahun lima puluhan .....

IrishStat

Lidah-di-pipi dan berlebihan berwarna-warni saya siap membeli, tetapi pernyataan yang tepat harus benar. Sastra pada lognormal dimulai pada abad ke-19, seperti halnya kertas grafik logaritmik. Transformasi adalah subjek dari beberapa ulasan sebelum 1950-an, misalnya makalah Bartlett di Biometrics 1947, sehingga literatur lebih tua. Itu konsisten, saya pikir, dengan pernyataan saya sebelumnya tentang keberadaan mereka "tidak terlalu umum".

Nick Cox

@Nick Ilmuwan menggunakan transformasi jauh sebelum 1947, karena mereka sangat alami. Contoh yang bagus adalah turunan Rydberg dari rumusnya untuk spektrum hidrogen , yang diperoleh pada tahun 1880-an dengan memilih transformasi variabel nonlinier yang sesuai. Seseorang dapat menarik karya Fechner dalam psikofisika c. 1860 juga. Praktik ini sangat efektif dan penting dalam sains sehingga orang tidak dapat menganggap serius pernyataan pertama dalam jawaban ini bahwa itu "anakronistis."

whuber

@whuber Kami setuju, pada dasarnya. Ada spektrum (pun intended) dari penggunaan transformasi dalam ilmu fisika dan lainnya, sering muncul sebagai sarana atau sebagai konsekuensi dari menemukan hubungan nonlinier, untuk menggunakan transformasi data mentah secara sengaja seperti yang direkomendasikan oleh (beberapa) ahli statistik. Saya tidak ingin menarik garis di antara keduanya, karena itu akan sia-sia dan tidak membantu.

Nick Cox