Bagaimana saya mengartikan Plot Menyebarkan ini?

Saya memiliki sebaran plot yang memiliki ukuran sampel yang sama dengan jumlah orang pada sumbu x dan gaji median pada sumbu y, saya mencoba mencari tahu apakah ukuran sampel memiliki pengaruh terhadap gaji median.

Ini plotnya:

Bagaimana saya menafsirkan plot ini?

"Cari tahu" menunjukkan Anda sedang menjelajahi data. Tes formal akan berlebihan dan mencurigakan. Alih-alih, terapkan teknik analisis data eksplorasi standar (EDA) untuk mengungkapkan apa yang mungkin ada dalam data.

Teknik-teknik standar ini termasuk ekspresi ulang , analisis residual , teknik yang kuat ("tiga R" dari EDA) dan perataan data seperti yang dijelaskan oleh John Tukey dalam buku klasiknya EDA (1977). Bagaimana melakukan beberapa di antaranya diuraikan dalam posting saya di Box-Cox seperti transformasi untuk variabel independen? dan Dalam regresi linier, kapan tepat menggunakan log variabel independen alih-alih nilai aktual? , antara lain .

Hasilnya adalah banyak yang dapat dilihat dengan mengubah ke log-log sumbu (secara efektif mengekspresikan kembali kedua variabel), menghaluskan data tidak terlalu agresif, dan memeriksa residu halus untuk memeriksa apa yang mungkin terlewatkan, seperti yang akan saya ilustrasikan.

Berikut adalah data yang ditunjukkan dengan smooth yang - setelah memeriksa beberapa smooths dengan berbagai tingkat kesetiaan terhadap data - tampaknya seperti kompromi yang baik antara terlalu banyak dan terlalu sedikit smoothing. Ini menggunakan Loess, metode kuat yang terkenal (tidak banyak dipengaruhi oleh titik-titik terpencil secara vertikal).

Kotak vertikal dalam langkah 10.000. Kelancaran memang menyarankan beberapa variasi Grad_mediandengan ukuran sampel: kelihatannya menurun ketika ukuran sampel mendekati 1000. (Ujung kelancaran tidak dapat dipercaya - terutama untuk sampel kecil, di mana kesalahan pengambilan sampel diperkirakan relatif besar - jadi jangan bisa membaca terlalu banyak tentang mereka.) Kesan drop nyata ini didukung oleh band-band kepercayaan (sangat kasar) yang ditarik oleh perangkat lunak di sekitar smooth: "goyangan" nya lebih besar dari lebar band.

Untuk melihat apa yang mungkin terlewatkan oleh analisis ini, gambar berikutnya melihat residu. (Ini adalah perbedaan logaritma natural, yang secara langsung mengukur perbedaan vertikal antara data smooth sebelumnya. Karena jumlahnya kecil, mereka dapat diinterpretasikan sebagai perbedaan proporsional; misalnya, mencerminkan nilai data sekitar lebih rendah daripada smoothed yang sesuai) nilai.)20 $-0.2$$20\%$

Kami tertarik pada (a) apakah ada pola variasi tambahan saat ukuran sampel berubah dan (b) apakah distribusi kondisional dari respons - distribusi vertikal posisi titik - secara masuk akal serupa di semua nilai ukuran sampel, atau apakah beberapa aspek dari mereka (seperti penyebaran atau simetri) mungkin berubah.

Smooth ini mencoba mengikuti titik data bahkan lebih dekat dari sebelumnya. Namun demikian itu pada dasarnya horisontal (dalam lingkup pita kepercayaan, yang selalu mencakup nilai y ), menunjukkan tidak ada variasi lebih lanjut yang dapat dideteksi. Sedikit peningkatan dalam penyebaran vertikal di dekat tengah (ukuran sampel 2000 hingga 3000) tidak akan signifikan jika diuji secara formal, dan karena itu jelas tidak biasa dalam tahap eksplorasi ini. Tidak ada penyimpangan yang jelas dan sistematis dari perilaku keseluruhan ini yang terlihat dalam kategori yang berbeda (dibedakan, tidak terlalu baik, berdasarkan warna - saya menganalisisnya secara terpisah dalam angka-angka yang tidak ditunjukkan di sini).$0.0$

Akibatnya, ringkasan sederhana ini:

gaji rata-rata sekitar 10.000 lebih rendah untuk ukuran sampel mendekati 1000

cukup menangkap hubungan yang muncul dalam data dan tampaknya seragam di semua kategori utama. Apakah itu signifikan - yaitu, apakah akan berdiri ketika dihadapkan dengan data tambahan - hanya dapat dinilai dengan mengumpulkan data tambahan tersebut.

Bagi mereka yang ingin memeriksa pekerjaan ini atau mengambilnya lebih lanjut, berikut adalah Rkodenya.

library(data.table)
library(ggplot2)
#
# Read the data.
#
infile <- "https://raw.githubusercontent.com/fivethirtyeight/\
data/master/college-majors/grad-students.csv"
X <- as.data.table(read.csv(infile))
#
# Compute the residuals.
#
span <- 0.6 # Larger values will smooth more aggressively
X[, Log.residual := 
      residuals(loess(log(Grad_median) ~ I(log(Grad_sample_size)), X, span=span))]
#
# Plot the data on top of a smooth.
#
g <- ggplot(X, aes(Grad_sample_size, Grad_median)) + 
  geom_smooth(span=span) + 
  geom_point(aes(fill=Major_category), alpha=1/2, shape=21) + 
  scale_x_log10() + scale_y_log10(minor_breaks=seq(1e4, 5e5, by=1e4)) + 
  ggtitle("EDA of Median Salary vs. Sample Size",
          paste("Span of smooth is", signif(span, 2)))
print(g)

span <- span * 2/3 # Look for a little more detail in the residuals
g.r <- ggplot(X, aes(Grad_sample_size, Log.residual)) + 
  geom_smooth(span=span) + 
  geom_point(aes(fill=Major_category), alpha=1/2, shape=21) + 
  scale_x_log10() + 
  ggtitle("EDA of Median Salary vs. Sample Size: Residuals",
          paste("Span of smooth is", signif(span, 2)))
print(g.r)

Glen_b menyarankan agar Anda mengambil logaritma sample_size dan median gaji untuk melihat apakah menskalakan data masuk akal.

Saya tidak tahu bahwa saya akan setuju dengan keyakinan Anda bahwa gaji rata-rata berkurang setelah ukuran sampel naik di atas 1.000. Saya akan lebih cenderung mengatakan tidak ada hubungan sama sekali. Apakah teorimu meramalkan bahwa seharusnya ada hubungan?

Cara lain Anda dapat menilai suatu hubungan yang mungkin adalah menyesuaikan garis regresi dengan data. Atau, Anda juga bisa menggunakan kurva lowess. Plot kedua baris ke data Anda dan lihat apakah ada yang bisa dihapus (saya ragu ada sesuatu yang terlalu substantif, namun).

Saya juga setuju tidak ada hubungan. Saya mereproduksi plot pencar asli Anda (kiri) dan membuat plot pencar log-log yang disarankan oleh glen_b (kanan).

Sepertinya tidak ada hubungannya juga. Korelasi antara data yang ditransformasi log lemah (Pearson R = -.13) dan tidak signifikan (p = .09). Bergantung pada seberapa banyak informasi tambahan yang Anda miliki, mungkin ada alasan untuk melihat korelasi negatif yang lemah, tetapi itu seperti peregangan. Saya kira pola jelas apa pun yang Anda lihat adalah efek yang sama terlihat di sini .

Sunting: Setelah melihat plot @ famargar saya menyadari saya merencanakan ukuran sampel lulusan vs gaji median non -grad. Saya percaya @sameed ingin ukuran sampel vs gaji lulusan- median, meskipun tidak sepenuhnya jelas. Untuk yang terakhir saya mereproduksi angka @ famargar, yaitu ( ) dan plot kami terlihat identik.p = $R = 0.0022$$p = 0.98$

Mencoba regresi linier akan mengajarkan Anda sesuatu tentang hubungan ini, seperti yang disarankan dalam jawaban pertama. Karena sepertinya Anda menggunakan python plus matplotlib untuk plot ini, Anda berada satu baris kode dari solusi.

Anda bisa menggunakan seaborn jointplot, yang juga akan menampilkan garis regresi linier, koefisien korelasi Pearson, dan nilai-p:

sns.jointplot("Grad_sample_size", "Grad_median", data=df, kind="reg")

seperti yang Anda lihat tidak ada korelasi. Melihat plot terakhir ini, tampaknya mentransformasikan variabel-x akan berguna. Mari kita coba:

df['log_size'] = np.log(df['Grad_sample_size'])
sns.jointplot("log_size", "Grad_median", data=df, kind="reg")

Anda dapat dengan jelas melihat bahwa - transformasi log atau tidak - korelasinya kecil, dan baik nilai-p maupun interval kepercayaan mengatakan bahwa itu tidak bermakna secara statistik.

Plot ini berfungsi sebagai demonstrasi dari teorema batas pusat, di mana variabilitas antara sampel berkurang dengan meningkatnya ukuran sampel. Itu juga bentuk yang Anda harapkan dengan variabel sangat miring seperti gaji.