Istilah seperti 'ilmu data' dan 'ilmuwan data' semakin banyak digunakan akhir-akhir ini. Banyak perusahaan merekrut 'ilmuwan data'. Tapi saya pikir itu bukan pekerjaan yang sama sekali baru. Data sudah ada dari masa lalu dan seseorang harus berurusan dengan data. Saya kira istilah 'ilmuwan data'...
Adakah yang tahu apakah mungkin mengimpor set data besar ke Amazon S3 dari URL? Pada dasarnya, saya ingin menghindari mengunduh file besar dan kemudian mengunggahnya kembali ke S3 melalui portal web. Saya hanya ingin menyediakan URL unduhan ke S3 dan menunggu mereka mengunduhnya ke sistem file...
Saya ingin menyelidiki perilaku pengaturan harga maskapai penerbangan - khususnya bagaimana maskapai penerbangan bereaksi terhadap harga pesaing. Seperti yang akan saya katakan pengetahuan saya tentang analisis yang lebih kompleks cukup terbatas, saya telah melakukan sebagian besar semua metode...
Misalkan saya memiliki lima set yang ingin saya klaster. Saya mengerti bahwa teknik SimHashing dijelaskan di sini: https://moultano.wordpress.com/2010/01/21/simple-simhashing-3kbzhsxyg4467-6/ dapat menghasilkan tiga cluster ( {A}, {B,C,D}dan {E}), misalnya, jika hasilnya adalah: A -> h01 B...
Saya telah merencanakan fitur penting di hutan acak dengan scikit-learn . Untuk meningkatkan prediksi menggunakan hutan acak, bagaimana saya bisa menggunakan informasi plot untuk menghapus fitur? Apakah cara menemukan apakah fitur tidak berguna atau bahkan lebih buruk dari kinerja hutan acak,...
Saya telah menggunakan perpustakaan ini untuk konstruksi dan analisis jaringan saraf dasar. Namun, itu tidak memiliki dukungan untuk membangun jaringan saraf berlapis-lapis, dll. Jadi, saya ingin tahu ada perpustakaan yang bagus untuk melakukan jaringan saraf canggih dan Deep Learning di...
Saya perlu bantuan tentang apa yang harus menjadi langkah saya berikutnya dalam algoritma yang saya rancang. Karena NDA, saya tidak bisa mengungkapkan banyak hal, tetapi saya akan mencoba menjadi generik dan dapat dimengerti. Pada dasarnya, setelah beberapa langkah dalam algoritma, saya punya...
Saya kenal seseorang yang mengerjakan proyek yang melibatkan menelan file data tanpa memperhatikan kolom atau tipe data. Tugasnya adalah mengambil file dengan sejumlah kolom dan berbagai tipe data serta statistik ringkasan keluaran pada data numerik. Namun, ia tidak yakin bagaimana cara menetapkan...
Saya mencari kemungkinan untuk mengklasifikasikan suara (misalnya suara binatang) menggunakan spektrogram. Idenya adalah untuk menggunakan jaringan saraf convolutional yang mendalam untuk mengenali segmen dalam spektrogram dan menghasilkan satu (atau banyak) label kelas. Ini bukan ide baru (lihat...
Bagaimana cara memilih K untuk PCA? K adalah jumlah dimensi untuk diproyeksikan ke. Satu-satunya persyaratan adalah tidak kehilangan terlalu banyak informasi. Saya mengerti ini tergantung pada data, tetapi saya mencari lebih banyak gambaran umum sederhana tentang karakteristik apa yang harus...
Saya memiliki dua frame data df1 dan df2 dan saya ingin menggabungkannya menjadi satu frame data. Seolah-olah df1 dan df2 dibuat dengan memisahkan satu frame data di tengah secara vertikal, seperti merobek selembar kertas yang berisi daftar menjadi dua sehingga separuh kolom diletakkan pada satu...
Saya baru saja memasang kurva logistik ke beberapa data palsu. Saya membuat data dasarnya fungsi langkah. data = -------------++++++++++++++ Tetapi ketika saya melihat kurva yang pas, kemiringannya sangat kecil. Fungsi yang meminimalkan fungsi biaya dengan asumsi cross entropy adalah fungsi...
Latar Belakang: di xgboost yang iterasi mencoba untuk menyesuaikan pohon atas segala contoh yang meminimalkan tujuan berikut:f t ntttftftf_tnnn ∑i=1n[gift(xi)+12hif2t(xi)]∑i=1n[gift(xi)+12hift2(xi)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] di mana adalah urutan pertama dan kedua, di...
Saya sedang membangun mobil self-controlled yang dikendalikan jarak jauh untuk bersenang-senang. Saya menggunakan Raspberry Pi sebagai komputer internal; dan saya menggunakan berbagai plug-in, seperti kamera Raspberry Pi dan sensor jarak, untuk umpan balik tentang lingkungan mobil. Saya menggunakan...
Saya memiliki masalah klasifikasi dengan data yang sangat tidak seimbang. Saya telah membaca bahwa over dan undersampling serta mengubah biaya untuk output kategoris yang kurang terwakili akan mengarah pada pemasangan yang lebih baik. Sebelum ini dilakukan, tensorflow akan mengategorikan setiap...
Bagaimana saya bisa mengimpor file .csv ke dalam dataframe pyspark? Saya bahkan mencoba membaca file csv di Pandas dan kemudian mengubahnya menjadi dataframe percikan menggunakan createDataFrame, tetapi masih menunjukkan beberapa kesalahan. Bisakah seseorang membimbing saya melalui ini? Juga,...
Saya memulai proyek di mana tugasnya adalah mengidentifikasi jenis sepatu dari gambar. Saat ini saya membaca implementasi TensorFlow dan Torch . Pertanyaan saya adalah: berapa banyak gambar per kelas yang diperlukan untuk mencapai kinerja klasifikasi yang masuk akal?
Saya mencoba menerapkan makalah ini pada serangkaian gambar medis. Saya melakukannya di Keras. Jaringan pada dasarnya terdiri dari 4 lapisan conv dan max-pool diikuti oleh lapisan yang sepenuhnya terhubung dan classifier soft max. Sejauh yang saya tahu, saya telah mengikuti arsitektur yang...
Saya memiliki bingkai data panda dengan banyak kolom kategori, yang saya rencanakan untuk digunakan di pohon keputusan dengan scikit-belajar. Saya perlu mengubahnya menjadi nilai numerik (bukan satu vektor panas). Saya dapat melakukannya dengan LabelEncoder dari scikit-learn. Masalahnya ada terlalu...
Saat ini saya sedang bermain dengan Mesin Boltzmann Terbatas dan sejak itu saya ingin mengklasifikasikan angka tulisan tangan. Model yang saya buat sekarang model generatif yang cukup mewah tapi saya tidak tahu bagaimana melangkah lebih jauh dengannya. Dalam artikel ini penulis mengatakan, bahwa...