Saya menggunakan Python untuk menjalankan model hutan acak pada dataset tidak seimbang saya (variabel target adalah kelas biner). Ketika membagi dataset pelatihan dan pengujian, saya kesulitan apakah akan menggunakan pengambilan sampel bertingkat (seperti kode yang ditunjukkan) atau tidak. Sejauh...
Saya menggunakan Perpustakaan Gensim dalam python untuk menggunakan dan melatih model word2vector. Baru-baru ini, saya melihat inisialisasi bobot model saya dengan beberapa model word2vec yang sudah dilatih sebelumnya seperti (model pretrained GoogleNewDataset). Saya telah berjuang dengan itu...
Saya telah membangun model LSTM untuk memprediksi pertanyaan duplikat pada dataset resmi Quora. Label uji adalah 0 atau 1. 1 menunjukkan pasangan pertanyaan duplikat. Setelah membangun model menggunakan model.fit, saya menguji model menggunakan model.predictpada data uji. Outputnya adalah array...
Saya menggunakan scikit-learn Random Forest Classifier dan saya ingin merencanakan kepentingan fitur seperti dalam contoh ini . Namun hasil saya benar-benar berbeda, dalam arti fitur penting standar deviasi hampir selalu lebih besar daripada fitur penting itu sendiri (lihat gambar...
Mode Analytics memiliki fitur peta panas yang bagus ( https://community.modeanalytics.com/gallery/geographic-heat-map/ ). Tetapi tidak kondusif untuk membandingkan peta (hanya satu per laporan). Apa yang mereka perbolehkan adalah data dapat ditarik dengan mudah ke dalam notebook python yang...
Saya memiliki kerangka data yang antara lain berisi kolom jumlah milidetik yang dilalui sejak 1970-1-1. Saya perlu mengubah kolom ints ini menjadi data timestamp, jadi saya akhirnya dapat mengonversinya menjadi kolom data datetime dengan menambahkan seri kolom timestamp ke seri yang seluruhnya...
Jika saya melatih model saya menggunakan kode berikut: import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target =
Adakah yang menggunakan (dan menyukai) paket-paket "frequent sequence mining" yang bagus dengan Python selain FPM di MLLib? Saya mencari paket yang stabil, lebih baik diam dipelihara oleh orang-orang. Terima
Saya memiliki dataset dengan baris ~ 1M dan ~ fitur 500K jarang. Saya ingin mengurangi dimensi ke suatu tempat dalam urutan fitur padat 1K-5K. sklearn.decomposition.PCAtidak berfungsi pada data yang jarang, dan saya sudah mencoba menggunakan sklearn.decomposition.TruncatedSVDtetapi mendapatkan...
Saya telah mencoba memahami bagaimana cara merepresentasikan dan membentuk data untuk membuat perkiraan deret waktu multidimensional dan multivarian menggunakan Keras (atau TensorFlow) tetapi saya masih sangat tidak jelas setelah membaca banyak posting blog / tutorial / dokumentasi tentang cara...
Saya mencoba menerapkan makalah ini pada serangkaian gambar medis. Saya melakukannya di Keras. Jaringan pada dasarnya terdiri dari 4 lapisan conv dan max-pool diikuti oleh lapisan yang sepenuhnya terhubung dan classifier soft max. Sejauh yang saya tahu, saya telah mengikuti arsitektur yang...
Saya mengerti apa yang dilakukan Standard Scalar dan apa yang dilakukan Normalizer, sesuai dengan dokumentasi scikit: Normalizer , Standard Scaler . Saya tahu kapan Standard Scaler diterapkan. Tetapi dalam skenario manakah Normalizer diterapkan? Apakah ada skenario di mana satu lebih disukai...
Apakah ada aturan praktis (atau aturan aktual) yang berkaitan dengan jumlah sel LSTM minimum, maksimum, dan "wajar" yang harus saya gunakan? Secara khusus saya berhubungan dengan BasicLSTMCell dari TensorFlow dan num_unitsproperti. Harap asumsikan bahwa saya memiliki masalah klasifikasi yang...
Pertimbangkan kerangka data pyspark yang terdiri dari elemen 'nol' dan elemen numerik. Secara umum, elemen numerik memiliki nilai yang berbeda. Bagaimana mungkin untuk mengganti semua nilai numerik dari dataframe dengan nilai numerik yang konstan (misalnya dengan nilai 1)? Terima kasih...
Saya telah bekerja di NLTK untuk sementara menggunakan Python. Masalah yang saya hadapi adalah tidak ada bantuan yang tersedia untuk melatih NER di NLTK dengan data khusus saya. Mereka telah menggunakan MaxEnt dan melatihnya pada ACE corpus. Saya telah mencari di web banyak tetapi saya tidak dapat...
Saya baru saja membangun jaringan saraf LSTM ini dengan Keras import numpy as np import pandas as pd from sklearn import preprocessing from keras.layers.core import Dense, Dropout, Activation from keras.activations import linear from keras.layers.recurrent import LSTM from keras.models...
t-SNE, seperti pada [1], bekerja dengan secara progresif mengurangi divergensi Kullback-Leibler (KL), sampai kondisi tertentu terpenuhi. Pembuat t-SNE menyarankan untuk menggunakan KL divergence sebagai kriteria kinerja untuk visualisasi: Anda dapat membandingkan divergensi Kullback-Leibler yang...
Saya bekerja dengan Python, scikit-belajar dan keras. Saya memiliki 3.000 ribu gambar arloji berwajah depan seperti yang berikut: Watch_1 , Watch_2 , Watch_3 . Saya ingin menulis sebuah program yang menerima input foto jam tangan nyata yang mungkin diambil dalam kondisi yang kurang ideal daripada...
Saya menggunakan notebook Ipython untuk bekerja dengan aplikasi pyspark. Saya memiliki file CSV dengan banyak kolom kategorikal untuk menentukan apakah pendapatan berada di bawah atau di atas kisaran 50k. Saya ingin melakukan algoritma klasifikasi mengambil semua input untuk menentukan kisaran...
Saat ini saya mencoba untuk melatih model pada file csv besar (> 70GB dengan lebih dari 60 juta baris). Untuk melakukannya saya menggunakan tf.contrib.learn.read_batch_examples. Saya berjuang dalam memahami bagaimana fungsi ini benar-benar membaca data. Jika saya menggunakan ukuran batch...