Adakah tabel umum teknik statistik yang diketahui yang menjelaskan bagaimana skala dengan ukuran dan dimensi sampel? Sebagai contoh, seorang teman saya mengatakan kepada saya tempo hari bahwa waktu perhitungan hanya menyortir data satu dimensi dengan ukuran n berjalan seperti n * log (n). Jadi,...
Saya telah menganalisis satu set data ~ 400k catatan dan 9 variabel. Variabel dependen adalah biner. Saya telah memasang regresi logistik, pohon regresi, hutan acak, dan gradien yang didorong pohon. Semuanya memberikan angka cocok virtual yang identik ketika saya memvalidasinya pada set data...
Peringatan: Saya seorang pemula yang lengkap dalam hal pembelajaran mesin, tetapi ingin sekali belajar. Saya memiliki dataset besar dan saya mencoba menemukan pola di dalamnya. Mungkin ada / mungkin tidak ada korelasi di seluruh data, baik dengan variabel yang diketahui, atau variabel yang...
Saya memiliki ribuan daftar string, dan setiap daftar memiliki sekitar 10 string. Sebagian besar string dalam daftar yang diberikan sangat mirip, meskipun beberapa string (jarang) sama sekali tidak terkait dengan yang lain dan beberapa string berisi kata-kata yang tidak relevan. Mereka dapat...
Saya telah mengembangkan program catur yang memanfaatkan algoritma pemangkasan alpha-beta dan fungsi evaluasi yang mengevaluasi posisi menggunakan fitur-fitur berikut yaitu bahan, keamanan, mobilitas, struktur gadai dan potongan terperangkap dll ..... Fungsi evaluasi saya adalah berasal dari f( p...
Deskripsi umum masalah Saya memiliki grafik di mana beberapa simpul diberi label dengan tipe dengan 3 atau 4 nilai yang mungkin. Untuk simpul lainnya, jenisnya tidak diketahui. Tujuan saya adalah menggunakan grafik untuk memprediksi tipe untuk simpul yang tidak berlabel. Kerangka yang...
Saya mencari paket (baik dalam python, R, atau paket mandiri) untuk melakukan pembelajaran online untuk memprediksi data stok. Saya telah menemukan dan membaca tentang Vowpal Wabbit ( https://github.com/JohnLangford/vowpal_wabbit/wiki ), yang tampaknya cukup menjanjikan tetapi saya bertanya-tanya...
Saya berencana untuk menggunakan classifier scikit linear support vector machine (SVM) untuk klasifikasi teks pada corpus yang terdiri dari 1 juta dokumen berlabel. Apa yang saya rencanakan untuk lakukan adalah, ketika pengguna memasukkan beberapa kata kunci, classifier pertama akan...
Saya telah membuat classifier Naif Bayes yang menggunakan teknik bag-of-words untuk mengklasifikasikan posting spam pada papan pesan. Ini bekerja, tapi saya pikir saya bisa mendapatkan hasil yang lebih baik jika model saya mempertimbangkan urutan kata dan frasa. (mis: 'cewek' dan 'live' mungkin...
mari kita asumsikan bahwa saya ingin melatih algoritma regresi penurunan gradien stokastik menggunakan dataset yang memiliki sampel N. Karena ukuran dataset sudah diperbaiki, saya akan menggunakan kembali data T kali. Pada setiap iterasi atau "zaman", saya menggunakan masing-masing sampel pelatihan...
Saya mencoba menyiapkan infrastruktur data besar menggunakan Hadoop, Hive, Elastic Search (di antara yang lain), dan saya ingin menjalankan beberapa algoritma melalui set data tertentu. Saya ingin algoritma itu sendiri dapat diskalakan, jadi ini tidak termasuk menggunakan alat seperti Weka, R, atau...
Saya mencoba membuat kumpulan data pada beberapa file log dari salah satu produk kami. File log yang berbeda memiliki tata letak dan konten sendiri; Saya berhasil mengelompokkan mereka bersama, hanya satu langkah tersisa ... Memang, log "pesan" adalah informasi terbaik. Saya tidak memiliki daftar...
Saya memiliki kumpulan teks dengan topik yang sesuai. Misalnya "A rapper Tupac was shot in LA"dan diberi label sebagai ["celebrity", "murder"]. Jadi pada dasarnya setiap vektor fitur dapat memiliki banyak label (bukan jumlah yang sama. Vektor fitur pertama dapat memiliki 3 label, kedua 1, ketiga...
Saya mencoba membangun hash sensitif lokalitas kosinus sehingga saya dapat menemukan kandidat pasangan barang yang serupa tanpa harus membandingkan setiap pasangan yang memungkinkan. Saya memilikinya pada dasarnya bekerja, tetapi sebagian besar pasangan dalam data saya tampaknya memiliki kesamaan...
Jadi, kumpulan data kami minggu ini memiliki 14 atribut dan setiap kolom memiliki nilai yang sangat berbeda. Satu kolom memiliki nilai di bawah 1 sementara kolom lainnya memiliki nilai yang terdiri dari tiga hingga empat digit penuh. Kami mempelajari normalisasi minggu lalu dan sepertinya Anda...
Saya mencoba mempelajari pengikisan web menggunakan Python sendiri sebagai bagian dari upaya mempelajari analisis data. Saya mencoba untuk mengikis halaman web imdb yang url-nya adalah sebagai berikut:
Saya memiliki dataset besar yang perlu saya bagi menjadi beberapa kelompok sesuai dengan parameter tertentu. Saya ingin pekerjaan diproses seefisien mungkin. Saya dapat membayangkan dua cara untuk melakukannya Opsi 1 - Buat peta dari RDD asli dan filter def customMapper(record): if...
Ditutup . Pertanyaan ini perlu lebih fokus . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga berfokus pada satu masalah hanya dengan mengedit posting ini . Ditutup 2 tahun yang lalu . Apakah Web
Saya mencoba untuk melatih jaringan saraf tiruan dengan dua lapisan convolutional (c1, c2) dan dua lapisan tersembunyi (c1, c2). Saya menggunakan pendekatan backpropagation standar. Dalam pass mundur saya menghitung istilah kesalahan lapisan (delta) berdasarkan kesalahan lapisan sebelumnya, bobot...
Saya memiliki dataset besar dengan objek JSON 9m masing-masing ~ 300 byte. Mereka adalah posting dari agregator tautan: pada dasarnya tautan (URL, judul dan id penulis) dan komentar (teks dan ID penulis) + metadata. Mereka bisa menjadi catatan relasional dalam sebuah tabel, kecuali fakta bahwa...