Apakah LINQ membutuhkan siklus pemrosesan dan memori yang jauh lebih banyak daripada teknik iterasi data tingkat rendah?

Latar Belakang

Saya baru-baru ini dalam proses bertahan wawancara teknologi melelahkan untuk posisi yang menggunakan .NET stack, beberapa di antaranya termasuk pertanyaan konyol seperti ini , dan beberapa pertanyaan yang lebih valid. Saya baru-baru ini menemukan masalah yang mungkin valid tetapi saya ingin memastikan dengan komunitas di sini.

Ketika ditanya oleh pewawancara bagaimana saya akan menghitung frekuensi kata-kata dalam dokumen teks dan memberi peringkat hasilnya, saya menjawab bahwa saya akan menghitungnya

1. Gunakan objek aliran, letakkan file teks dalam memori sebagai string.
2. Pisahkan string menjadi sebuah array pada spasi sambil mengabaikan tanda baca.
3. Gunakan LINQ terhadap array ke .GroupBy()dan .Count(), lalu OrderBy()ucapkan hitungan.

Saya salah menjawab karena dua alasan:

1. Streaming seluruh file teks ke dalam memori bisa menjadi bencana. Bagaimana jika itu seluruh ensiklopedia? Alih-alih, saya harus mengalirkan satu blok pada satu waktu dan mulai membangun tabel hash.
2. LINQ terlalu mahal dan membutuhkan terlalu banyak siklus pemrosesan. Saya seharusnya membangun tabel hash dan, untuk setiap iterasi, hanya menambahkan kata ke tabel hash jika tidak ada dan kemudian menambah itu dihitung.

Alasan pertama tampaknya, well, masuk akal. Tapi yang kedua memberi saya lebih banyak jeda. Saya berpikir bahwa salah satu nilai jual LINQ adalah bahwa ia hanya mengabstraksi operasi tingkat rendah seperti tabel hash tetapi bahwa, di bawah tabir, masih implementasi yang sama.

Pertanyaan

Selain dari beberapa siklus pemrosesan tambahan untuk memanggil metode abstrak apa pun, apakah LINQ membutuhkan siklus pemrosesan yang lebih signifikan untuk menyelesaikan tugas iterasi data yang diberikan daripada tugas tingkat rendah (seperti membuat tabel hash)?

Saya akan mengatakan kelemahan utama dari jawaban ini adalah kurang penggunaan Linq dan lebih banyak operator tertentu yang dipilih. GroupBymengambil setiap elemen dan memproyeksikannya ke kunci dan nilai yang masuk ke pencarian. Dengan kata lain, setiap kata akan menambahkan sesuatu ke pencarian.

Implementasi naif .GroupBy(e => e)akan menyimpan salinan setiap kata dalam materi sumber, membuat pencarian terakhir hampir sebesar bahan sumber asli. Bahkan jika kami memproyeksikan nilainya dengan .GroupBy(e => e, e => null)kami menciptakan pencarian besar nilai-nilai kecil.

Yang kami inginkan adalah operator yang hanya menyimpan informasi yang diperlukan, yaitu satu salinan dari setiap kata dan jumlah kata itu sejauh ini. Untuk itu, kita bisa menggunakan Aggregate:

words.Aggregate(new Dictionary<string, int>(), (counts, word) => 
{
    int currentCount;
    counts.TryGetValue(word, currentCount);
    counts[word] = currentCount + 1;
    return counts;
} 

Dari sini, ada beberapa cara yang dapat kami lakukan untuk mempercepat ini:

1. Alih-alih membuat banyak string saat memisahkan, kita bisa mengedarkan struct yang mereferensikan string asli dan segmen yang berisi kata, dan hanya menyalin segmen ketika ternyata menjadi kunci unik
2. Gunakan Parallel Linq untuk menggabungkan beberapa core kemudian menggabungkan hasilnya . Ini sepele dibandingkan dengan pekerjaan kaki yang diperlukan untuk melakukan ini dengan tangan.

Saya pikir Anda memiliki jalan keluar yang sempit, pewawancara tidak benar-benar tahu apa yang dia bicarakan. Lebih buruk lagi, dia percaya ada jawaban yang "benar". Jika dia adalah seseorang yang Anda ingin bekerja, saya berharap dia mengambil jawaban awal Anda, mencari tahu mengapa Anda memilihnya, dan kemudian menantang Anda untuk membuatnya lebih baik jika dia dapat menemukan masalah dengannya.

LINQ membuat orang takut karena terlihat seperti sulap. Ini sebenarnya sangat sederhana (Begitu sederhana, Anda harus menjadi jenius untuk membuatnya)

var result = from item in collection where item=>item.Property > 3 select item;

Dikompilasi menjadi:

IEnumerable<itemType> result = collection.Where(item=>item.property >3);

(Tolong jangan berteriak jika aku salah sintaks, sudah lewat tengah malam dan aku di tempat tidur :))

Di mana ada metode ekstensi pada IEnumerable yang mengambil lambda. Lambda hanya (dalam hal ini) dikompilasi untuk delegasi:

bool AMethod(ItemType item)
{
    return item.property >3;
}

Metode Where hanya menambahkan SEMUA instance item di mana AMethod mengembalikan true ke koleksi yang dikembalikan.

Tidak ada alasan yang lebih lambat daripada melakukan foreach dan menambahkan semua item yang cocok ke koleksi di loop itu. Bahkan metode ekstensi Where mungkin melakukan hal itu. Keajaiban nyata datang ketika Anda harus menyuntikkan kriteria alternatif di mana.

Seperti yang saya sebutkan di atas dalam komentar saya, beberapa contoh terkait sangat salah. Dan informasi yang salah inilah yang menyebabkan masalah.

Akhirnya, jika wawancara memberi Anda kesempatan, Anda bisa mengatakan bahwa:

• LINQ mudah dibaca, terutama ketika Anda mulai memperkenalkan proyeksi dan pengelompokan yang menarik. Kode yang mudah dibaca adalah mudah [y | ier] untuk mempertahankan kode yang merupakan kemenangan.

• Akan sangat mudah untuk mengukur kinerja jika itu benar-benar hambatan dan menggantinya dengan yang lain.