Bantahan berbasis entropi dari Sharei Bayesian panah mundur paradoks waktu?

Dalam makalah ini , peneliti berbakat Cosma Shalizi berpendapat bahwa untuk sepenuhnya menerima pandangan Bayesian yang subjektif, kita juga harus menerima hasil yang tidak fisik bahwa panah waktu (diberikan oleh aliran entropi) harus benar-benar mundur . Ini terutama merupakan upaya untuk berdebat dengan entropi maksimum / pandangan subjektif sepenuhnya yang diajukan dan dipopulerkan oleh ET Jaynes .

Selama di LessWrong , banyak kontributor sangat tertarik dengan teori probabilitas Bayesian dan juga dalam pendekatan Bayesian subyektif sebagai dasar untuk teori keputusan formal dan batu loncatan menuju AI Eliezer Yudkowsky yang kuat adalah kontributor umum di sana dan saya baru-baru ini membaca posting ini ketika saya menemukan komentar ini (beberapa komentar bagus lainnya muncul tidak lama setelah itu di halaman posting asli).

Adakah yang bisa berkomentar tentang validitas sanggahan Yudkowsky tentang Shalizi. Secara singkat, argumen Yudkowsky adalah bahwa mekanisme fisik yang digunakan agen penalaran untuk memperbarui keyakinannya memerlukan kerja dan karenanya memiliki biaya termodinamika yang disapu Shalizi di bawah permadani. Dalam komentar lain, Yudkowsky membela ini, dengan mengatakan:

"Jika Anda mengambil perspektif pengamat sempurna yang mahatahu di luar sistem, gagasan" entropi "tidak berarti, seperti" probabilitas "- Anda tidak perlu menggunakan termodinamika statistik untuk memodelkan apa pun, Anda hanya menggunakan ketepatan deterministik persamaan gelombang. "

Bisakah probabilis atau mekanik statistik mengomentari ini? Saya tidak terlalu peduli dengan argumen dari otoritas mengenai status Shalizi atau Yudkowsky, tapi saya benar-benar ingin melihat ringkasan cara tiga poin Yudkowsky menawarkan kritik terhadap artikel Shalizi.

Untuk mematuhi pedoman FAQ dan menjadikan ini pertanyaan yang dapat dijawab secara konkret, harap dicatat bahwa saya meminta respons spesifik dan terperinci yang mengambil argumen tiga langkah Yudkowsky dan menunjukkan di mana dalam artikel Shalizi, tiga langkah tersebut membantah asumsi dan / atau derivasi, atau, di sisi lain, menunjukkan di mana dalam makalah Shalizi argumen Yudkowsky dibahas.

Saya sudah sering mendengar artikel Shalizi yang disebut-sebut sebagai bukti berbalut besi bahwa Bayesianisme subjektif penuh tidak dapat dipertahankan ... tetapi setelah membaca artikel Shalizi beberapa kali, sepertinya argumen mainan kepada saya yang tidak pernah bisa diterapkan untuk pengamat yang berinteraksi dengan apa pun yang sedang diamati (yaitu semua fisika aktual). Tapi Shalizi adalah peneliti yang hebat, jadi saya akan menyambut pendapat kedua karena sangat mungkin saya tidak mengerti potongan penting dari debat ini.

bayesian entropy maximum-entropy philosophical Ely
sumber

Shalizi suka menjadi provokatif ... argumennya bagi saya pada dasarnya sama dengan argumen kreasionis bahwa evolusi melanggar hukum kedua termodinamika karena organisme "belakangan" lebih kompleks, dengan cara yang terorganisir, daripada organisme "sebelumnya", tetapi hukum kedua mengatakan entropi tidak menurun. Namun, 1) tidak ada dalam hukum kedua yang mencegah penurunan lokal dalam entropi, dan 2) argumen itu menyiratkan tidak ada yang bisa belajar apa pun tentang apa pun, tidak pernah (mengapa harus belajar melalui pembaruan Bayesian berbeda dari proses pembelajaran lainnya?)

jbowman

Saya tidak akan terganggu oleh perdebatan antara Shalizi dan Yudkowsky; tidak ada otoritas. (Shalizi menulis dengan baik.) Bagaimanapun, bukankah menurut Anda fisika. Apakah tempat yang lebih baik untuk pertanyaan ini?

Emre

Sudahkah Anda membaca banyak posting urutan Yudkowsky? Saya pikir dia menulis dengan cukup baik juga. Kedua tokoh ini memiliki sikap yang kontroversial, tetapi Shalizi tampaknya benar-benar mengeluarkannya untuk subjektif Bayesianisme. Alasan saya bertanya di sini adalah karena ini berhubungan erat dengan makalah statistik yang lebih murni yang ditulis Shalizi dengan Andrew Gelman, yang juga penuh dengan masalah filosofis (meskipun Gelman adalah seorang profesional total dalam hal praktik). ( tautan )

ely

Saya sudah mencoba untuk meletakkan ini ke persamaan, tetapi saya belum bisa melakukannya. Saya pikir masalah terbesar Shazili adalah asumsi kedua pada Bagian 1, yaitu, bahwa Anda bisa memperbarui titik fase (acak)

menggunakan Bayes Rule. Seperti yang ditunjukkan Yudkowsky, ini mengabaikan fakta bahwa ketika Anda mengukur lagi dan memperbarui distribusi awal Anda, Anda harus menambahkan kontribusi ANDA ke sistem ...

X

$X$

Néstor

... dan ini muncul dalam banyak bentuk: mencoba mengendalikan sistem Anda (yang unik setiap kali, membuat masalahnya mungkin pada dasarnya bersifat stokastik, yang dalam kasus ini gagasan entropi tidak masuk akal ... mungkin kita harus berbicara tentang tingkat entropi?). Saya telah berusaha meyakinkan diri sendiri bahwa kontribusi ini dapat dimodelkan sebagai transformasi linear dari fase-vektor titik

: ini akan menjelaskan bahwa ketidaksetaraan yang digunakan Shazili tidak valid, karena entropi yang dihasilkan akan memiliki istilah tambahan (the logaritma dari penentu transformasi linear).

X

$X$

Néstor

Jawaban:

Singkatnya: 1: 0 untuk Yudkowsky.

Cosma Shalizi mempertimbangkan distribusi probabilitas yang mengalami beberapa pengukuran. Dia memperbarui probabilitas sesuai (di sini tidak penting jika inferensi Bayensian atau apa pun).

Tidak mengherankan sama sekali, entropi dari distribusi probabilitas berkurang.

Namun, ia membuat kesimpulan yang salah bahwa itu mengatakan sesuatu tentang panah waktu:

Asumsi-asumsi ini membalikkan panah waktu, yaitu, mereka membuat entropi tidak bertambah.

Seperti yang ditunjukkan dalam komentar, yang penting bagi termodinamika, adalah entropi dari sistem tertutup . Yaitu, menurut hukum kedua termodinamika , entropi sistem tertutup tidak dapat berkurang. Ia tidak mengatakan apa-apa tentang entropi subsistem (atau sistem terbuka); kalau tidak, Anda tidak bisa menggunakan kulkas.

Dan begitu kita mengukur sth (yaitu berinteraksi dan mengumpulkan informasi) itu bukan sistem tertutup lagi. Entah kita tidak dapat menggunakan hukum kedua, atau - kita perlu mempertimbangkan sistem tertutup yang terbuat dari sistem terukur dan pengamat (yaitu diri kita sendiri).

Khususnya, ketika kita mengukur keadaan pasti suatu partikel (sementara sebelum kita mengetahui distribusinya), memang kita menurunkan entropinya. Namun, untuk menyimpan informasi, kita perlu meningkatkan entropi kita setidaknya dengan jumlah yang sama (biasanya ada overhead yang sangat besar).

Jadi Eliezer Yudkowsky membuat poin yang bagus:

1) Pengukuran menggunakan pekerjaan (atau setidaknya penghapusan dalam persiapan untuk pengukuran selanjutnya menggunakan pekerjaan).

Sebenarnya, komentar tentang pekerjaan bukanlah yang terpenting di sini. Sementara termodinamika adalah tentang menghubungkan (atau berdagang) entropi dengan energi, Anda dapat menyiasati (yaitu kita tidak perlu menggunakan prinsip Landauer , yang Shalizi skeptis ). Untuk mengumpulkan beberapa informasi baru, Anda perlu menghapus informasi sebelumnya.

Agar konsisten dengan mekanika klasik (dan juga kuantum), Anda tidak dapat membuat fungsi memetakan apa pun secara acak ke semua nol (tanpa efek samping). Anda dapat membuat fungsi memetakan memori Anda menjadi nol , tetapi pada saat yang sama membuang informasi di suatu tempat, yang secara efektif meningkatkan entropi lingkungan.

(Yang di atas berasal dari dinamika Hamilton - yaitu pelestarian ruang fase dalam kasus klasik, dan unitaritas evolusi dalam kasus kuantum.)

PS: Trik untuk hari ini - "mengurangi entropi":

$H = 1$
$H = 0$

Piotr Migdal
sumber

apakah ini versi yang benar: "Kertas Shalizi hanyalah pernyataan khusus iblis Maxwell"?

Artem Kaznatcheev

@ ArtemKaznatcheev Pada dasarnya ya. Tetapi lebih dalam rasa tertutup vs sistem terbuka. Tetapi bagi mereka yang tidak suka membaca ada baris pertama;).

Piotr Migdal

Saya suka jawaban ini, tetapi saya mengalami kesulitan berdamai dengan diskusi di utas lainnya. Lihatlah tautan ini dan temukan utas / jawaban yang dimulai oleh pengguna "pragmatis". Jika Anda menambahkan satu atau dua paragraf yang membahas argumen itu (atau menjelaskan mengapa argumen itu valid / tidak setuju dengan jawaban Anda di atas), saya akan dengan senang hati menerima.

ely

@ EMS Yah, "Bisakah Anda mengomentari diskusi?" bukan yang paling cocok untuk SE (dan secara umum, ada banyak argumen). Apalagi faktanya saya membenarkan kritik terhadap karya Shalizi. Termasuk juga kritik terhadap kritik terhadap sebuah makalah yang meminta terlalu banyak. Bisakah Anda lebih spesifik, yaitu titik poin yang tepat? Namun: "Ketika kita melakukan mekanika statistik, kita biasanya tidak tertarik pada entropi sistem plus pengamat" - false (sistem terbuka vs tertutup), "evolusi sistem tidak akan bersifat kesatuan" - benar, tetapi bahkan secara klasik Anda tidak dapat mengurangi total entropi.

Piotr Migdal

@ EMS Prinsip penghapusan lebih dalam dari stat. mech. - Seperti yang saya katakan, jika tidak memuaskan keduanya membantah mekanika kuantum dan klasik. Dan sekali lagi: Anda tidak dapat menerapkan aturan untuk sistem tertutup ke sistem terbuka - sehingga sebagian besar argumen oleh pragmatis tidak ilmiah (yaitu dalam hal apa yang dipercayai atau tidak) atau mengabaikan fisika.

Piotr Migdal

Kelemahan Shalizi sangat mendasar dan berasal dari asumsi I, bahwa waktu evolusi tidak dapat dibalik (reversibel).

Evolusi waktu dari status INDIVIDU bersifat reversibel. Evolusi waktu dari suatu distribusi pada SEMUA RUANG FASE pastilah tidak dapat dibalikkan, kecuali jika sistemnya berada dalam kesetimbangan. Makalah ini membahas evolusi waktu dari distribusi di seluruh ruang fase, bukan pada keadaan individu, sehingga asumsi keterbalikan sama sekali tidak bersifat fisik. Dalam kasus kesetimbangan, hasilnya sepele.

Panah waktu berasal dari fakta ini, sebenarnya, bahwa evolusi waktu distribusi tidak dapat dibalikkan (alasan mengapa gradien menurun dan gas menyebar). Keterbalikan diketahui muncul dari 'istilah tabrakan'

Jika Anda memperhitungkan ini, argumennya berantakan. Entropi informasi = entropi termodinamika, masih, untuk saat ini. : D

Ethan
sumber

Karena pada level fundamental QM bersifat deterministik - persamaan Schrodinger secara tepat menggambarkan bagaimana suatu sistem berevolusi dari waktu ke waktu dan tidak ada ketidakpastian tentang itu - dan itu linear , akan terlihat bahwa reversibilitas dalam evolusi masing-masing negara akan segera menyiratkan reversibilitas dalam setiap distribusi negara tersebut. Karena itu saya ingin melihat pembenaran matematis Anda dari pernyataan Anda yang bertentangan, karena itu akan menunjukkan lebih jelas apa yang sekarang Anda hanya secara implisit berasumsi tentang persamaan dinamis.

whuber

Untuk distribusi keseimbangan, hal-hal sepele, evolusi waktu dapat dibalik. Untuk sistem disipatif, di mana volume ruang fase tidak konstan, banyak keadaan distribusi awal mungkin dipetakan ke satu keadaan distribusi akhir, atau sebaliknya (tidak lagi reversibel). Ini jelas dalam kasus, misalnya, ekspansi bebas gas ideal. Gerakan masing-masing partikel jelas reversibel, tetapi ekspansi itu sendiri tidak, karena melibatkan perubahan volume ruang fase. Gas tidak pernah 'tidak berkembang'. Jika Anda masih tidak senang, saya bisa menghitung matematika untuk Anda.

Ethan

Karena Anda menuduh Shalizi salah tentang hal ini, menawarkan semacam dukungan matematika objektif akan menjadi ide yang bagus. Tetapi berhati-hatilah untuk tidak menyimpang terlalu jauh dari fokus situs ini, yaitu tentang menganalisis data, bukan fisika! Namun demikian, contoh ekspansi bebas tampaknya tidak cocok bagi saya, karena di alam semesta yang kompak (secara hipotesis) tampaknya tidak ada hal seperti itu: gas mengembang ke tempat lain.

whuber

Benar kadang-kadang saya lupa stackexchange saya. Mungkin saya akan memulai sesuatu di sana. Tetapi untuk gas, perubahan entropi adalah TdS = dU + pdV tetapi dU adalah nol adalah kita adiabatik jadi dS = pdV / T. Menurut hukum gas ideal, dS = nRdV / V, jadi beralih dari v1 ke v2 mengubah entropi dengan ln (v2 / v1). Pada dasarnya semua proses makroskopis spontan (mis. Direproduksi) tidak dapat dipulihkan. Tapi mungkin mendapatkan ini dari prinsip-prinsip dasar bukanlah hal sepele (Boltzmann menghabiskan hidupnya untuk itu)

Ethan

Makalah yang ditautkan secara eksplisit mengasumsikan itu

Operator evolusi T tidak dapat dibalik.

Tetapi jika Anda menggunakan QM dengan cara konvensional, maka asumsi ini tidak berlaku. Misalkan Anda memiliki X1 negara yang dapat berkembang menjadi X2 atau X3 dengan probabilitas yang sama. Anda akan mengatakan bahwa keadaan X1 berevolusi menjadi set tertimbang [1/2 X2 + 1/2 X3]. Shalizi membuktikan bahwa set ini tidak memiliki entropi lebih daripada X1.

Tapi kami, sebagai pengamat atau sebagai bagian dari sistem itu, hanya bisa melihat salah satu cabang, baik X2 atau X3. Memilih yang mana dari dua cabang yang bisa kita lihat menambah sedikit entropi baru, dan pilihan ini tidak bisa dibalik. Di sinilah peningkatan entropi dengan waktu berasal. Apa yang Shalizi telah lakukan, adalah menggunakan matematika di mana semua entropi berasal dari percabangan kuantum, kemudian lupakan bahwa percabangan kuantum terjadi.

jimrandomh
sumber

Makalah (sebagai hukum kedua) berkaitan dengan sistem tertutup. Mekanika kuantum sepenuhnya dapat dibalikkan pada sistem tertutup (yaitu semua operator adalah kesatuan). Satu-satunya operasi non-reversibel dalam mekanika kuantum adalah pengukuran; jika Anda mengukur sistem tertutup maka tidak lagi tertutup dari perspektif termodinamika. Jika pengamat Anda ada di dalam sistem, dan mengukur sub-sistem, maka sub-sistem pengamat + berkembang bersama-sama, dan dengan demikian operasinya tidak dapat dibalik (trik ini secara informal disebut "Gereja Ruang Hilbert yang lebih besar"). Dengan demikian, argumen Anda dari "QM" salah.

Artem Kaznatcheev

Ini hanya jika Anda percaya interpretasi Kopenhagen (atau orang lain yang memisahkan 'pengukuran' dari proses kesatuan). Banyak Worlds berpendapat bahwa pengukuran hanyalah hukum kesatuan biasa dan karenanya dapat dibalik secara sempurna; itu hanya sebuah artefak dari keadaan awal alam semesta yang secara probabilistik tidak mungkin melihat pembalikannya (saya mungkin tidak menjelaskannya dengan sangat baik, saya bukan fisikawan). Bagaimanapun, saya tidak yakin bahwa jawaban ini harus diturunkan karena kritik ini.

ely

@ EMS Tidak masalah interpretasi apa yang Anda gunakan, QM dari sistem tertutup dapat dibalik. Tetapi dalam konteks yang lebih besar dari pertanyaan awal, detail penjawab yang salah tentang QM tidak relevan: Shalizi sudah membahas poin ini di bagian II.A dalam pengertian yang lebih umum; bahkan bentuk yang benar dari jawaban ini tidak melampaui kekurangan yang ditunjukkan Shalizi sendiri.

Artem Kaznatcheev

Seperti disebutkan dalam utas lain yang membahas hal ini, jawaban ini tampaknya hanya merupakan kebalikan dari jawaban lain yang diberikan: jika Anda bersikeras pada persyaratan sistem tertutup, maka Anda harus menemukan sumber entropi Anda (yaitu "sistem tertutup" Shalizi harus menyertakan orang dengan sedikit entropi untuk 'kebetulan melanjutkan satu cabang (tidak diketahui) dari dua cabang. "Yaitu, sepertinya jawaban ini juga mengatakan bahwa kertas Shalizi hanyalah pernyataan ulang dari Maxwell's Demon. Sekali lagi, saya mungkin salah paham karena kurangnya pelatihan fisika formal

ely