Saya baru mengenal TensorFlow. Saya baru saja menginstalnya (versi Windows CPU) dan menerima pesan berikut:

Berhasil memasang tensorflow-1.4.0 tensorflow-tensorboard-0.4.0rc2

Lalu ketika saya mencoba lari

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
sess.run(hello)
'Hello, TensorFlow!'
a = tf.constant(10)
b = tf.constant(32)
sess.run(a + b)
42
sess.close()

(yang saya temukan melalui https://github.com/tensorflow/tensorflow )

Saya menerima pesan berikut:

2017-11-02 01: 56: 21.698935: IC: \ tf_jenkins \ home \ workspace \ rel-win \ M \ windows \ PY \ 36 \ tensorflow \ core \ platform \ cpu_feature_guard.cc: 137] CPU Anda mendukung instruksi bahwa ini Biner TensorFlow tidak dikompilasi untuk digunakan: AVX AVX2

Tetapi ketika saya berlari

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
print(sess.run(hello))

itu berjalan sebagaimana mestinya dan output Hello, TensorFlow!, yang menunjukkan bahwa instalasi memang berhasil tetapi ada hal lain yang salah.

Apakah Anda tahu apa masalahnya dan bagaimana cara memperbaikinya?

Tentang apakah peringatan ini?

CPU modern menyediakan banyak instruksi tingkat rendah, selain aritmatika dan logika yang biasa, dikenal sebagai ekstensi, misalnya SSE2, SSE4, AVX, dll. Dari Wikipedia :

Advanced Vector Extensions ( AVX ) adalah ekstensi untuk arsitektur set instruksi x86 untuk mikroprosesor dari Intel dan AMD yang diusulkan oleh Intel pada Maret 2008 dan pertama kali didukung oleh Intel dengan pengiriman prosesor Sandy Bridge pada Q1 2011 dan kemudian oleh AMD dengan pengiriman prosesor Bulldozer. pada Q3 2011. AVX menyediakan fitur baru, instruksi baru dan skema pengkodean baru.

Secara khusus, AVX memperkenalkan operasi penggandaan multiply-akumulasi (FMA), yang mempercepat perhitungan aljabar linier, yaitu produk-titik, perkalian matriks, konvolusi, dll. Hampir setiap pelatihan pembelajaran mesin melibatkan banyak operasi ini, karenanya akan menjadi lebih cepat pada CPU yang mendukung AVX dan FMA (hingga 300%). Peringatan tersebut menyatakan bahwa CPU Anda mendukung AVX (hore!).

Saya ingin menekankan di sini: ini semua tentang CPU saja .

Mengapa tidak digunakan saat itu?

Karena distribusi standar tensorflow dibangun tanpa ekstensi CPU , seperti SSE4.1, SSE4.2, AVX, AVX2, FMA, dll. Build default (yang berasal dari pip install tensorflow) dimaksudkan agar kompatibel dengan CPU sebanyak mungkin. Argumen lain adalah bahwa meskipun dengan ekstensi ini, CPU jauh lebih lambat daripada GPU, dan diharapkan pelatihan pembelajaran mesin skala menengah dan besar dilakukan pada GPU.

Apa yang harus anda lakukan

Jika Anda memiliki GPU , Anda seharusnya tidak peduli dengan dukungan AVX, karena ops paling mahal akan dikirim pada perangkat GPU (kecuali secara eksplisit diatur untuk tidak melakukannya). Dalam hal ini, Anda bisa mengabaikan peringatan ini dengan

# Just disables the warning, doesn't enable AVX/FMA
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

... atau dengan mengatur export TF_CPP_MIN_LOG_LEVEL=2jika Anda menggunakan Unix. Tensorflow berfungsi dengan baik, tetapi Anda tidak akan melihat peringatan yang mengganggu ini.

Jika Anda tidak memiliki GPU dan ingin memanfaatkan CPU sebanyak mungkin, Anda harus membuat tensorflow dari sumber yang dioptimalkan untuk CPU Anda dengan AVX, AVX2, dan FMA diaktifkan jika CPU Anda mendukungnya. Sudah dibahas dalam pertanyaan ini dan juga masalah GitHub ini . Tensorflow menggunakan sistem ad-hoc build yang disebut bazel dan membangunnya tidak sepele, tetapi tentu bisa dilakukan. Setelah ini, tidak hanya peringatan akan hilang, kinerja tensorflow juga harus ditingkatkan.

Perbarui biner tensorflow untuk CPU & OS Anda menggunakan perintah ini

pip install --ignore-installed --upgrade "Download URL"

Url unduhan file whl dapat ditemukan di sini

https://github.com/lakshayg/tensorflow-build

Optimasi CPU dengan GPU

Ada keuntungan kinerja yang bisa Anda dapatkan dengan menginstal TensorFlow dari sumbernya bahkan jika Anda memiliki GPU dan menggunakannya untuk pelatihan dan inferensi. Alasannya adalah beberapa operasi TF hanya memiliki implementasi CPU dan tidak dapat berjalan pada GPU Anda.

Juga, ada beberapa tips peningkatan kinerja yang memanfaatkan CPU Anda. Panduan kinerja TensorFlow merekomendasikan yang berikut ini:

Menempatkan operasi pipa input pada CPU dapat secara signifikan meningkatkan kinerja. Memanfaatkan CPU untuk pipa input membebaskan GPU untuk fokus pada pelatihan.

Untuk kinerja terbaik, Anda harus menulis kode Anda untuk menggunakan CPU dan GPU Anda untuk bekerja bersama-sama, dan tidak membuang semuanya pada GPU Anda jika Anda memilikinya. Memiliki biner TensorFlow Anda dioptimalkan untuk CPU Anda bisa melunasi berjam-jam waktu yang dihemat dan Anda harus melakukannya sekali.

Untuk Windows, Anda dapat memeriksa optimalisasi Intel MKL resmi untuk roda TensorFlow yang dikompilasi dengan AVX2. Solusi ini mempercepat inferensi saya ~ x3.

conda install tensorflow-mkl

Untuk Windows (Terima kasih kepada pemilik f040225), buka di sini: https://github.com/fo40225/tensorflow-windows-wheel untuk mengambil url untuk lingkungan Anda berdasarkan kombinasi "tf + python + cpu_instruction_extension". Kemudian gunakan cmd ini untuk menginstal:

pip install --ignore-installed --upgrade "URL"

Jika Anda menemukan kesalahan "File bukan file zip", unduh .whl ke komputer lokal Anda, dan gunakan cmd ini untuk menginstal:

pip install --ignore-installed --upgrade /path/target.whl

Jika Anda menggunakan pip versi tensorflow, itu berarti itu sudah disusun dan Anda hanya menginstal itu. Pada dasarnya Anda menginstal tensorflow-gpu, tetapi ketika Anda mengunduhnya dari repositori dan mencoba membangun, Anda harus membangunnya dengan dukungan CPU AVX. Jika Anda mengabaikannya, Anda akan mendapatkan peringatan setiap kali Anda menjalankan cpu.

Cara termudah yang saya temukan untuk memperbaikinya adalah dengan menghapus instalan semuanya lalu menginstal versi tensorflow-gpu tertentu:

1. uninstall tensorflow:

    pip uninstall tensorflow

2. uninstall tensorflow-gpu: (pastikan untuk menjalankan ini bahkan jika Anda tidak yakin jika Anda menginstalnya)

    pip uninstall tensorflow-gpu

3. Instal versi tensorflow-gpu tertentu:

    pip install tensorflow-gpu==2.0.0
    pip install tensorflow_hub
    pip install tensorflow_datasets

Anda dapat memeriksa apakah ini berhasil dengan menambahkan kode berikut ke dalam file python:

from __future__ import absolute_import, division, print_function, unicode_literals

import numpy as np

import tensorflow as tf
import tensorflow_hub as hub
import tensorflow_datasets as tfds

print("Version: ", tf.__version__)
print("Eager mode: ", tf.executing_eagerly())
print("Hub Version: ", hub.__version__)
print("GPU is", "available" if tf.config.experimental.list_physical_devices("GPU") else "NOT AVAILABLE")

Jalankan file dan kemudian hasilnya akan seperti ini:

Version:  2.0.0
Eager mode:  True
Hub Version:  0.7.0
GPU is available

Semoga ini membantu

Yang berhasil bagi saya adalah perpustakaan ini https://pypi.org/project/silence-tensorflow/

Instal perpustakaan ini dan lakukan seperti yang diperintahkan pada halaman, itu berfungsi seperti pesona!