Bagaimana menjalankan basis data uji Django hanya dalam memori?

Tes unit Django saya membutuhkan waktu lama untuk dijalankan, jadi saya mencari cara untuk mempercepatnya. Saya sedang mempertimbangkan untuk menginstal SSD , tetapi saya tahu itu memiliki kelemahan juga. Tentu saja, ada hal-hal yang bisa saya lakukan dengan kode saya, tetapi saya sedang mencari perbaikan struktural. Bahkan menjalankan satu tes lambat karena database perlu dibangun kembali / dimigrasi ke selatan setiap waktu. Jadi, inilah ideku ...

Karena saya tahu database pengujian akan selalu sangat kecil, mengapa saya tidak bisa hanya mengkonfigurasi sistem untuk selalu menjaga seluruh database pengujian dalam RAM? Jangan pernah menyentuh disk sama sekali. Bagaimana cara mengkonfigurasi ini di Django? Saya lebih suka tetap menggunakan MySQL karena itulah yang saya gunakan dalam produksi, tetapi jika SQLite  3 atau yang lainnya membuat ini mudah, saya akan melakukannya.

Apakah SQLite atau MySQL memiliki opsi untuk berjalan sepenuhnya dalam memori? Seharusnya dimungkinkan untuk mengkonfigurasi disk RAM dan kemudian mengkonfigurasi database tes untuk menyimpan datanya di sana, tapi saya tidak yakin bagaimana cara memberitahu Django / MySQL untuk menggunakan direktori data yang berbeda untuk database tertentu, terutama karena itu terus terhapus. dan diciptakan kembali setiap menjalankan. (Saya menggunakan Mac FWIW.)

Jika Anda mengatur mesin basis data Anda ke sqlite3 saat Anda menjalankan tes, Django akan menggunakan basis data dalam memori .

Saya menggunakan kode seperti ini di saya settings.pyuntuk mengatur mesin ke sqlite ketika menjalankan tes saya:

if 'test' in sys.argv:
    DATABASE_ENGINE = 'sqlite3'

Atau di Django 1.2:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'sqlite3'}

Dan akhirnya di Django 1.3 dan 1.4:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

(Path lengkap ke backend tidak sepenuhnya diperlukan dengan Django 1.3, tetapi membuat pengaturan maju kompatibel.)

Anda juga dapat menambahkan baris berikut, jika Anda mengalami masalah dengan migrasi Selatan:

    SOUTH_TESTS_MIGRATE = False

Saya biasanya membuat file pengaturan terpisah untuk pengujian dan menggunakannya dalam perintah uji misalnya

python manage.py test --settings=mysite.test_settings myapp

Ini memiliki dua manfaat:

1. Anda tidak perlu memeriksa testatau kata ajaib seperti itu di sys.argv, test_settings.pybisa saja

   from settings import *
   
   # make tests faster
   SOUTH_TESTS_MIGRATE = False
   DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

   Atau Anda dapat mengubah lebih lanjut untuk kebutuhan Anda, memisahkan pengaturan pengujian dengan bersih dari pengaturan produksi.

2. Manfaat lain adalah Anda dapat menjalankan pengujian dengan mesin basis data produksi alih-alih sqlite3 menghindari bug yang halus, jadi sambil mengembangkan penggunaan

   python manage.py test --settings=mysite.test_settings myapp

   dan sebelum melakukan kode dijalankan sekali

   python manage.py test myapp

   hanya untuk memastikan bahwa semua tes benar-benar lulus.

MySQL mendukung mesin penyimpanan yang disebut "MEMORY", yang dapat Anda konfigurasi di konfigurasi database Anda ( settings.py) seperti:

    'USER': 'root',                      # Not used with sqlite3.
    'PASSWORD': '',                  # Not used with sqlite3.
    'OPTIONS': {
        "init_command": "SET storage_engine=MEMORY",
    }

Perhatikan bahwa mesin penyimpanan MEMORY tidak mendukung kolom blob / teks, jadi jika Anda menggunakan django.db.models.TextFieldini tidak akan bekerja untuk Anda.

Saya tidak bisa menjawab pertanyaan utama Anda, tetapi ada beberapa hal yang dapat Anda lakukan untuk mempercepatnya.

Pertama, pastikan bahwa database MySQL Anda diatur untuk menggunakan InnoDB. Kemudian dapat menggunakan transaksi untuk mengembalikan keadaan db sebelum setiap tes, yang menurut pengalaman saya telah menyebabkan peningkatan besar-besaran. Anda dapat melewatkan perintah init database di settings.py Anda (sintaks Django 1.2):

DATABASES = {
    'default': {
            'ENGINE':'django.db.backends.mysql',
            'HOST':'localhost',
            'NAME':'mydb',
            'USER':'whoever',
            'PASSWORD':'whatever',
            'OPTIONS':{"init_command": "SET storage_engine=INNODB" } 
        }
    }

Kedua, Anda tidak perlu menjalankan migrasi Selatan setiap kali. Diatur SOUTH_TESTS_MIGRATE = Falsedalam settings.py Anda dan basis data akan dibuat dengan syncdb biasa, yang akan jauh lebih cepat daripada menjalankan semua migrasi historis.

Anda dapat melakukan tweaker ganda:

• gunakan tabel transaksional: keadaan perlengkapan awal akan ditetapkan menggunakan rollback basis data setelah setiap TestCase.
• letakkan dir data database Anda di ramdisk: Anda akan mendapatkan sejauh yang berkaitan dengan pembuatan database dan juga menjalankan tes akan lebih cepat.

Saya menggunakan kedua trik dan saya cukup senang.

Cara mengaturnya untuk MySQL di Ubuntu:

$ sudo service mysql stop
$ sudo cp -pRL /var/lib/mysql /dev/shm/mysql

$ vim /etc/mysql/my.cnf
# datadir = /dev/shm/mysql
$ sudo service mysql start

Hati-hati, ini hanya untuk pengujian, setelah reboot database Anda dari memori hilang!

Pendekatan lain: minta instance MySQL lain berjalan di tempfs yang menggunakan RAM Disk. Petunjuk dalam posting blog ini: Mempercepat MySQL untuk pengujian di Django .

Keuntungan:

• Anda menggunakan database yang persis sama dengan yang digunakan server produksi Anda
• tidak perlu mengubah konfigurasi mysql default Anda

Memperluas jawaban Anurag, saya menyederhanakan proses dengan membuat test_settings yang sama dan menambahkan berikut ini ke manage.py

if len(sys.argv) > 1 and sys.argv[1] == "test":
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.test_settings")
else:
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")

tampaknya lebih bersih karena sys sudah diimpor dan manage.py hanya digunakan melalui baris perintah, jadi tidak perlu mengacaukan pengaturan

Gunakan di bawah ini di setting.py

DATABASES['default']['ENGINE'] = 'django.db.backends.sqlite3'