Deteksi & Rekam Audio dengan Python

99

Saya perlu menangkap klip audio sebagai file WAV yang kemudian dapat saya berikan ke sedikit python untuk diproses. Masalahnya adalah saya harus menentukan kapan ada audio dan kemudian merekamnya, berhenti ketika tidak bersuara dan kemudian meneruskan file itu ke modul pemrosesan.

Saya pikir itu seharusnya mungkin dengan modul gelombang untuk mendeteksi ketika ada keheningan murni dan membuangnya kemudian segera setelah sesuatu selain keheningan terdeteksi mulai merekam, kemudian ketika saluran menjadi sunyi lagi hentikan perekaman.

Tidak bisa begitu saja, adakah yang bisa membantu saya memulai dengan contoh dasar.

SilentGhost
sumber

Jawaban:

106

Sebagai tindak lanjut dari jawaban Nick Fortescue berikut ini contoh yang lebih lengkap tentang cara merekam dari mikrofon dan mengolah data yang dihasilkan:

from sys import byteorder
from array import array
from struct import pack

import pyaudio
import wave

THRESHOLD = 500
CHUNK_SIZE = 1024
FORMAT = pyaudio.paInt16
RATE = 44100

def is_silent(snd_data):
    "Returns 'True' if below the 'silent' threshold"
    return max(snd_data) < THRESHOLD

def normalize(snd_data):
    "Average the volume out"
    MAXIMUM = 16384
    times = float(MAXIMUM)/max(abs(i) for i in snd_data)

    r = array('h')
    for i in snd_data:
        r.append(int(i*times))
    return r

def trim(snd_data):
    "Trim the blank spots at the start and end"
    def _trim(snd_data):
        snd_started = False
        r = array('h')

        for i in snd_data:
            if not snd_started and abs(i)>THRESHOLD:
                snd_started = True
                r.append(i)

            elif snd_started:
                r.append(i)
        return r

    # Trim to the left
    snd_data = _trim(snd_data)

    # Trim to the right
    snd_data.reverse()
    snd_data = _trim(snd_data)
    snd_data.reverse()
    return snd_data

def add_silence(snd_data, seconds):
    "Add silence to the start and end of 'snd_data' of length 'seconds' (float)"
    silence = [0] * int(seconds * RATE)
    r = array('h', silence)
    r.extend(snd_data)
    r.extend(silence)
    return r

def record():
    """
    Record a word or words from the microphone and 
    return the data as an array of signed shorts.

    Normalizes the audio, trims silence from the 
    start and end, and pads with 0.5 seconds of 
    blank sound to make sure VLC et al can play 
    it without getting chopped off.
    """
    p = pyaudio.PyAudio()
    stream = p.open(format=FORMAT, channels=1, rate=RATE,
        input=True, output=True,
        frames_per_buffer=CHUNK_SIZE)

    num_silent = 0
    snd_started = False

    r = array('h')

    while 1:
        # little endian, signed short
        snd_data = array('h', stream.read(CHUNK_SIZE))
        if byteorder == 'big':
            snd_data.byteswap()
        r.extend(snd_data)

        silent = is_silent(snd_data)

        if silent and snd_started:
            num_silent += 1
        elif not silent and not snd_started:
            snd_started = True

        if snd_started and num_silent > 30:
            break

    sample_width = p.get_sample_size(FORMAT)
    stream.stop_stream()
    stream.close()
    p.terminate()

    r = normalize(r)
    r = trim(r)
    r = add_silence(r, 0.5)
    return sample_width, r

def record_to_file(path):
    "Records from the microphone and outputs the resulting data to 'path'"
    sample_width, data = record()
    data = pack('<' + ('h'*len(data)), *data)

    wf = wave.open(path, 'wb')
    wf.setnchannels(1)
    wf.setsampwidth(sample_width)
    wf.setframerate(RATE)
    wf.writeframes(data)
    wf.close()

if __name__ == '__main__':
    print("please speak a word into the microphone")
    record_to_file('demo.wav')
    print("done - result written to demo.wav")
cryo
sumber
17
Untuk membuat ini bekerja dengan Python 3 cukup ganti xrange dengan range.
Ben Elgar
1
Contoh yang bagus! Sangat berguna ketika saya mencoba memahami cara merekam suara menggunakan Python. Satu pertanyaan singkat yang saya miliki adalah apakah ada cara untuk menentukan periode waktu perekaman. Sekarang merekam sebuah kata? Bisakah saya bermain dengannya dan memiliki periode rekaman misalnya 10 detik? Terima kasih!
Swan87
Deteksi dan normalisasi tidak benar, karena mereka menghitung byte dan bukan short. Buffer itu harus diubah menjadi array numpy sebelum diproses.
ArekBulski
Tidak xrangejuga rangetidak benar-benar diperlukan add_silence(jadi sekarang hilang). Saya pikir Arek mungkin menyukai sesuatu di sini - transisi dari diam ke 'kata' terdengar terlalu tersentak. Saya pikir ada jawaban lain yang membahasnya juga.
Tomasz Gandor
47

Saya yakin modul WAVE tidak mendukung perekaman, hanya memproses file yang ada. Anda mungkin ingin melihat PyAudio untuk benar-benar merekam. WAV adalah tentang format file paling sederhana di dunia. Di paInt16 Anda baru saja mendapatkan integer bertanda tangan yang mewakili level, dan mendekati 0 lebih tenang. Saya tidak ingat apakah file WAV byte pertama atau byte rendah tinggi, tetapi sesuatu seperti ini seharusnya berfungsi (maaf, saya bukan benar-benar programmer python:

from array import array

# you'll probably want to experiment on threshold
# depends how noisy the signal
threshold = 10 
max_value = 0

as_ints = array('h', data)
max_value = max(as_ints)
if max_value > threshold:
    # not silence

Kode PyAudio untuk merekam disimpan sebagai referensi:

import pyaudio
import sys

chunk = 1024
FORMAT = pyaudio.paInt16
CHANNELS = 1
RATE = 44100
RECORD_SECONDS = 5

p = pyaudio.PyAudio()

stream = p.open(format=FORMAT,
                channels=CHANNELS, 
                rate=RATE, 
                input=True,
                output=True,
                frames_per_buffer=chunk)

print "* recording"
for i in range(0, 44100 / chunk * RECORD_SECONDS):
    data = stream.read(chunk)
    # check for silence here by comparing the level with 0 (or some threshold) for 
    # the contents of data.
    # then write data or not to a file

print "* done"

stream.stop_stream()
stream.close()
p.terminate()
Nick Fortescue
sumber
Terima kasih Nick, Ya, seharusnya saya mengatakan saya juga menggunakan portaudio untuk pengambilannya, sedikit saya terjebak adalah memeriksa keheningan, bagaimana cara saya mendapatkan level dalam potongan data?
Saya telah menambahkan beberapa kode yang belum diuji yang sangat sederhana di atas, tetapi itu harus melakukan pekerjaan yang Anda inginkan
Nick Fortescue
Versi saya sebelumnya memiliki bug, tidak menangani tanda dengan benar. Saya telah menggunakan array fungsi perpustakaan () untuk mengurai dengan benar sekarang
Nick Fortescue
Format file WAV adalah sebuah wadah, yang mungkin berisi audio yang dikodekan melalui berbagai codec (seperti GSM atau MP3), beberapa jauh dari 'yang paling sederhana di dunia'.
Jacek Konieczny
2
Saya yakin opsi "output = True" saat membuka aliran tidak diperlukan untuk merekam dan lebih jauh lagi, tampaknya menyebabkan "IOError: [Input Errno meluap] -9981" pada perangkat saya. Jika tidak, terima kasih untuk contoh kodenya, itu sangat membantu.
Binus
19

Terima kasih kepada cryo untuk versi yang lebih baik yang saya berdasarkan kode yang saya uji di bawah ini:

#Instead of adding silence at start and end of recording (values=0) I add the original audio . This makes audio sound more natural as volume is >0. See trim()
#I also fixed issue with the previous code - accumulated silence counter needs to be cleared once recording is resumed.

from array import array
from struct import pack
from sys import byteorder
import copy
import pyaudio
import wave

THRESHOLD = 500  # audio levels not normalised.
CHUNK_SIZE = 1024
SILENT_CHUNKS = 3 * 44100 / 1024  # about 3sec
FORMAT = pyaudio.paInt16
FRAME_MAX_VALUE = 2 ** 15 - 1
NORMALIZE_MINUS_ONE_dB = 10 ** (-1.0 / 20)
RATE = 44100
CHANNELS = 1
TRIM_APPEND = RATE / 4

def is_silent(data_chunk):
    """Returns 'True' if below the 'silent' threshold"""
    return max(data_chunk) < THRESHOLD

def normalize(data_all):
    """Amplify the volume out to max -1dB"""
    # MAXIMUM = 16384
    normalize_factor = (float(NORMALIZE_MINUS_ONE_dB * FRAME_MAX_VALUE)
                        / max(abs(i) for i in data_all))

    r = array('h')
    for i in data_all:
        r.append(int(i * normalize_factor))
    return r

def trim(data_all):
    _from = 0
    _to = len(data_all) - 1
    for i, b in enumerate(data_all):
        if abs(b) > THRESHOLD:
            _from = max(0, i - TRIM_APPEND)
            break

    for i, b in enumerate(reversed(data_all)):
        if abs(b) > THRESHOLD:
            _to = min(len(data_all) - 1, len(data_all) - 1 - i + TRIM_APPEND)
            break

    return copy.deepcopy(data_all[_from:(_to + 1)])

def record():
    """Record a word or words from the microphone and 
    return the data as an array of signed shorts."""

    p = pyaudio.PyAudio()
    stream = p.open(format=FORMAT, channels=CHANNELS, rate=RATE, input=True, output=True, frames_per_buffer=CHUNK_SIZE)

    silent_chunks = 0
    audio_started = False
    data_all = array('h')

    while True:
        # little endian, signed short
        data_chunk = array('h', stream.read(CHUNK_SIZE))
        if byteorder == 'big':
            data_chunk.byteswap()
        data_all.extend(data_chunk)

        silent = is_silent(data_chunk)

        if audio_started:
            if silent:
                silent_chunks += 1
                if silent_chunks > SILENT_CHUNKS:
                    break
            else: 
                silent_chunks = 0
        elif not silent:
            audio_started = True              

    sample_width = p.get_sample_size(FORMAT)
    stream.stop_stream()
    stream.close()
    p.terminate()

    data_all = trim(data_all)  # we trim before normalize as threshhold applies to un-normalized wave (as well as is_silent() function)
    data_all = normalize(data_all)
    return sample_width, data_all

def record_to_file(path):
    "Records from the microphone and outputs the resulting data to 'path'"
    sample_width, data = record()
    data = pack('<' + ('h' * len(data)), *data)

    wave_file = wave.open(path, 'wb')
    wave_file.setnchannels(CHANNELS)
    wave_file.setsampwidth(sample_width)
    wave_file.setframerate(RATE)
    wave_file.writeframes(data)
    wave_file.close()

if __name__ == '__main__':
    print("Wait in silence to begin recording; wait in silence to terminate")
    record_to_file('demo.wav')
    print("done - result written to demo.wav")
Eugene
sumber
terima kasih, bekerja dengan baik. Dalam kasus saya, saya harus mengedit return copy.deepcopy(data_all[_from:(_to + 1)])kecopy.deepcopy(data_all[int(_from):(int(_to) + 1)])
lukassliacky
6
import pyaudio
import wave
from array import array

FORMAT=pyaudio.paInt16
CHANNELS=2
RATE=44100
CHUNK=1024
RECORD_SECONDS=15
FILE_NAME="RECORDING.wav"

audio=pyaudio.PyAudio() #instantiate the pyaudio

#recording prerequisites
stream=audio.open(format=FORMAT,channels=CHANNELS, 
                  rate=RATE,
                  input=True,
                  frames_per_buffer=CHUNK)

#starting recording
frames=[]

for i in range(0,int(RATE/CHUNK*RECORD_SECONDS)):
    data=stream.read(CHUNK)
    data_chunk=array('h',data)
    vol=max(data_chunk)
    if(vol>=500):
        print("something said")
        frames.append(data)
    else:
        print("nothing")
    print("\n")


#end of recording
stream.stop_stream()
stream.close()
audio.terminate()
#writing to file
wavfile=wave.open(FILE_NAME,'wb')
wavfile.setnchannels(CHANNELS)
wavfile.setsampwidth(audio.get_sample_size(FORMAT))
wavfile.setframerate(RATE)
wavfile.writeframes(b''.join(frames))#append frames recorded to file
wavfile.close()

Saya pikir ini akan membantu. Ini adalah skrip sederhana yang akan memeriksa apakah ada keheningan atau tidak, Jika keheningan terdeteksi, itu tidak akan merekam jika tidak akan merekam.

deenu
sumber
3

Situs web pyaudio memiliki banyak contoh yang cukup singkat dan jelas: http://people.csail.mit.edu/hubert/pyaudio/

Pembaruan 14 Desember 2019 - Contoh utama dari situs web tertaut di atas dari 2017:


"""PyAudio Example: Play a WAVE file."""

import pyaudio
import wave
import sys

CHUNK = 1024

if len(sys.argv) < 2:
    print("Plays a wave file.\n\nUsage: %s filename.wav" % sys.argv[0])
    sys.exit(-1)

wf = wave.open(sys.argv[1], 'rb')

p = pyaudio.PyAudio()

stream = p.open(format=p.get_format_from_width(wf.getsampwidth()),
                channels=wf.getnchannels(),
                rate=wf.getframerate(),
                output=True)

data = wf.readframes(CHUNK)

while data != '':
    stream.write(data)
    data = wf.readframes(CHUNK)

stream.stop_stream()
stream.close()

p.terminate()
simjega
sumber
0

Anda mungkin ingin melihat csound juga. Ini memiliki beberapa API, termasuk Python. Mungkin dapat berinteraksi dengan antarmuka AD dan mengumpulkan sampel suara.

S. Lott
sumber