الصوت

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

الصوت موجة طويلة من الأرقام. تبدأ هنا بالموجة ومعدّل العيّنات، ثم الترددات، ثم الطيف الزمني الذي يحوّل الصوت إلى صورة، ثم مقياس ميل، ثم قياس التعرّف على الكلام.

1الموجة ومعدّل العيّنات

الميكروفون يقيس ضغط الهواء آلاف المرات في الثانية، فيعطي أرقامًا بين -1 و1. عدد القياسات في الثانية هو معدّل العيّنات.

انظر إلى الرسم: الكلام 16 ألفًا في الثانية، والموسيقى 44.1 ألفًا، والمكالمات الهاتفية 8 آلاف.

المعدّل يجب أن يطابق ما تدرّب عليه النموذج، وإلا سمع الصوت أسرع أو أبطأ. وثانية واحدة من الكلام 16000 رقم، وهذا طويل جدًا على النموذج ليقرأه خامًا.

2الترددات: تحويل فورييه

لنعرف ما في الصوت نسأل: أي الترددات يحتوي، وبأي قوة؟ تحويل فورييه السريع FFT يجيب عن هذا السؤال.

import numpy as np

rate = 16000
t = np.arange(rate) / rate
wave = 0.6 * np.sin(2 * np.pi * 440 * t) + 0.3 * np.sin(2 * np.pi * 1200 * t)
print("samples in one second:", len(wave))
spectrum = np.abs(np.fft.rfft(wave))
freqs = np.fft.rfftfreq(len(wave), d=1 / rate)
top = np.argsort(spectrum)[-2:]
print("strongest frequencies (Hz):", sorted(freqs[top].astype(int).tolist()))

صنعنا صوتًا من نغمتين، 440 هرتز (نغمة «لا») و1200 هرتز، ثم حلّلناه بتحويل فورييه السريع FFT. التحويل وجد الترددين بالضبط. الكلام أعقد بكثير من نغمتين، لكن الفكرة نفسها: كل صوت مجموع ترددات بأحجام مختلفة.

3الطيف الزمني: صورة الصوت

الكلام يتغيّر كل لحظة، فلا يكفي طيف واحد للملف كله. نقطّع الصوت إلى نوافذ قصيرة متتالية، ونحلّل كل نافذة وحدها.

انظر إلى الرسم: كل نافذة 25 ملّي ثانية تتقدّم 10 ملّي ثانية، وتصبح عمودًا من الترددات. النتيجة شبكة: الزمن في محور والتردد في الآخر.

نصف ثانية بنغمة 300 هرتز، ثم نصف ثانية بـ2000 هرتز. نقطع الصوت إلى نوافذ من 400 عيّنة (25 مللي ثانية) بخطوة 160 (10 مللي ثانية)، ونحلّل كل نافذة.

import numpy as np

rate = 16000
t = np.arange(rate) / rate
wave = np.where(t < 0.5, np.sin(2 * np.pi * 300 * t), np.sin(2 * np.pi * 2000 * t))

frame, hop = 400, 160
frames = np.stack([wave[i:i + frame] * np.hanning(frame) for i in range(0, len(wave) - frame, hop)])
spec = np.abs(np.fft.rfft(frames, axis=1))
freqs = np.fft.rfftfreq(frame, d=1 / rate)
print("spectrogram shape (time, freq):", spec.shape)
for i in [10, 40, 60, 90]:
    print(f"frame {i:2} at {i * hop / rate:.2f}s -> peak {freqs[spec[i].argmax()]:.0f} Hz")

98 نافذة زمنية، و201 تردد في كل نافذة: صورة. قبل 0.5 ثانية القمة عند 320 هرتز، وبعدها عند 2000. لماذا 320 لا 300؟ لأن نافذة من 400 عيّنة تميّز الترددات بدقة 16000 / 400 = 40 هرتز فقط، فأقرب خانة لـ300 هي 320. نوافذ أطول تعطي دقة تردد أعلى ودقة زمن أقل، وهذه مقايضة لا مفرّ منها.

4مقياس ميل

الأذن تميّز الفروق في الترددات المنخفضة أفضل بكثير من العالية. مقياس ميل يضغط الترددات العالية ليشبه السمع البشري.

نماذج الكلام تستخدم عادةً 80 حزمة ميل، أقل بكثير من 201 تردد خام.

import numpy as np


def hz_to_mel(f):
    return 2595 * np.log10(1 + f / 700)


for low, high in [(100, 200), (1000, 1100), (7000, 7100)]:
    print(f"{low:5}-{high:5} Hz: {hz_to_mel(high) - hz_to_mel(low):6.1f} mel apart")

نفس الفرق 100 هرتز يساوي 133 ميل في الترددات المنخفضة و14.5 فقط عند 7000. الأذن تسمع الفرق بين 100 و200 هرتز بوضوح، ولا تكاد تميّز 7000 من 7100. نماذج الكلام تحاكي ذلك، فتخصّص دقة أكبر لما يهم في الكلام.

5التعرّف على الكلام ونسبة الخطأ

نادرًا ما تبني نموذج كلام من الصفر. Whisper وأمثاله تدرّبت على مئات آلاف الساعات، وعملك الحقيقي هو القياس.

المقياس هو نسبة خطأ الكلمات WER: الإضافات والحذوفات والاستبدالات مقسومة على عدد كلمات النص الصحيح.

هذا الكود يحتاج مكتبة transformers وتنزيل النموذج، فهو للقراءة هنا.

from transformers import pipeline

asr = pipeline("automatic-speech-recognition", model="openai/whisper-small")
result = asr("voice_note.wav", generate_kwargs={"language": "arabic"})
print(result["text"])

ثلاثة أسطر. حدّد اللغة صراحة، لأن النموذج إن ترك ليخمّن قد يكتب جملة عربية بحروف لاتينية أو يترجمها. ثم سجّل عشرين مقطعًا حقيقيًا من مستخدميك، واكتب نصّها الصحيح بيدك، واحسب نسبة خطأ الكلمات بمكتبة jiwer. هذا الرقم هو ما يقرّر هل النموذج صالح، لا العرض التوضيحي.

كيف يعمل، خطوة بخطوة: كيف يصير الصوت صورة يقرؤها النموذج

مثال محلول

الميكروفون يسجّل ضغط الهواء 16000 مرة في الثانية (16 كيلوهرتز، المعيار في التعرّف على الكلام). ثانية واحدة من الصوت هي 16000 رقم. ولكي نعرف ما في الصوت، نسأل: ما الترددات الموجودة فيه؟

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك