استعادة الكلام — Sidon

أعِد الكلام المشوّش أو ذا الصدى أو محدود النطاق إلى صوت نظيف بمعدّل 48 kHz باستخدام Sidon — نموذج واحد يجمع بين إزالة الضوضاء وإزالة الصدى وتوسيع عرض النطاق. يعمل بالكامل على الجهاز (CoreML على Apple Silicon، وONNX Runtime في غيره). ولأنّه يعيد بناء الكلام من تمثيلات مكتسَبة بدلًا من مجرّد تقنيع الضوضاء، فهو فعّال بشكل خاصّ في تحضير مرجع استنساخ الصوت: ينظّف التسجيل مع الحفاظ على هويّة المتحدّث.

البنية

Sidon خطّ معالجة من مرحلتين: متنبّئ سمات ذاتيّ الإشراف ينقّي تمثيل الكلام، ثمّ vocoder عصبيّ يعيد تركيب موجة نظيفة منه.

خطّ المعالجة هو 16 kHz audio → features → predictor → DAC decoder → 48 kHz audio. الإجمالي ≈ 246M معلمة (193.6M للمتنبّئ + 52.4M للـ vocoder).

خطّ المعالجة

1. استخراج السمات — حساب سمات log-mel من w2v-BERT 2.0 من المدخل بمعدّل 16 kHz (Accelerate/vDSP على Apple، وC++ على المنصّات الأخرى)
2. المتنبّئ — يخطّط مرمّز w2v-BERT المضبوط بـ LoRA السمات المشوّشة/ذات الصدى إلى سمات نظيفة
3. الـ Vocoder — يعيد فاكّ DAC بناء موجة نظيفة بمعدّل 48 kHz من السمات المنقّاة
4. التقطيع — يُعالَج الصوت الأطول في نوافذ ثابتة (~10 ث) ويُخاط على المحور الزمنيّ بمعدّل 48 kHz

الجودة

على مقطع مرجعيّ ذي صدى، ترفع الاستعادة الجودة الإدراكيّة مع الحفاظ على هويّة المتحدّث سليمة (MOS بلا مرجع):

أكبر مكسب في درجة الخلفية (إزالة الصدى). ويُحافَظ على تشابه المتحدّث، وهو ما يهمّ عند تنظيف مرجع استنساخ.

إصدارات النموذج

يضغط التكميم المتنبّئ؛ بينما يبقى vocoder الـ DAC بدقّة أعلى (لجودة الصوت). على Apple، يستخدم int8 تجزئة k-means؛ وعلى ONNX، يكون int8 على الأوزان فقط لكلّ قناة.

الاستخدام من سطر الأوامر

# Restore audio (denoise + dereverb) to clean 48 kHz
.build/release/speech restore noisy.wav -o clean.wav

# Clean a voice-cloning reference before TTS
.build/release/speech speak "Hello world" --voice-sample ref.wav --clean-reference

تنزيلات النماذج

الدمج مع نماذج أخرى

يُعدّ Sidon أكثر فائدة كخطوة معالجة أوّليّة:

• قبل استنساخ الصوت — نظّف مرجعًا مشوّشًا/ذا صدى ليرث الاستنساخُ الصوتَ لا الغرفة
• قبل التفريغ — استعِد التسجيلات الأرشيفيّة أو البعيدة المجال لتحسين دقّة ASR
• قبل embedding المتحدّث — يُنتج الصوت الأنظف embeddings أكثر موثوقيّة

واجهة Swift

import SpeechRestoration

let restorer = try await SpeechRestorer.fromPretrained()
let cleanAudio = try restorer.restore(audio: noisySamples, sampleRate: 16000)

متاح أيضًا على Android وLinux وWindows عبر Speech Core (ONNX Runtime). مبنيّ على Sidon (MIT).