بث Nemotron

نموذجان للتعرف على الكلام بالبث من NVIDIA يتقاسمان هدف Swift نفسه NemotronStreamingASR. كلاهما يضم مرمِّز FastConformer واعٍ بالذاكرة المؤقتة بـ 600 مليون معامل مقترن بفاكّ ترميز RNN-T، وكلاهما يُخرج علامات الترقيم والحالة الأصلية كرموز BPE اعتيادية، وكلاهما يعمل على محرك Apple Neural Engine عبر CoreML؛ كما يتوفر للنسخة متعددة اللغات حزم MLX إضافية للاستدلال المقيم على وحدة معالجة الرسوميات. اختر ما يناسب تطبيقك:

خصائص مشتركة

• علامات ترقيم وحالة أحرف أصلية — لا حاجة إلى معالج لاحق؛ النقاط والفواصل والحالة جزء من المفردات
• 600 مليون معامل — مرمِّز FastConformer واعٍ بالذاكرة المؤقتة من 24 طبقة + فاكّ ترميز LSTM RNN-T من طبقتين + شبكة joint
• بث واعٍ بالذاكرة المؤقتة — تتدفق ذاكرات الانتباه والالتفاف بين الـ chunks للحفاظ على السياق المستمر عبر حدودها
• أحجام chunk متعددة — متعدد اللغات: 80، 320، 560، 1120 مللي ثانية (الافتراضي 320)؛ الإنجليزية: 80، 160، 560، 1120 مللي ثانية (الافتراضي 160)
• للنسخة متعددة اللغات فقط: ينسج prompt kernel (Linear 1152→2048→1024) فتحة لغة من نوع one-hot في كل إطار مرمَّز، فتخدم الأوزان ذاتها جميع المواضع اللغوية الأربعين. لا يوجد prompt kernel في النسخة الإنجليزية فقط.

البنية المعمارية

ثلاثة نماذج CoreML في خط أنابيب لكل chunk صوتي:

لا توجد رأس EOU

بخلاف Parakeet-EOU، لا يُصدر Nemotron رمزًا مخصّصًا لنهاية النطق. هناك طريقتان لتجزئة الصوت المستمر إلى نطقات:

1. VAD خارجي — اقترن الجلسة بـ Silero VAD؛ عند الصمت المستمر، استدعِ finalize() لتأكيد النطق الحالي وcreateSession() للنطق التالي.
2. حدود الترقيم — عندما ينتهي التفريغ الجزئي بـ . أو ? أو !، عامل ذلك كإشارة تأكيد طبيعية. لا حاجة إلى نموذج إضافي، لكن يعتمد على أن الصوت يحفّز فعلاً ترقيمًا ختاميًا.

الحزم

أربع نسخ منشورة من Nemotron-3.5-ASR-Streaming-0.6B، إضافة إلى النموذج الإنجليزي فقط الأقدم على نفس هدف Swift:

المصدر: nvidia/nemotron-3.5-asr-streaming-0.6b (متعدد اللغات) وnvidia/nemotron-speech-streaming-en-0.6b (الإنجليزية فقط).

التكميم فعليًا بلا فقد: CoreML INT8 و MLX bf16 و MLX 8-bit جميعها ضمن ±0.3 نقطة WER من مصدر fp32 NeMo. تكلّف MLX 4-bit نحو 6 نقاط WER في المتوسط مقابل أصغر حجم على القرص وأقل ذروة RSS أثناء البث.

بدء سريع — تفريغ دفعي

يحقق SpeechRecognitionModel، فيندمج بسهولة في أي مسار كود يستقبل نموذج STT عامًّا:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

بدء سريع — بث غير متزامن

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

يحمل كل PartialTranscript: text، isFinal (true فقط للنتيجة الجزئية الأخيرة بعد finalize())، confidence، وsegmentIndex رتيب تصاعديًا.

واجهة جلسة طويلة الأمد (دخل الميكروفون)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

سطر الأوامر

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials, Japanese
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

مقارنة Nemotron و Parakeet-EOU