Nemotron Streaming

โมเดล ASR แบบสตรีมจาก NVIDIA สองตัวใช้ Swift target NemotronStreamingASR ร่วมกัน ทั้งคู่เป็น FastConformer encoder แบบ cache-aware ขนาด 600M พารามิเตอร์จับคู่กับ RNN-T decoder ทั้งคู่ส่งเครื่องหมายวรรคตอนและตัวพิมพ์ใหญ่-เล็กออกมาแบบ native เป็น BPE token ปกติ ทั้งคู่ทำงานบน Apple Neural Engine ผ่าน CoreML และเวอร์ชันหลายภาษามี MLX bundle เพิ่มเติมสำหรับการอินเฟอเรนซ์ที่ประจำอยู่บน GPU เลือกตัวที่ตรงกับแอปของคุณ:

คุณสมบัติร่วม

• วรรคตอนและตัวพิมพ์ใหญ่-เล็กแบบ native — ไม่ต้อง post-processor; จุด เครื่องหมายจุลภาค และตัวพิมพ์เป็นส่วนหนึ่งของ vocabulary
• 600M พารามิเตอร์ — FastConformer encoder แบบ cache-aware 24 ชั้น + LSTM RNN-T decoder 2 ชั้น + joint network
• สตรีมแบบ cache-aware — attention และ conv cache ไหลข้าม chunk เพื่อรักษาบริบทต่อเนื่องข้ามขอบ chunk
• ขนาด chunk หลากหลาย — หลายภาษา: 80, 320, 560, 1120 ms (เริ่มต้น 320 ms); อังกฤษ: 80, 160, 560, 1120 ms (เริ่มต้น 160 ms)
• เฉพาะหลายภาษา: prompt kernel (Linear 1152→2048→1024) แทรก one-hot ของช่องภาษาเข้าไปในทุกเฟรมที่ encode เสร็จ น้ำหนักชุดเดียวกันจึงรองรับครบ 40 locale ภาษา เวอร์ชันเฉพาะอังกฤษไม่มี prompt kernel

สถาปัตยกรรม

สาม CoreML model ทำงานแบบ pipeline ต่อหนึ่ง audio chunk:

ไม่มี head EOU

ต่างจาก Parakeet-EOU, Nemotron ไม่ส่ง token เฉพาะสำหรับจบ utterance สองวิธีในการแบ่งเสียงต่อเนื่องเป็น utterance:

1. VAD ภายนอก — จับคู่ session กับ Silero VAD; เมื่อเงียบต่อเนื่อง เรียก finalize() เพื่อ commit utterance ปัจจุบัน และ createSession() สำหรับครั้งถัดไป
2. ขอบเขตวรรคตอน — เมื่อ partial transcript ลงท้ายด้วย ., ? หรือ ! ให้ถือเป็นสัญญาณ commit ตามธรรมชาติ ไม่ต้องมีโมเดลเพิ่ม แต่ขึ้นอยู่กับว่าเสียงจริง ๆ จะกระตุ้นให้เกิดวรรคตอนสุดท้ายหรือไม่

Bundle

สี่ตัวแปรที่เผยแพร่ของ Nemotron-3.5-ASR-Streaming-0.6B พร้อมโมเดลเฉพาะอังกฤษรุ่นเก่ากว่าบน Swift target เดียวกัน:

Upstream: nvidia/nemotron-3.5-asr-streaming-0.6b (หลายภาษา) และ nvidia/nemotron-speech-streaming-en-0.6b (เฉพาะอังกฤษ).

การทำ quantization แทบไม่สูญเสียคุณภาพ: CoreML INT8, MLX bf16 และ MLX 8-bit อยู่ภายใน ±0.3 pp WER เทียบกับต้นทาง fp32 NeMo. MLX 4-bit เสีย WER เฉลี่ยประมาณ 6 pp แลกกับขนาดดิสก์และ RSS สตรีมที่เล็กที่สุด

เริ่มต้นอย่างรวดเร็ว — ถอดเสียงแบบ batch

เป็นไปตาม SpeechRecognitionModel ดังนั้นจึงใส่ได้ทุกเส้นทางโค้ดที่รับโมเดล STT ทั่วไป:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

เริ่มต้นอย่างรวดเร็ว — สตรีมแบบ async

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

PartialTranscript แต่ละตัวมี text, isFinal (เป็น true เฉพาะ partial สุดท้ายหลัง finalize()), confidence และ segmentIndex ที่เพิ่มขึ้นแบบเอกฐาน

API session อายุยาว (รับข้อมูลจากไมโครโฟน)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

บรรทัดคำสั่ง

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials, Japanese
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

Nemotron เทียบกับ Parakeet-EOU