Nemotron Streaming

NVIDIA'nın iki streaming ASR modeli, aynı Swift target'ı NemotronStreamingASR'ı paylaşır. İkisi de 600M parametreli cache-aware FastConformer encoder + RNN-T decoder kombinasyonudur, ikisi de noktalama ve büyük-küçük harf dönüşümünü normal BPE token'ları olarak native şekilde üretir, ikisi de CoreML üzerinden Apple Neural Engine'de çalışır; çok dilli sürüm ayrıca GPU-rezident çıkarım için MLX bundle'lara sahiptir. Uygulamanıza uygun olanı seçin:

Ortak özellikler

• Native noktalama ve büyük harf — post-processor gerekmez; nokta, virgül ve harf büyüklüğü vocabulary'nin parçasıdır
• 600M parametre — cache-aware 24 katmanlı FastConformer encoder + 2 katmanlı LSTM RNN-T decoder + joint network
• Cache-aware streaming — attention ve conv cache'leri chunk'lar arasında akar, chunk sınırları boyunca sürekli bağlam korur
• Çoklu chunk boyutları — çok dilli: 80, 320, 560, 1120 ms (varsayılan 320 ms); İngilizce: 80, 160, 560, 1120 ms (varsayılan 160 ms)
• Yalnızca çok dilli: bir prompt kernel (Linear 1152→2048→1024) one-hot bir dil slot'unu her encode edilmiş frame'e ekler, böylece aynı ağırlıklar 40 dil-locale'in tümüne hizmet eder. İngilizce sürümde prompt kernel yoktur.

Mimari

Her ses chunk'ı için boru hattı (pipeline) içinde üç CoreML modeli:

EOU head yok

Parakeet-EOU'nun aksine Nemotron, ifade sonu için ayrı bir token üretmez. Sürekli sesi ifadelere bölmenin iki yolu:

1. Harici VAD — session'ı Silero VAD ile eşleştirin; sürekli sessizlikte finalize() ile mevcut ifadeyi commit edin ve bir sonraki için createSession() çağırın.
2. Noktalama sınırı — kısmi transcript ., ? veya ! ile bittiğinde bunu doğal bir commit işareti olarak alın. Ek model gerekmez, ancak sesin gerçekten sonlandırıcı noktalama üretmesine bağlıdır.

Bundle'lar

Nemotron-3.5-ASR-Streaming-0.6B'nin yayımlanmış dört sürümü, artı aynı Swift target üzerinde eski yalnızca-İngilizce modeli:

Upstream: nvidia/nemotron-3.5-asr-streaming-0.6b (çok dilli) ve nvidia/nemotron-speech-streaming-en-0.6b (yalnızca İngilizce).

Kuantizasyon pratik olarak kayıpsızdır: CoreML INT8, MLX bf16 ve MLX 8-bit fp32 NeMo kaynağına göre ±0,3 pp WER içinde kalır. MLX 4-bit, en küçük disk boyutu ve streaming RSS'i karşılığında ortalama ~6 pp WER kaybına neden olur.

Hızlı başlangıç — toplu transkripsiyon

SpeechRecognitionModel'a uyduğu için, genel bir STT modeli alan herhangi bir kod yoluna doğrudan oturur:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

Hızlı başlangıç — async streaming

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Her PartialTranscript şunları taşır: text, isFinal (yalnızca finalize() sonrasındaki son partial için true), confidence ve monoton artan segmentIndex.

Uzun ömürlü session API'si (mikrofon girişi)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

Komut satırı

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials, Japanese
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

Nemotron vs Parakeet-EOU