Nemotron Streaming

Hai mô hình ASR streaming của NVIDIA dùng chung target Swift NemotronStreamingASR. Cả hai đều là encoder FastConformer cache-aware 600M tham số kết hợp với decoder RNN-T, cả hai đều phát native dấu câu và viết hoa dưới dạng token BPE thông thường, cả hai đều chạy trên Apple Neural Engine qua CoreML, và phiên bản đa ngôn ngữ còn có thêm bundle MLX để suy luận thường trú trên GPU. Hãy chọn phiên bản phù hợp với ứng dụng của bạn:

Đặc tính chung

• Dấu câu và viết hoa native — không cần hậu xử lý; dấu chấm, dấu phẩy và case là một phần của từ vựng
• 600M tham số — encoder FastConformer cache-aware 24 lớp + decoder LSTM RNN-T 2 lớp + mạng joint
• Streaming cache-aware — cache attention và conv chảy giữa các chunk để giữ ngữ cảnh liên tục qua biên chunk
• Nhiều kích thước chunk — đa ngôn ngữ: 80, 320, 560, 1120 ms (mặc định 320 ms); tiếng Anh: 80, 160, 560, 1120 ms (mặc định 160 ms)
• Chỉ có ở bản đa ngôn ngữ: prompt kernel (Linear 1152→2048→1024) chèn one-hot slot ngôn ngữ vào từng frame đã mã hoá, nên cùng một bộ trọng số phục vụ cả 40 locale. Phiên bản chỉ tiếng Anh không có prompt kernel.

Kiến trúc

Ba mô hình CoreML chạy pipeline cho mỗi chunk âm thanh:

Không có head EOU

Khác với Parakeet-EOU, Nemotron không phát token chuyên biệt cho kết thúc phát ngôn. Hai cách phân đoạn audio liên tục thành các phát ngôn:

1. VAD bên ngoài — ghép session với Silero VAD; khi im lặng kéo dài, gọi finalize() để commit phát ngôn hiện tại và createSession() cho phát ngôn kế.
2. Biên dấu câu — khi transcript tạm thời kết thúc bằng ., ? hoặc !, coi đó là tín hiệu commit tự nhiên. Không cần mô hình thêm nhưng phụ thuộc vào việc audio có thực sự gây ra dấu câu kết thúc hay không.

Bundle

Bốn biến thể đã phát hành của Nemotron-3.5-ASR-Streaming-0.6B, cộng thêm mô hình chỉ tiếng Anh cũ hơn trên cùng target Swift:

Nguồn: nvidia/nemotron-3.5-asr-streaming-0.6b (đa ngôn ngữ) và nvidia/nemotron-speech-streaming-en-0.6b (chỉ tiếng Anh).

Lượng tử hoá gần như không mất chất lượng: CoreML INT8, MLX bf16 và MLX 8-bit nằm trong ±0,3 pp WER so với nguồn fp32 NeMo. MLX 4-bit tốn ~6 pp WER trung bình để đổi lấy kích thước trên đĩa và RSS streaming nhỏ nhất.

Bắt đầu nhanh — phiên âm theo lô

Tuân thủ SpeechRecognitionModel, nên có thể đặt vào bất kỳ code path nào nhận mô hình STT tổng quát:

import NemotronStreamingASR

let model = try await NemotronStreamingASRModel.fromPretrained()
let text = try model.transcribeAudio(audioSamples, sampleRate: 16000, language: "en-US")

Bắt đầu nhanh — streaming bất đồng bộ

for await partial in model.transcribeStream(audio: samples, sampleRate: 16000) {
    if partial.isFinal { print("FINAL: \(partial.text)") }
    else               { print("... \(partial.text)") }
}

Mỗi PartialTranscript mang text, isFinal (chỉ true cho partial cuối sau finalize()), confidence và segmentIndex tăng đơn điệu.

API session dài (đầu vào micro)

let session = try model.createSession()

// each mic chunk:
let partials = try session.pushAudio(float32Chunk16kHz)
for p in partials { showPartial(p.text) }   // isFinal is false mid-stream

// when the utterance ends (VAD silence or explicit stop):
let trailing = try session.finalize()
for p in trailing { commit(p.text) }

Dòng lệnh

speech transcribe recording.wav --engine nemotron --language en-US                    # batch
speech transcribe recording.wav --engine nemotron --language en-US --stream           # streaming final
speech transcribe recording.wav --engine nemotron --language ja-JP --stream --partial # partials, Japanese
speech transcribe meeting.wav   --engine nemotron --language de-DE                    # any of the 40 locales

Nemotron so với Parakeet-EOU