การแยกแหล่งเสียง

Open-Unmix HQ แยกแทร็กเพลงสเตอริโอออกเป็นสี่ stem ที่เป็นอิสระต่อกัน — vocals, drums, bass และ other โมเดล BiLSTM อิสระสี่ตัว (หนึ่งตัวต่อหนึ่ง stem) สร้างมาสก์ขนาดบน STFT ของส่วนผสม; Wiener post-filter ที่เป็นทางเลือกจะช่วยปรับให้สอดคล้องกัน ทำงานบน Apple Silicon ผ่าน MLX

มีให้เลือกสองเอนจิน: Open-Unmix HQ (น้ำหนักเบา และเป็นค่าเริ่มต้น) และ HTDemucs (Demucs v4) — โมเดล Hybrid Transformer คุณภาพสูงกว่า ที่เลือกด้วย --engine htdemucs ทั้งคู่ทำงานบน Apple Silicon ผ่าน MLX และให้ stem สี่ตัวเดียวกันที่ 44.1 kHz

มันคืออะไร

• 4 stem ต่อแทร็ก — vocals, drums, bass, other แต่ละ stem เป็นไฟล์ 2 channel ที่ 44.1 kHz
• โมเดลมาสก์ขนาด — โมเดลแต่ละ stem ทำนายมาสก์แบบไม่ติดลบที่ใช้กับสเปกโตรแกรมของส่วนผสม; phase นำมาจากส่วนผสม
• Wiener post-filter (ทางเลือก) — ปรับปรุงมาสก์แบบนิ่มๆ ทั้ง 4 stem เพื่อให้รวมกลับเข้าเป็นส่วนผสมได้อย่างสอดคล้องกัน เพิ่ม SDR ~0.5 dB
• ขนาดเล็ก — 8.9M พารามิเตอร์ต่อ stem รวมทั้งหมด ~136 MB สำหรับทั้ง 4 stem
• Apache-2.0 — น้ำหนักต้นน้ำใช้ MIT, การแปลง CoreML/MLX ของเราใช้ Apache-2.0

สถาปัตยกรรม

สี่ stem อิสระ แต่ละตัวเป็นสำเนาของโครงข่ายเดียวกัน

โมเดล

HTDemucs (Demucs v4)

For higher separation quality — especially on bass and drums — the package also ships HTDemucs, Meta's Hybrid Transformer Demucs. It merges a spectrogram branch and a waveform branch through a cross-domain transformer; the shipped htdemucs_ft variant is a bag of four fine-tuned sub-models, one per stem. Weights download from HuggingFace on first use. On a directional MUSDB-sample benchmark (museval / BSSEval v4) it averages +3.01 dB SDR over UMX-HQ, with the biggest gains on bass (+5.75 dB).

เริ่มต้นอย่างรวดเร็ว — Swift

import SourceSeparation
import AudioCommon

let separator = try await SourceSeparator.fromPretrained()

let stereo = try AudioFileLoader.loadStereo(
    url: URL(fileURLWithPath: "song.wav"),
    targetSampleRate: 44100
)

let stems = separator.separate(audio: stereo, sampleRate: 44100)
// stems[.vocals], stems[.drums], stems[.bass], stems[.other]
// Each is [[Float]] — left channel, right channel.

try WAVWriter.writeStereo(
    left: stems[.vocals]![0],
    right: stems[.vocals]![1],
    sampleRate: 44100,
    to: URL(fileURLWithPath: "vocals.wav")
)

ส่งผ่าน wiener: true (ค่าเริ่มต้น) เพื่อคุณภาพที่ดีที่สุด ส่งผ่าน targets: [.vocals] เพื่อแยกเฉพาะ stem ชุดย่อยและข้ามโมเดลอื่นๆ

CLI

speech separate song.wav                              # all 4 stems into song_stems/ (Open-Unmix)
speech separate song.wav --engine htdemucs            # Demucs v4 — higher quality
speech separate song.wav --engine htdemucs --htdemucs-precision int8  # smaller int8 bundle
speech separate song.wav --stems vocals               # vocals only
speech separate song.wav --stems vocals,drums         # subset
speech separate song.wav --output-dir /tmp/stems/     # custom output dir
speech separate song.wav --verbose                    # show timing

เมื่อใดที่ควรใช้