Empezar

Apple Android Linux Windows

speech-swift proporciona procesamiento de voz con IA en el dispositivo para macOS e iOS sobre Apple Silicon. Los modelos se ejecutan localmente usando MLX (Metal GPU) y CoreML (Neural Engine).

Requisitos

Instalación

Homebrew (CLI)

La forma más rápida de probar speech-swift en macOS. Instala tanto la CLI speech como el servidor HTTP/WebSocket speech-server (endpoint /v1/realtime compatible con OpenAI). Requiere Homebrew ARM nativo (/opt/homebrew).

brew install speech

Tras la instalación, ambos binarios están en tu PATH:

speech transcribe recording.wav
speech speak "Hello, world!" --output hello.wav
speech-server --port 8080            # servidor HTTP / WebSocket local

Swift Package Manager

Añade speech-swift a las dependencias de tu Package.swift:

dependencies: [
    .package(url: "https://github.com/soniqo/speech-swift", branch: "main")
]

Luego añade los módulos que necesites a tu target:

.target(
    name: "MyApp",
    dependencies: [
        .product(name: "Qwen3ASR", package: "speech-swift"),
        .product(name: "Qwen3TTS", package: "speech-swift"),
        .product(name: "SpeechVAD", package: "speech-swift"),
        // ... add any modules you need
    ]
)

Módulos disponibles

MóduloDescripción
Qwen3ASRVoz a texto (Qwen3-ASR)
ParakeetASRVoz a texto (Parakeet TDT, CoreML)
Qwen3TTSTexto a voz (Qwen3-TTS)
CosyVoiceTTSTexto a voz (CosyVoice3, multilingüe)
KokoroTTSTexto a voz (Kokoro-82M, CoreML, listo para iOS)
Qwen3ChatChat LLM en el dispositivo (Qwen3.5-0.8B, MLX + CoreML)
PersonaPlexVoz a voz (PersonaPlex 7B)
SpeechVADVAD (Silero + Pyannote), diarización, embeddings de hablante
SpeechEnhancementSupresión de ruido (DeepFilterNet3, CoreML)
AudioCommonProtocolos compartidos, E/S de audio, descargador de HuggingFace

Compilar desde el código fuente

Clona el repositorio y compila:

git clone https://github.com/soniqo/speech-swift.git
cd speech-swift
make build
Importante

make build compila la librería de shaders MLX Metal automáticamente. Sin ella, la inferencia en GPU se ejecuta ~5x más lenta debido a la compilación JIT de shaders.

Inicio rápido: transcribir audio

CLI

# Transcribe un archivo WAV
.build/release/speech transcribe recording.wav

API de Swift

import Qwen3ASR

let model = try await Qwen3ASRModel.fromPretrained()
// audioSamples: [Float] PCM at 16 kHz (e.g. decoded from a WAV)
let text = model.transcribe(audio: audioSamples, sampleRate: 16000)
print(text)

Los modelos se descargan automáticamente desde HuggingFace en el primer uso y se almacenan en ~/Library/Caches/qwen3-speech/.

Inicio rápido: texto a voz

CLI

# Generar voz
.build/release/speech speak "Hello, world!" --output hello.wav

API de Swift

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Descargas de modelos

Todos los modelos se descargan desde HuggingFace en el primer uso. Tamaños aproximados:

ModeloTamañoUso de RAM
Qwen3-ASR 0.6B (4-bit MLX)680 MB~1.0 GB peak
Qwen3-ASR 0.6B (8-bit MLX)1.0 GB~1.3 GB peak
Qwen3-ASR 0.6B (CoreML INT8)180 MB~1.4 GB peak
Qwen3-ASR 1.7B (4-bit MLX)2.1 GB~3 GB peak
Qwen3-ASR 1.7B (8-bit MLX)3.2 GB~2.7 GB peak
Parakeet-TDT v3 (CoreML INT8)500 MB~900 MB peak
Omnilingual CTC 300M (4-bit MLX)193 MB~400 MB peak
Omnilingual CTC 300M (CoreML INT8)312 MB~550 MB peak
Qwen3-TTS 0.6B (4-bit)1.7 GB~2 GB pico
Qwen3-TTS 1.7B (4-bit)3.2 GB~4 GB pico
CosyVoice3 (4-bit LLM)1.2 GB~1.5 GB pico
Kokoro-82M (CoreML INT8)89 MB~200 MB pico
Qwen3.5-Chat 0.8B (INT4 MLX)418 MB~700 MB pico
Qwen3.5-Chat 0.8B (INT8 CoreML)981 MB~1.2 GB pico
PersonaPlex 7B (8-bit) recomendado9.1 GB~11 GB pico
PersonaPlex 7B (4-bit)4.9 GB~6.5 GB pico
Pyannote VAD5.7 MB~20 MB pico
Silero VAD v51.2 MB~5 MB pico
WeSpeaker ResNet3425 MB~50 MB pico
DeepFilterNet3 (FP16)4.2 MB~10 MB pico

Próximos pasos