Come Funziona Realmente la Trascrizione AI: Un Approfondimento Tecnico

L'AI moderna speech-to-text può trascrivere la tua voce con accuratezza quasi umana. Ma come funziona realmente? In questo approfondimento, esploreremo la tecnologia dietro modelli come OpenAI Whisper, dall'elaborazione audio alle architetture delle reti neurali.

La Pipeline del Riconoscimento Vocale

Quando parli in un microfono, la tua voce passa attraverso diverse fasi di trasformazione prima di diventare testo:

1. Cattura Audio — Il microfono converte le onde sonore in segnali elettrici
2. Campionamento Digitale — I segnali analogici vengono campionati a 16kHz (16.000 volte al secondo)
3. Estrazione Caratteristiche — L'audio viene convertito in rappresentazione spettrogramma Mel
4. Elaborazione Rete Neurale — Il modello Transformer elabora le caratteristiche
5. Decodifica Token — I token di output vengono convertiti in testo leggibile

Passo 1: Audio a Spettrogramma Mel

L'audio grezzo è solo una sequenza di valori di ampiezza nel tempo. Per renderlo utile per il machine learning, lo convertiamo in uno spettrogramma Mel—una rappresentazione visiva che mostra quali frequenze sono presenti in ogni momento.

Secondo il paper di Whisper, il modello usa:

• Frequenza di campionamento 16kHz — Standard per il parlato (parlato umano è 85-255 Hz fondamentale, armoniche fino a ~8kHz)
• 80 canali Mel — Risoluzione frequenza attraverso lo spettro udibile
• Finestre 25ms — Ogni frame cattura 25 millisecondi di audio
• Passo 10ms — Le finestre si sovrappongono di 15ms per transizioni fluide

Il risultato è una rappresentazione simile a immagine 2D: tempo sull'asse x, frequenza sull'asse y e intensità come luminosità. Questo è quello che la rete neurale realmente "vede".

Passo 2: L'Architettura Transformer Encoder-Decoder

Whisper usa l'architettura Transformer, la stessa fondazione dietro GPT e altra AI moderna. Consiste di due componenti principali:

L'Encoder

L'encoder elabora lo spettrogramma Mel e crea una ricca rappresentazione interna dell'audio. Usa la self-attention per comprendere le relazioni tra diverse parti dell'audio—cruciale per gestire accenti, rumore di fondo e contesto.

• Due layer convoluzionali prima sottocampionano lo spettrogramma
• Embedding posizionali sinusoidali aggiungono informazioni temporali
• Multipli blocchi Transformer applicano self-attention
• Output: Una sequenza di stati nascosti che rappresentano l'audio

Il Decoder

Il decoder genera token di testo uno alla volta, usando la cross-attention per concentrarsi sulle parti rilevanti dell'audio codificato. È simile a come GPT genera testo, ma condizionato sull'audio invece che sul testo precedente.

• Embedding posizionali appresi tracciano la posizione dell'output
• La cross-attention attende all'output dell'encoder
• La self-attention mantiene la coerenza nel testo generato
• Output: Distribuzione di probabilità sui possibili token successivi

Passo 3: Tokenizzazione e Decodifica

Whisper usa la tokenizzazione Byte Pair Encoding (BPE), la stessa di GPT-2. Invece di predire singoli caratteri o parole intere, predice unità di sottoparole:

• Le parole comuni diventano singoli token ("the" → [1169])
• Le parole rare si dividono in sottoparole ("transcription" → [trans] [cript] [ion])
• Token speciali gestiscono i compiti (<|transcribe|>, <|translate|>, <|en|>)
• Token timestamp abilitano timing a livello parola (<|0.00|>, <|2.50|>)

Dimensioni del Modello e Compromessi

Whisper è disponibile in più dimensioni, ognuna bilanciando accuratezza contro velocità e memoria:

Training: Il Segreto

Ciò che rende Whisper speciale non è l'architettura—sono i dati di training. OpenAI l'ha addestrato su 680.000 ore di audio etichettato da internet, coprendo:

• 99 lingue — Dall'inglese al gallese allo yoruba
• Multipli accenti — Inglese britannico, americano, indiano, ecc.
• Varie qualità audio — Podcast, chiamate telefoniche, riunioni
• Domini diversi — Tecnico, medico, legale, parlato casual

Il modello large-v3 è stato ulteriormente addestrato su 1 milione di ore di audio debolmente etichettato più 4 milioni di ore di audio pseudo-etichettato usando versioni precedenti di Whisper. Questa scala massiva è il motivo per cui gestisce così bene l'audio del mondo reale.

Apprendimento Multi-Task

Whisper non è solo un modello di trascrizione—è addestrato su più compiti simultaneamente:

• Trascrizione — Converte parlato in testo nella stessa lingua
• Traduzione — Converte parlato non inglese in testo inglese
• Rilevamento Lingua — Identifica la lingua parlata
• Rilevamento Attività Vocale — Identifica quando c'è parlato
• Predizione Timestamp — Allinea parole a tempi precisi

Il modello seleziona i compiti tramite token speciali. Per esempio, <|en|><|transcribe|> gli dice di trascrivere inglese, mentre <|es|><|translate|> gli dice di tradurre spagnolo in inglese.

Locale vs Cloud: Cosa è Diverso?

Quando usi trascrizione locale (come la modalità predefinita di Speakly), l'intero modello gira sul tuo computer:

• Accelerazione GPU — Apple Silicon usa Metal, NVIDIA usa CUDA
• Nessuna latenza di rete — L'audio non lascia mai il tuo dispositivo
• Privacy — I tuoi dati vocali rimangono completamente locali
• Capacità offline — Funziona senza connessione internet

Le API cloud (OpenAI, Groq, Deepgram) eseguono gli stessi o simili modelli su potenti server remoti. Il compromesso è velocità e potenzialmente costo contro privacy e latenza.

Oltre Whisper: Altri Approcci

Mentre Whisper domina lo spazio open-source, i provider commerciali usano approcci diversi:

Deepgram Nova-2

Deepgram addestra modelli personalizzati da zero su dati specifici per dominio. Offrono varianti specializzate per riunioni, chiamate telefoniche e trascrizione medica. La loro architettura è proprietaria ma ottimizzata per uso streaming in tempo reale.

Google Cloud Speech-to-Text

Il modello Chirp di Google usa il loro Universal Speech Model (USM), addestrato su 12 milioni di ore attraverso 300+ lingue. Eccelle nelle lingue a basse risorse dove Whisper fa fatica.

ElevenLabs Scribe

ElevenLabs Scribe dichiara 96,7% di accuratezza per l'inglese—tra le più alte riportate. Include diarizzazione integrata (identificare chi ha detto cosa) e rilevamento eventi audio.

Il Futuro: Dove Sta Andando?

Il riconoscimento vocale sta migliorando rapidamente. Tendenze chiave da osservare:

• Streaming in tempo reale — Latenza più bassa per trascrizione istantanea
• Modelli multimodali — GPT-4o può elaborare audio direttamente senza trascrizione separata
• AI sul dispositivo — Neural Engine di Apple, acceleratori AI di Qualcomm
• Personalizzazione — Modelli che si adattano alla tua voce e vocabolario
• Consapevolezza del contesto — Comprendere quale applicazione stai usando

Letture Ulteriori

• Robust Speech Recognition via Large-Scale Weak Supervision — Paper originale Whisper
• Whisper su GitHub — Implementazione open-source
• Attention Is All You Need — Paper architettura Transformer
• Guida Whisper Hugging Face — Usare Whisper con libreria Transformers