Mozilla Italia promuove il modello di riconoscimento vocale in Italiano per DeepSpeech
La Comunità Mozilla Italia è una delle più veterane nel mondo delle comunità Mozilla a livello globale e si occupa di diverse attività tra cui la traduzione e il supporto in lingua Italiana per i prodotti rilasciati da Mozilla. Negli anni ha organizzato diversi eventi in tutto il Paese e online, fornito materiale promozionale, preso parte ai Linux Day e sviluppato il Vademecum di Firefox, promosso progetti in cui contribuire come sviluppatori.
Uno dei progetti di punta che sta coinvolgendo recentemente sempre più persone e che la comunità sta promuovendo per reclutare più sviluppatori è quello dedicato a un modello di riconoscimento vocale per la lingua italiana open-source.
Common Voice
Nel 2018 la comunità di Mozilla Italia si è attivata non solo per la traduzione del portale, ma anche per sbloccare la lingua italiana su voice.mozilla.org.
Il progetto ha lo scopo di creare dataset liberi da 2000 ore per ogni lingua, che siano di pubblico dominio e quindi utilizzabili per qualunque scopo. Per partecipare basta collegarsi al sito web, registrare un account per tracciare le proprie attività e leggere le frasi, oppure revisionare quelle registrate dagli altri utenti.
Per poter sbloccare la lingua italiana è stato necessario raccogliere diverse migliaia di frasi coperte da licenza CC0, recuperandole da fonti diverse in seguito revisionate. In un secondo momento Common Voice (da ora CV per comodità) ha permesso lo sblocco di altre lingue e ha realizzato due strumenti di raccolta frasi che hanno reso più rapide le operazioni. Il più utilizzato dalla nostra comunità è stato il Cv-sentence-extractor, il quale permette di estrarre frasi casuali seguendo specifiche regole e attingendo da un dump di Wikipedia. In futuro sarà certamente possibile aggiungere altre fonti e per questo motivo si cercano sviluppatori Rust.
Così facendo è stata raggiunta una quota che ha superato il milione di frasi da registrare per la lingua Italiana.
DeepSpeech
Il secondo tassello si chiama DeepSpeech, è il motore open-source sviluppato da Mozilla. Il progetto supporta diversi dataset (tra cui CV) e genera un modello che può essere utilizzato per il Speech-To-Text oppure per il Text-To-Speech.
DeepSpeech-Italian-Model
I due progetti messi insieme hanno dato origine a DeepSpeech-Italian-Model, un insieme di script per la generazione di un modello di lingua italiana liberamente scaricabile.
La seconda versione rilasciata di recente include il nuovo dataset CV e alcune migliorie. Nel frattempo si lavora ulteriormente per migliorare la parte predittiva creando un nuovo corpus testuale specifico con diversi importatori per un tipo di italiano personalizzato che sia discorsivo, non giornalistico o enciclopedico.
La comunità ha bisogno di aiuto
La Comunità necessita dell’aiuto di tutti perché i compiti da portare a termine sono numerosi, costantemente aggiornati e raccolti in un documento.
Lo scopo è quello di fornire uno strumento libero da licenze e, limitazioni, che possa essere utilizzato anche su Raspberry (rilasciamo il modello anche in versione tflite, NdA). È stato inoltre creata una presentazione che chiunque può utilizzare per promuovere tutti i progetti descritti in questo articolo e sei autorizzato a rimuovere le slide che ritieni non ti servano.
Di cosa c’è bisogno?
- Di persone che parlano italiano (anche non madrelingua) che investano un po’ del loro tempo per partecipare a voice.mozilla.org.
- Di sviluppatori Python che ci aiutino a sviluppare gli script per il modello, per generare il nuovo corpus testuale e per sperimentare nuove soluzioni.
- Di promuovere le attività della nostra Comunità.
Per rimanere aggiornati è stata creata una discussione (su base quindicinale o mensile) sul Discourse di Mozilla che parla di CV (qui per la versione 2019).
Inoltre è possibile unirsi alla community utilizzando Telegram e contattando il bot @MozItaBot oppure mediante l’istanza Matrix di Mozilla Italia.
La Comunità Mozilla Italia organizzia riunioni mensili aperte a tutti. Gli incontri sono in videoconferenza, il tutto viene registrato e caricato successivamente su YouTube (vedi https://www.youtube.com/watch?v=DMqL31fY3Qc).
Per maggiori dettagli ecco il link alla discussione sul forum ufficiale della Comunità: https://forum.mozillaitalia.org/index.php?topic=73902.0.
Mozilla Italia vi aspetta!
Se vuoi sostenerci, puoi farlo acquistando qualsiasi cosa dai diversi link di affiliazione che abbiamo nel nostro sito o partendo da qui oppure alcune di queste distribuzioni GNU/Linux che sono disponibili sul nostro negozio online, quelle mancanti possono essere comunque richieste, e su cui trovi anche PC, NAS e il ns ServerOne. Se ti senti generoso, puoi anche donarmi solo 1€ o più se vuoi con PayPal e aiutarmi a continuare a pubblicare più contenuti come questo. Grazie!
Hai dubbi o problemi? Ti aiutiamo noi!
Se vuoi rimanere sempre aggiornato, iscriviti al nostro canale Telegram.Se vuoi ricevere supporto per qualsiasi dubbio o problema, iscriviti alla nostra community Facebook o gruppo Telegram.
Cosa ne pensi? Fateci sapere i vostri pensieri nei commenti qui sotto.
Ti piace quello che leggi? Per favore condividilo con gli altri.
