Letra de canción desde audio — reconocer las palabras de una grabación

Los modelos de voz esperan habla. En una canción el detector de voz toma el canto por música y no devuelve nada, y los modelos grandes sobre una mezcla completa inventan frases como «Thank you for watching». Aquí la voz se separa primero de la música, luego se localizan las partes cantadas y solo esas pasan al reconocimiento.

En una grabación pop de estudio con la voz claramente por encima de la mezcla, la mayoría de los versos salen aprovechables y tú corriges nombres y alguna rima. Se desmorona en cuatro sitios previsibles: rap rápido, donde las palabras llegan más deprisa de lo que el modelo las segmenta; coros y armonías apiladas, donde se superponen varios textos; reverberación fuerte o efectos sobre la voz; y ad-libs y gritos, que el modelo o bien pierde o bien sustituye por palabras inventadas. El veredicto sobre un verso dudoso es tuyo, y la marca de tiempo que va al lado está ahí para que saltes a ese segundo y escuches en vez de adivinar.

Casi todo lo que conoce un modelo de habla, pero cantar es más difícil que hablar en todas ellas, así que el orden práctico difiere de la lista habitual. El inglés y las demás lenguas europeas grandes salen mejor sencillamente porque hubo más material cantado parecido en el entrenamiento. El ruso pasa por un modelo hecho expresamente para él, que en el canto es a la vez más rápido y más preciso que el general. Donde tropieza cualquier lengua es en lo mismo: vocales sostenidas que estiran la palabra más allá de lo reconocible, dos voces en armonía y versos sepultados bajo una mezcla alta. Mezclar lenguas dentro de una canción —estribillo en inglés sobre estrofas en otro idioma— es el caso en el que hay que esperar errores.

La herramienta indica que no encontró canto y ofrece reconocer sin filtro, para una voz baja o muy procesada.

Sí: descarga el LRC; las líneas con tiempos las leen los reproductores de karaoke y de música. Para video está el SRT.

En el mandarín cantado la melodía ocupa el lugar de los tonos, así que las palabras que solo se distinguen por el tono suenan igual y el modelo tiene que elegir el carácter por el contexto. Las expresiones cotidianas salen bien; las palabras raras, los topónimos y los versos de estilo clásico son donde cae en un homófono: 丘陵 se convierte en 秋林. El mandarín y el cantonés pasan por un modelo hecho para el chino, que en una grabación de estudio limpia acierta la mayoría de los caracteres; toma el texto como un borrador y corrígelo de oído. Se puede alternar entre caracteres tradicionales y simplificados sin volver a reconocer.