Quels instruments jouent dans une chanson

La précision est mesurée sur le jeu annoté OpenMIC-2018 et diffère selon l’instrument. Guitare, piano, synthétiseur et batterie sont identifiés avec certitude : sur les données réservées, ces réponses sont justes dans 87 à 97 % des cas. Violon, violoncelle, saxophone et orgue sont plus faibles. Voix, cymbales, accordéon et xylophone sont mal séparés : ils n’entrent jamais dans la réponse principale et s’affichent comme « peut-être ».

Le modèle ne distingue pas la basse des autres parties graves de façon fiable : sur les données réservées, il « entendait » de la basse dans presque tous les morceaux, autrement dit il devinait au lieu de détecter. Afficher cela est pire que ne rien afficher, la basse est donc exclue. Pour la même raison trompette, trombone, flûte et clarinette ne sont pas séparés, et banjo, mandoline et ukulélé finissent le plus souvent sous « guitare ».

Ce sont deux seuils. Un instrument atteint « avec certitude » seulement si, sur les données réservées, un tel score correspondait vraiment à sa présence au moins 8 fois sur 10. « Peut-être » est le seuil bas, autour de 6 ou 7 fois sur 10 : mieux vaut ne pas s’y fier sans écouter.

Cet outil identifie, il ne sépare pas. Pour extraire des pistes, il y a le séparateur de stems ; pour la transcription en notes, Audio to Notes.

Le modèle écoute par fenêtres de 10 secondes, la carte a donc une résolution d’environ 5 à 10 secondes. C’est le niveau du couplet et du refrain, pas de la note. Pour la précision à la note, utilisez Audio to Notes.

Le même modèle analyse une fenêtre glissante de dix secondes et rafraîchit la liste environ toutes les secondes et demie. Pratique en répétition et en cours. Pour un meilleur résultat, désactivez la réduction de bruit du navigateur.

Il n’y a pas de limite stricte. Les longs enregistrements sont échantillonnés selon une grille de fenêtres régulière, dont le nombre est plafonné pour que l’analyse reste rapide.