Welche Instrumente in einem Song spielen

Die Genauigkeit ist am annotierten Datensatz OpenMIC-2018 gemessen und je Instrument verschieden. Gitarre, Klavier, Synthesizer und Schlagzeug werden sicher erkannt — auf den Prüfdaten stimmen solche Antworten in 87–97 % der Fälle. Geige, Cello, Saxophon und Orgel sind schwächer. Gesang, Becken, Akkordeon und Xylophon trennt das Modell schlecht, daher gelangen sie nie in die Hauptantwort und erscheinen als „möglicherweise“.

Das Modell unterscheidet den Bass nicht verlässlich von anderen tiefen Stimmen: Auf den Prüfdaten „hörte“ es Bass in fast jedem Track, das heißt, es riet, statt zu erkennen. Das anzuzeigen ist schlechter, als es wegzulassen, deshalb ist der Bass ausgeschlossen. Aus demselben Grund werden Trompete, Posaune, Flöte und Klarinette nicht getrennt, und Banjo, Mandoline und Ukulele landen meist unter „Gitarre“.

Das sind zwei Schwellen. In „sicher“ kommt ein Instrument nur, wenn es auf den Prüfdaten bei einem solchen Wert mindestens in 8 von 10 Fällen wirklich vorhanden war. „Möglicherweise“ ist die niedrigere Schwelle — etwa 6–7 von 10 — darauf sollte man sich ohne Hinhören nicht verlassen.

Dieses Werkzeug erkennt, es trennt nicht. Zum Herauslösen einzelner Spuren gibt es den Stem-Splitter, für die Notentranskription Audio to Notes.

Das Modell hört in 10-Sekunden-Fenstern, daher liegt die Auflösung der Karte bei etwa 5–10 Sekunden. Das ist die Ebene von Strophe und Refrain, nicht der einzelnen Note. Für Notengenauigkeit nutzen Sie Audio to Notes.

Dasselbe Modell zerlegt ein gleitendes Zehn-Sekunden-Fenster und aktualisiert die Liste etwa alle anderthalb Sekunden. Praktisch für Probe und Unterricht. Für das beste Ergebnis schalten Sie die Rauschunterdrückung im Browser ab.

Eine harte Grenze gibt es nicht. Lange Aufnahmen werden mit einem gleichmäßigen Fenstergitter abgetastet, dessen Anzahl begrenzt ist — so bleibt die Analyse schnell.