Mephisztoe
- Dabei seit
- 22. Sep. 2021
- Beiträge
- 22
- Reaktionen
- 38
Okay... mit "KI" hab ich euch vergrault, oder?
Bin gespannt, ob sich jemand für das Thema interessiert.
First things first: Wenn ich von Rousseau spreche, meine ich den hier:
Und viele fragen häufig nach, wie er das macht. Wie schafft er es, dass er offensichtlich selbst das Klavier spielt und dabei gleichzeitig die Noten visualisiert werden im Stil von Guitar Hero, resp. Synthesia (um mal beim Klavier zu bleiben). Außerdem: Wie kommen die beleuchteten Tasten zustande?
Es hat doch tatsächlich mal jemand im ernst sein Klavier mit LEDs und einer smarten Elektronik ausgestattet, die über Sensoren versucht haben, ein ähnliches Ergebnis zu erzielen. Dabei ist der "Trick" relativ einfach: Adobe After Effects. Allerdings kostet das auch entsprechendes Geld.
Nun gibt es aber auch seit einiger Zeit bereits vollkommen kostenlose Programme, mit denen sich diese Effekte ebenfalls erzielen lassen. Und das, worüber ich vor kurzem gestolpert bin, nennt sich Piano VFX.
https://piano-vfx.com/
Ich wollte es neulich einfach einmal ausprobieren, doch leider hatte ich keine Aufzeichnung von mir zur Hand, die ich dafür hätte nehmen können. Gleichzeitig hatte ich aber gerade ein Video von einem Künstler auf YouTube gesehen, dessen Stücke ich echt mag. Nur lagen mir dazu keine MIDI Dateien vor.
Die sind nämlich Voraussetzung für eine entsprechende Visualisierung.
Nach kurzer Zeit fand ich dann heraus, dass es inzwischen Services im Internet gibt, denen Du z.B. einen YouTube Link zu einem Klavierstück geben kannst und dann nutzen die für diesen Zweck trainierte KI Modelle, um daraus die Noten zu transkribieren. Heraus kommen dann MIDI-Dateien. Allerdings sind das nahezu alles Abo-Services und for free gibt's oft nur ein Sheet...
Die Idee basiert aber bei den meisten auf einer Publikation auf GitHub. Dort gibt es einen Entwickler, der genau diesen Algorithmus veröffentlicht hat und auch bereits vortrainierte Modelle bereitstellt. Voraussetzung, um das bei sich Zuhause auf dem eigenen PC laufen zu lassen, ist im Grunde genommen nur eine Python-Installation und ein bisschen KnoffHoff.
https://github.com/bytedance/piano_transcription
Und so gelang es mir in kürzester Zeit aus dem Video, das ich gesehen hatte, die Noten zu transkribieren, ein MIDI File zu erzeugen, die Audio-Spur in ein gefordertes Format zu konvertieren, das Video selbst herunterzuladen und mittels Piano VFX alles so zusammenzuführen, dass das Ergebnis vergleichbar ist zu dem, was Rousseau so veröffentlicht.
Die Version der Transkriptions-Software hat noch ein paar Lücken. Bspw. hat sie noch Schwierigkeiten, gehaltene Noten als solche zu erkennen und fügt dann oft unnötigerweise die gleiche Note mehrmals hintereinander ein. Allerdings gibt es auch einige Commits und einen umfassenden Pull-Request, mit dem das angeblich bereinigt wurde. Ich bin noch nicht dazu gekommen, das zu testen.
So...
Falls Du bis hierhin gelesen hast:
Klingt das interessant? Ich überlege, ob ich daraus ein Video oder einen Blog-Post oder ähnliches machen soll, um die Schritte genauer zu erklären und zu zeigen, wie das alles funktioniert und zusammenspielt...
Bin gespannt, ob sich jemand für das Thema interessiert.
First things first: Wenn ich von Rousseau spreche, meine ich den hier:
Und viele fragen häufig nach, wie er das macht. Wie schafft er es, dass er offensichtlich selbst das Klavier spielt und dabei gleichzeitig die Noten visualisiert werden im Stil von Guitar Hero, resp. Synthesia (um mal beim Klavier zu bleiben). Außerdem: Wie kommen die beleuchteten Tasten zustande?
Es hat doch tatsächlich mal jemand im ernst sein Klavier mit LEDs und einer smarten Elektronik ausgestattet, die über Sensoren versucht haben, ein ähnliches Ergebnis zu erzielen. Dabei ist der "Trick" relativ einfach: Adobe After Effects. Allerdings kostet das auch entsprechendes Geld.
Nun gibt es aber auch seit einiger Zeit bereits vollkommen kostenlose Programme, mit denen sich diese Effekte ebenfalls erzielen lassen. Und das, worüber ich vor kurzem gestolpert bin, nennt sich Piano VFX.
https://piano-vfx.com/Ich wollte es neulich einfach einmal ausprobieren, doch leider hatte ich keine Aufzeichnung von mir zur Hand, die ich dafür hätte nehmen können. Gleichzeitig hatte ich aber gerade ein Video von einem Künstler auf YouTube gesehen, dessen Stücke ich echt mag. Nur lagen mir dazu keine MIDI Dateien vor.
Die sind nämlich Voraussetzung für eine entsprechende Visualisierung.
Nach kurzer Zeit fand ich dann heraus, dass es inzwischen Services im Internet gibt, denen Du z.B. einen YouTube Link zu einem Klavierstück geben kannst und dann nutzen die für diesen Zweck trainierte KI Modelle, um daraus die Noten zu transkribieren. Heraus kommen dann MIDI-Dateien. Allerdings sind das nahezu alles Abo-Services und for free gibt's oft nur ein Sheet...
Die Idee basiert aber bei den meisten auf einer Publikation auf GitHub. Dort gibt es einen Entwickler, der genau diesen Algorithmus veröffentlicht hat und auch bereits vortrainierte Modelle bereitstellt. Voraussetzung, um das bei sich Zuhause auf dem eigenen PC laufen zu lassen, ist im Grunde genommen nur eine Python-Installation und ein bisschen KnoffHoff.
https://github.com/bytedance/piano_transcriptionUnd so gelang es mir in kürzester Zeit aus dem Video, das ich gesehen hatte, die Noten zu transkribieren, ein MIDI File zu erzeugen, die Audio-Spur in ein gefordertes Format zu konvertieren, das Video selbst herunterzuladen und mittels Piano VFX alles so zusammenzuführen, dass das Ergebnis vergleichbar ist zu dem, was Rousseau so veröffentlicht.
Die Version der Transkriptions-Software hat noch ein paar Lücken. Bspw. hat sie noch Schwierigkeiten, gehaltene Noten als solche zu erkennen und fügt dann oft unnötigerweise die gleiche Note mehrmals hintereinander ein. Allerdings gibt es auch einige Commits und einen umfassenden Pull-Request, mit dem das angeblich bereinigt wurde. Ich bin noch nicht dazu gekommen, das zu testen.
So...
Falls Du bis hierhin gelesen hast:
Klingt das interessant? Ich überlege, ob ich daraus ein Video oder einen Blog-Post oder ähnliches machen soll, um die Schritte genauer zu erklären und zu zeigen, wie das alles funktioniert und zusammenspielt...
