Können Sie kurz die speziellen Neuerungen der Software GeMMA beschreiben, was macht sie so benutzerInnenfreundlich bzw.unterscheidet sie von herkömmlichen Musikprogrammierungs-Tools?
Hannes Raffaseder: Da es immer wieder zu Verwirrungen kommt, möchte ich vorab klarstellen, dass GeMMA noch keinesfalls als fertiges, voll funktionsfähiges Tool bezeichnet werden kann. Beim von der FFG (Üsterreichische Forschungsförderungsgesellschaft, Anm.) geförderten Forschungsprojekt haben wir gerade etwas mehr als die halbe Laufzeit hinter, und noch mehr als ein Jahr Entwicklungszeit vor uns.
Es gibt jetzt aber bereits erste funktionsfähige Prototypen von Teilsystemen (z. B: einen Melodie-Generator, die sog. MotiFactory oder ein System, das automatisch Harmonieverläufe erstellt etc.). Diese Prototypen sind unserer Ansicht nach durchaus vielversprechend, was auch von Experten bestätigt wird, denen wir unser Projekt vorstellen. Zuletzt hatten wir diesbezüglich beispielsweise einen Workshop mit Dr. Martin Parker, dem Leiter des Masterstudiengangs Sound Design an der University of Edinburgh und ein Meeting mit dem in Berlin lebenden Filmkomponisten Christian Halten, der u. a. für Hans Zimmer gearbeitet hat und auch Erfahrung in der Konzeption von Musik-Software besitzt. Beide haben das große Potenzial bestätigt, das in unseren Ideen, Konzepten und ersten lauffähigen Versionen steckt.
Wichtig ist auch, dass GeMMA keinen KomponistInnen die Arbeit wegnehmen wird. Das würde auch meinen persönlichen Intentionen als Komponist und u. a. Mitorganisator von Initiativen wie dem KomponistInnenforum Mittersill zutiefst widersprechen. GeMMA wird vielmehr ein Tool, das neue Zugänge zur Komposition schafft und daher auch jetzt schon Interesse im pädagogischen Bereich weckt. Es soll erfahrenen KomponistInnen die Arbeit erleichtern, No-Budget-Produktionen und Hobby-FilmerInnen die Möglichkeit bieten, nicht zwingend auf unflexible GEMA-freie Musikkonserven angewiesen zu sein und vor allem die Kommunikation zwischen RegisseurInnen und KomponistInnen erleichtern, in dem viel schneller unterschiedliche Ergebnisse ausprobiert werden können.
Generative Music for Media Applications ist ein Projekt zur Unterstützung des kreativen Workflows in der Musikkomposition für Medienproduktionen. Gerade bei zeitlich und budgetär eingeschränkten Projekten wie etwa in der Entwurfsphase von Filmproduktionen und auch in der Multimedia- und Spielebranche sind Rapid-Protoyping-Verfahren bei der Unterstützung des audiovisuellen Designprozesses gefragt. Es ist nicht Ziel, die Arbeitsweise von Komponisten und Musikproduzenten zu automatisieren. Vielmehr sollen Ideen für Klangstrukturen und Instrumentierung nach einer eingeschränkten Anzahl an filmsemantischen Vorgaben (Genre, Emotionale Konnotation) und wenigen musikalischen Grundvorgaben (Skala, Sound-a-like) erzeugt werden.
GeMMA versucht in der Kluft zwischen zeitkritischen Produktionsvorgaben und dem kompositorischen Kreativprozess durch ein unterstützendes Werkzeug eine Brücke zu schlagen. Mit Hilfe von generativen Algorithmen sollen gehaltvolle musikalischeGrundstrukturen (MIDI Score, Instrumentierung) für gängige Host Applikationen (Ableton Live, NI Core, Steinberg Cubase) und Klangerzeuger (NI Kontakt) generiert werden.
Was waren im Rahmen der Forschungsarbeiten die größten (technischen) Herausforderungen, die es zu bewältigen galt?
HR: Die große Komplexität liegt in der Modellierung der klangkompositorischen Algorithmen. Zur Anwendung kommen hier Methoden des maschinellen Lernens, stochastische Modelle (z.B. gängige Wahrscheinlichkeiten zu Notenübergängen in der Popmusik etwa) und auch genetische Algorithmen die aus bestehendem Grundmaterial (musikalische Motive, Akkordfolgen) gemäß parametrierten Cost-Functions und Optimierungsverfahren (Harmonie, Skalen, Konsonanz, Melodieführung auf und ab) tausende Variationen erzeugen.
Einzelne Teilaufgaben können bereits heute mit gängiger Audio- und Klangerzeugersoftware erzeugt und modifiziert werden: Takt- und Drum-Muster, Harmonieführung und auch musikalische Grundstrukturen wie MIDI. Allerdings gibt es kein Werkzeug für Amateure und amateurhafte Medienproduzenten das die Generierung von Kompositionen und gleichzeitig das Fein-Tuning von Parametern wie Rhythmik, Harmonik, Instrumentierung im KONTEXT des Medienproduktes erlaubt.
Die größte Herausforderung ist demnach das Mapping von emotionsbasierter und semantischer Annotierung des Filmmaterials zum Generator des klanglichen Output, der immer subjektiven Qualitätsmaßstäben unterliegen wird. Wir achten daher sehr darauf, die generativen Ablaufprozesse so zu modellieren, dass der Benutzer bei Bedarf eingreifen kann, aber nicht muss.
Welche Zielgruppe soll diese Software ansprechen? Ist die Entwicklung dieser Software eine Reaktion auf aktuelle Tendenzen in der Film-/Creative-Branche?
HR: Die Hauptzielgruppe sind Videoproduktion im Low- und No-Budget-Bereich, inklusive eine immer größer werdenden Zahl an Hobbyfilmern. Das Projekt ist insofern eine Reaktion auf aktuelle Tendenzen in der Kreativbranche, als die Werkzeuge bei immer besserer Qualität immer günstiger und oft auch einfacher zu bedienen werden. Die aktuellen Ergebnisse zeigen darüber hinaus aber, dass GeMMA auch für erfahrene KomponistInnen (z. B. als Ideenlieferant oder für schnell zu erstellende Klang-Skizeen etc.) interessant werden wird. Ein weiteres Anwendungsfeld tut sich im Bereich der Musikvermittlung und -pädagogik auf. Aus diesem Bereich haben wir bereits mehrere konkrete Anfragen von Opernhäusern, Orchestern und Museen, die sich der Musik, der akustischen Umwelt oder dem Leben großer Komponisten widmen. Für diese Institutionen entwickeln wir eigene unter Einsatz der GeMMA-Technologie interaktive Installationen die wichtige Grundlagen der musikalischen Gestaltung vermitteln.
Was sind die nächsten Projekt-Schritte, wann kann die Software von UserInnen (KünstlerInnen, FilmemacherInnen etc.) das erste Mal getestet werden, wann wird sie im Handel erhältlich sein?
HR: Beim von der FFG geförderten Forschungsprojekt haben wir gerade etwas mehr als die halbe Laufzeit hinter und noch mehr als ein Jahr Entwicklungszeit vor uns (36 Monate von Mai 2009 bis April 2012). Wir befinden uns mitten in der Implementierungsphase von AP3. Das Projekt ist demnach wie folgt gegliedert:
AP1 (Standardisierte Kategorien für Medienmusik), AP2 (Designrichtlinien für die Produktion von Medienmusik) und AP3 (Entwicklung von Algorithmen für die generative und interaktive Musikproduktion). In AP2 wurden webbasierte ExpertInnen- und UserInnen-Tests zu genretypischen Filmen durchgeführt, um Zusammenhänge zwischen Bild- und Tonsprache und den dadurch ausgelösten Emotionen gemäß James A. Russells Circumplexmodell (Valenz/Aktivierung) erforschen zu können. Dadurch erhoffen wir längerfristig eine für musikkompositorische Laien notwendige Beschreibungssprache für Filmszenenmusik und -symbolik definieren zu können, die emotionsbasierte Annotierung zur Notengenerierung und Instrumentenwahl verwendet.
In AP 3 wird derzeit das GeMMA-Framework (Java mit Max/MSP GUI-Frontend) entwickelt, das algorithmische Komposition auf Basis weniger Parameter ermöglichen soll. Derzeit werden beispielhafte Melodien in Form von MIDI Ausgangsmaterial analysiert und Variationen davon erzeugt. Diese orientieren sich an Tonsatzregeln und einer zugrundeliegenden Wahrscheinlichkeitsverteilung von Akkordfolgen wie sie in gängiger Medienmusik vorkommen. Ich möchte auch auf die erneuerte Projektwebsite mit einem ersten Klangbeispiel hinweisen: http://gemma.fhstp.ac.at/
