EN COURS

EA+IA

Projet d’intégration d’intelligence artificielle

dans la création d’oeuvres musico pictural en direct.

Intégrer l’intelligence artificielle dans la création d’une oeuvre en direct, pas juste comme un compositeur réactif aléatoire de données entrantes mais comme une intelligence proactive réagissant aux intentions créatives des artistes qui performent avec elle en direct.

On veut ouvrir le potentiel collaboratif, créatif et intuitif de l’IA pour réagir en temps réel avec d’autres créateurs.

L’IA : une alliée intuitive et créative.

Nous avons démontré avec le projet Électro-acrylique que l’interaction du Low-Tech et du Hi-Tech pouvait engendrer une boucle créative à laquelle on ne pouvait plus déterminer qui en était la source.

Avec l’intervention de l’intelligence artificielle, on tend à montrer que cette dernière ne se cantonne pas seulement à un rôle exécutif performant mais peut surtout réaliser son potentiel de libre arbitre créatif et inter-réactif dans un contexte en « temps réel» et d’être une véritable alliée à l’instar d’un membre de groupe de musique qui apporte son style, ses aptitudes et ses connaissances tout en s’intégrant à l’ensemble.

DÉMARCHE

Nous sommes convaincus que l’apport de l’art, du culturel, de l’expérience et de la culture générale peut faire de l’IA une meilleure intelligence.

  • On veut ouvrir le potentiel collaboratif, créatif et intuitif de l’IA pour réagir en temps réel avec d’autres créateurs.

  • À l’instar d’un artiste qui bâtit sa personnalité et son style avec et par rapport aux autres, ainsi qu’avec les éléments qui l’entourent, cette IA spécialisée doit pouvoir construire sa propre personnalité artistique.

  • On veut casser l’idée reçue que l’IA est soit maître soit esclave. Ce n’est pas “grâce” ou “à cause” d’elle, mais “avec” elle que la création s’opère.

  • Elle doit être participative à part entière selon ses aptitudes acquises.

ÉBAUCHE DE PROCESSUS

 

Apprentissage machine

Automatisation et séquençage audio
 
Les données audio sont captées par le designer sonore. L’IA intervient déjà à cette étape en facilitant le travail du designer sonore par une série d’automatisations (captation, enregistements de boucles, etc.) qu’elle aura intégrée au fur et à mesure des demandes du designer sonore durant les pratiques préparatoires.

Le designer sonore va moduler les données audios et fabriquer les premières séquences rythmiques de bases qu’il mettra en diffusion immédiate. Puis il va moduler d’autres données entrantes et les déposer dans une banque de données dont l’IA se servira pour établir ses séquences.

Automatisation et séquençage vidéo 

 

De l’autre côté, le processus vidéo est très similaire à l’audio mais la source est captée par une caméra. L’IA intervient en automatisant le repérage de couleur et la découpe de formes ou taches sur la toile.L’IA, à l’aide des algorithmes audio et vidéo, va composer des séquences avec le matériel créé par les deux designers et les agencer selon la trame rythmique de base.

Apprentissage supervisé

et non supervisé

La source et les données
 
La source est la toile et ses capteurs. Les données de départ sont les impulsions et les vibrations émises sur la toile par le peintre percussionniste dans l’élaboration de son oeuvre.


Apprentissage profond de l’IA
 
L’IA doit au préalable apprendre à connaître les réflexes créatifs et intentions artistiques ainsi que le style de chacun des trois artistes et ultimement développer son propre style s’intégrant à l’ensemble.


Le style et les structures musicales
 
L’IA va analyser un grand ensemble de pièces musicales créées par le designer sonore, autant les pièces issues des performances d’Électro-acrylique que ses propres pièces.
Le designer sonore va aussi soumettre des pièces de son choix qui reflètent ses goûts et également ce qui se rapproche de ce que fait Électro-Acrylique.
 
L’IA va analyser la structure compositionelle d’une quantité de pièces musicales que le designer sonore lui aura soumis. Création de réseaux de neurones spécialisés en structures musicales.


Apprenstissage contextuel - Jams sessions
 
L’IA va apprendre à réagir lors de pratiques en composant avec son aquis (via les réseaux de neurones spécialisés) en apprentissage profond et en mode réactif et génératif.

 

 

Mode prédictif

Analyse et réactivité de l’intensité créative
 
L’IA va également analyser les variations d’amplitude de la vélocité percussive du peintre sur la toile pour ajuster l’intensité de la composition musicale et visuelle.


Prédictivité de la structure musicale
 
Avec la somme de données précédentes, l’IA va pouvoir établir ses schémas prédictifs, selon les schémas stylistiques récurrents, ponctuels et/ou globaux, intégrés en apprentissage profond.


Apprentissage et prédictivité de la composition visuelle
 
On suit la même démarche d’apprentissage que l’audio, mais cette fois-ci pour le visuel.
Banque d’images et de textures déterminées par le designer visuel.


Le style pictural
 
L’IA va analyser un ensemble de toiles créées lors des performances d’Électro-Acrylique, mais aussi des détails, des textures et des couleurs de ces toiles.

Mode inter-réactif,
intuitif et collaboratif


Inter-réactivité de l’IA
 
En tout temps, le designer sonore ou visuel peut ajouter ses propres séquences, modifier les paramètres, bref : jouer live!

 

  • L’IA devra les prendre en considération et ajuster l’ensemble.

  • Elle sera aussi influencée par la rythmique et l’amplitude des réactions du peintre sur sa toile.


IA : Un chef d’orchestre intuitif
 
BUT 1 : L’IA devient un quatrième intervenant à la création, mais également la collaboratrice et comparse de chacun des artistes durant l’exécution en direct de l’oeuvre.

 

  • Elle devient aussi une sorte de chef d’un orchestre réactif de musiciens improvisateurs, une metteure en scène de l’ensemble.

  • Elle doit donc réagir et s’adapter en temps réel.


Instinct créatif et esprit participatif.
 
BUT 2 : Permettre à l’IA de développer un instinct créatif d’après son apprentissage.

 

  • Appendre à être en interaction en temps réel avec d’autres artistes.

  • S’intégrer à un ensemble en y apportant son potentiel distinctif, autant executif que créatif.

© 2017 ÉLECTRO-ACRYLIQUE