Atelier IA et hybridation [Piloter]

Atelier 3 : [Piloter] 
Créer des boucles interactives et piloter l’IA en temps réel avec TouchDesigner

Cet atelier est le niveau “chef d’orchestre”.
Les participant·es apprendront à utiliser TouchDesigner comme centre nerveux d’un setup hybride : pilotage de Resolume, analyse audio, génération d’images en direct via l’API de ComfyUI, et envoi automatique dans votre mix vidéo.

L’objectif est de créer un pipe “Prompt → Image → VJ” fonctionnel, en temps réel.

Déroulé (2h30)

• Le Hub (45 min) :
  • Prise en main de TouchDesigner (version gratuite).
  • Création d’une interface de contrôle (sliders, boutons).
  • Analyse audio (FFT, BPM).
• Pipe 1 : Le Contrôle (45 min) :
  • Connexion TouchDesigner → Resolume via OSC.
  • Pilotage des effets et du mix via analyse audio TD.
• Pipe 2 : La Génération (75 min) :
  • Ajout d’un champ “Prompt” dans TouchDesigner.
  • Connexion à l’API de ComfyUI (workflow txt2img rapide fourni).
  • Génération d’images en direct (explication des limites de la génération vidéo en live).
  • Envoi automatique à Resolume via Spout/NDI.
• Conclusion (15 min) : Visualisation en live dans Resolume ; ouverture sur le “vrai” temps réel (StreamDiffusion).

Matériel requis pour les participant·es :

• Ordinateur portable (Windows recommandé ; Mac possible).
• TouchDesigner Non-Commercial (gratuit).
• Resolume Arena (démo).
• ComfyUI pré-installé.