Kagura : faire de la musique sans rien toucher

Kagura est le nom d’une danse Shintô traditionnelle chantée. C’est aussi celui que la start-up japonaise Shikumi Design a donné à son logiciel de création musicale. Sa particularité ? L’absence de contact physique avec un instrument. ​

 

Kagura
La musique sans contact La musique sans contact La musique sans contact

 

Les instruments sans contact

Ce n’est pas la première fois qu’un instrument de musique basé sur un tel concept voit le jour. Le plus fameux, le Thérémine, est inventé en 1919 par le russe Lev Sergueïevitch Termen. Il transforme les déplacements des mains entre 2 antennes en sons. Par la suite, d’autres utiliseront des jets d’airs comprimés, d’eau, des faisceaux lumineux, voir des lasers, pour interagir avec l’utilisateur et créer de la musique.

Malheureusement, le succès de ces quelques tentatives a été jusqu’à présent limité ou éphémère pour différentes raisons : utilisation contraignante et fatigante, prix élevé, car production artisanale, ressources électriques importantes nécessaires compliquant utilisation et transport… Ainsi la plupart de ces instruments de musique sont restés confidentiels ou n’ont jamais dépassé le stade de prototype expérimental…

La nouveauté de Kagura

Kagura, nouveau challenger, transforme les gestes physiques de l’utilisateur en data, en données numériques, avant de faire à nouveau appel aux lois de la physique grâce aux vibrations sonores pour produire la musique.

Il utilise les interfaces d’un micro-ordinateur (WebCam, microphone et haut-parleurs…) pour « communiquer » avec l’extérieur. Non seulement pour restituer la musique, mais également pour la créer en analysant et en interprétant les gestes de l’utilisateur. Ce dernier voit sur l’écran les différents « instruments » et outils à sa disposition. Il y voit aussi les déplacements de ses mains, capturés par la caméra de l’ordinateur. Il lui suffit de les bouger pour les faire entrer en contact « virtuel » avec les instruments présents à l’écran, et entendre les sons produits.

La musique produite n’est donc pas « jouée » dans le sens où l’utilisateur ne tient rien en main ni n’exerce d’action ou de pression sur un instrument ou un objet, contrairement aux interfaces des consoles de jeux (Kinect, Wiimote ou Move). Il ne touche pas de matière pour jouer sa musique. Il se contente de créer des « signaux », sous la forme de gestes effectués à distance devant la machine, qui seront détectés, analysés, interprétés et transformés en sons et mélodies par le logiciel.

Pour les amateurs de technique

La magie s’opère avec l’aide d’une technologie développée par Intel portant le nom de « RealSense » (et initialement appelé « Perceptual Computing »). On trouve quelques modèles de PC équipés de WebCam compatible RealSense dans la gamme des fabricants HP, Dell et Lenovo. Il est toutefois possible d’utiliser le logiciel avec un ordinateur doté d’une WebCam standard plutôt que la version RealSense. Mais on perd alors une partie des fonctions de Kagura. Notamment, l’interface graphique utilisateur qui simule une surface liquide pour indiquer la distance à partir de laquelle en approchant sa main, l’on pourra modifier à distance les paramètres principaux du logiciel (tempo, enregistrement de sa voix à 22 kHz comme « sample », ajout ou suppression d’instruments virtuels à l’écran…).

L’application Kagura ne reconnait que 2 mains. Il est donc préférable de s’en servir seul ou avec une autre personne; chacun ne se servant que de l’une de ses mains. L’application est développée en C++ pour les fonctions de bases (contrôle des interfaces Entrée/Sortie, traitement graphique et sonore…etc). La gestion des graphismes et des sons, les animations, les effets visuels et l’interactivité avec l’utilisateur sont codés en Lua, un langage de scripts évolué. L’affichage est géré par Open GL.

Kagura existe en version PC et Mac. Shikumi Design compte proposer des Sound Sets gratuits et payants, ajoutant de nouveaux instruments de musique, et des fonctions professionnelles. Instrument « démocratique », il est gratuit, simple d’utilisation et fonctionne à l’aide d’un appareil, l’ordinateur, que l’on trouve dans la plupart des foyers. Une version iOS et Android pour Smartphones est en cours de développement.