Le détecteur de mouvements de la télécommande de la Wii peut éventuellement servir à d’autres choses qu’à se tortiller comme un barré devant sa télé en assommant son voisin de canapé : Hubert Wassner, professeur d’informatique, et des étudiants de l’ESIEA (école d’ingénieur parisienne) ont mis au point un système à base de Wiimote et de capteurs infrarouges qui permet à une personne handicapée pour qui l’utilisation d’une souris est impossible, de se servir d’un ordinateur du bout des doigts, même avec une mobilité très réduite.
Le système, comme le montre cette vidéo, peut totalement remplacer une souris, à la fois pour le pilotage, et pour les actions (typiquement cliquer, clic-droit, double-clic, …)
A propos de l'auteur : Eric 
Je suis blogueur, éditeur de contenus numériques et je conseille et accompagne quelques entreprises dans leur développement sur internet.
Voir tous les articles de Eric
Voir tous les articles de Eric
Le Point
32 commentaires pour "Handicap : une Wiimote détournée pour la bonne cause"
1
Jonathan Surinx le 31 juillet 2008 à 08:55
Dans la même lignée : http://www.cs.cmu.edu/~johnny/projects/wii/ pour faire de la 3D, un WhiteBoard etc.. très fort!
2
le_ian le 31 juillet 2008 à 08:55
Désolé mais il est où l’intérêt de la chose s’il faut utiliser ses doigts (comme une vrai souris) ???
Ca me parait encore plus difficile qu’une souris (difficulté de précision)…
3
Aymeric+Jacquet le 31 juillet 2008 à 09:18
Niveau travail sur le handicap, pourquoi pas, par contre les gars se sont quand même directement inspirés des travaux assez hallucinants de Johnny Chung lee.
4
Ulrich le 31 juillet 2008 à 09:36
Superbe application ! Je pense avant tout aux personnes à mobilité très réduite… mais aussi à une application grand public, c’est pour moi le moyen de renouveler na navigation et l’interface homme/machine. Même si ça ne le parait pas pour vous, il est bcp plus intuitif d’utiliser des gestes qu’une souris. Maintenant, ça reste à perfectionner un maximum, mais ce n’est que le début…
5
Serene le 31 juillet 2008 à 10:17
@le_ian :quel autre partie de ton corps voudrait-tu utiliser pour naviguer a ton ecran ? Oo
A part les doigts, je ne vois pas… Ctte application est très utile pour les personnes handicapées qui ne peuvent bouger les bras, mais aussi pour ceux qui sont temporairement invalide, comme une fracture des bras, ou je ne sais quoi. Couplez ce dispositiif à un logiciel de reconnaissance vocale et tout va pour le mieux, vous pilotez votre souris avec l’index et le pouce et vous parlez pour faire comprendre a l’ordinateur ce que vous voulez.
Personnelement, pour avoir a charge une personne handicapée, je trouve ce dispositif très interessant. Après, il faut un certain apprentissage, c’est certain, mais pour toute nouvelle technologie on a besoin d’apprendre !
6
Tony le 31 juillet 2008 à 10:19
Totalement d’accord avec Ulrich. Il faut savoir que manipuler une souris pour une personne étrangère au monde de l’informatique est loin d’être facile/évident (les handicapés mais aussi les personnes âgées par exemple). Ce genre d’application peut donner un sérieux coup de pouce ^^ à ces gens délaissés par l’industrie informatique.
7
le_ian le 31 juillet 2008 à 10:33
Effectivement, le fait de ne bouger que les doigts apporte un plus, j’avais oublié qu’une souris impose le mouvement du poignet et un peu du bras
Serene > il existe des technologies (en cours de développement) basé sur les yeux/le cerveau
8
chloons le 31 juillet 2008 à 10:37
Pour avoir fait un peu joujou avec les ressources du projet de Johnny Chung Lee (Cf @Jonathan Surinx), ça fonctionne assez bien et dire que l’on est au balbutiement …
Je n’avais pas connaissance d’une mise en application dans le domaine de l’handicap, il fallait y penser ! Quand on voit ce que coûte les recherches pour leur améliorer l’accès à l’information ; l’infrastructure de la Wii est du pain béni – pas cher et bien démocratisée – elle a de l’avenir la petite boite blanche
Merci de l’info
9
MathieuR le 31 juillet 2008 à 10:48
Bonjour à tous !
Je suis l’un des concepteurs de ce produit. Quelques précisions à apporter.
Ce projet est en cours de développement avec l’AFM et l’ESIEA (mon école).
Les particularités de ce projet et ses points forts sont les suivants :
- Dispositif de pointage de souris SANS FORCE. Très utile dans le domaine du handicap où nous sommes dans des problématiques de poids, de force et de fatigue.
- Sans usure car pas de contact.
- Contrairement aux autres produits du marché (en tout cas à notre connaissance) notre logiciel s’adapte aux besoins des personnes à mobilité réduite et non le contraire. L’utilisateur choisit les gestes qu’il veut, ou qu’il peut faire. Par la suite, en fonction de cette reconnaissance de geste, il a la possibilité de choisir une action à effectuer (ex : Click, double click, contrôle d’environnement, …)
- Précision sur le tremblement : un utilisateur lambda (sans handicap) est beaucoup moins précis qu’une personne à mobilité réduite. Nous avons pu essayer le produit avec quelques personnes souffrant de ce handicap et leur précision était bien meilleure que la nôtre.
Une adresse où vous pouvez suivre l’évolution du projet :
http://professeurs.esiea.fr/wassner/
10
Hubert Wassner le 31 juillet 2008 à 11:04
Pour apporter quelques précisions:
- le fait de ne bouger que les doigts est très important , nombre de handicaps font qu’une souris (ou n’importe quel appareil) est trop lourd et demande trop de force ou de mobilité à être utilisé.
- les personnes avec ce type de handicap font alors appel à des capteurs à très faible force, mais ils sont très cher, et ne propose que peu d’actions différentes.
Là on peut avoir le nombre d’action qu’on veut (il suffit d’inventer un geste correspondant),
et le coût matériel c’est 40 E (1 wiimote), clairement dans le domaine du matériel pour handicapé c’est donné !!
- autre point, évidement Johnny lee chung, est le premier à avoir pensé à détourné la wiimote. Mais d’un point de vue ingénieurie logicielle il n’est pas allé très loin, au mieux ce qu’il fait c’est des interpolations linéaires (et ca rend déjà pas mal!). On est allé un peu plus loin en utilisant une technique de reseau neuronaux (un poil plus compliqué) pour faire de la reconnaissance de gestes. Ce qui n’est pas visible dans cette vidéo c’est que les gestes peuvent être n’importe quoi
(grand petit, lent rapide, …) et la configuration est très rapide à faire (qq minutes), il suffit de répéter le geste une dizaine de fois.
En fouilliant un peu sur mon blog vous verrez qu’on faut aussi plein d’autres choses amusantes …
En tout cas merci de nous avoir mis en avant sur votre blog.
11
le_ian le 31 juillet 2008 à 11:24
On ne peut que vous encourager à poursuivre ce jolie projet
12
Vvv le 31 juillet 2008 à 12:10
Il existe également CamSpace de la société Cam-Trax qui propose gratuitement son logiciel pour « tracker » les mouvements de n’importe quoi, y compris les doigts. C’est à la base destiné aux jeux, mais pour avoir tester leur produit, il marche impeccablement bien et pourrait aussi servir dans le domaine évoqué ici. Il ne nécessite qu’une webcam, c’est tout…
Ici ça nécessite une Wiimote (40 € ça reste raisonnable) mais aussi des LED infrarouge et pas de sources lumineuse trop intense à proximité (oui j’ai déja testé tous les projets de Johnny lee chung).
Maintenant si ce projet est plus précis cela peut être intéressant pour les personnes à mobilité réduite.
13
Hubert Wassner le 31 juillet 2008 à 12:28
Notez que les solution type « cam-trax » ne font que du tracking ! C’est balaise et ce qu’il font est étonnant, mais ca ne sert qu’à controler un pointeur (typiquement un pointeur souris ou un personnage dans un jeux vidéo).
C’est à dire reproduire une information réelle (la position d’un objet) dans un monde virtuel.
Or dans une interaction avec un ordinateur il n’y a pas que le fait de pointer, il faut aussi donner des « ordres » (cliquer, double cliquer, clic droit, copier, coller, effacer, etc…)
Et c’est là où ça se complique, la solution cam-trax ne vous sera d’aucune utilité pour faire cela. Il faut un module de reconnaissance de geste : c’est ce qui est la spécifité de notre produit.
Pour mieux comprendre l’idée voyez les 2 vidéo du système de reconnaissance de geste utilisant des données d’accéléromètres (au lieux de l’information infra-rouge)
http://professeurs.esiea.fr/wa.....-mouvement
Pour ce qui est de la source infra-rouge c’est vraiment pas coûteur (qq centimes par led)
14
curul le 31 juillet 2008 à 13:46
Moi je salut la performance , c’est du beau boulot et dites vous bien que personne , ni vous ni moi n’est a l’abri d’un handicape , alors il faut encourager ce genre d’initiative !
15
Serene le 31 juillet 2008 à 14:10
« Serene > il existe des technologies (en cours de développement) basé sur les yeux/le cerveau »
@i_ian: ha oui je n’y avait pas pensé, mais bon ca cela m’a l’air quand meem beaucoup plus complexe.
16
Sidh le 31 juillet 2008 à 14:35
Très beau boulot. C’est une belle avancée je pense.
17
Hubert+Wassner le 31 juillet 2008 à 15:11
@serene : l’extraction de paramètres d’ »eye tracking « est plus complexe, mais après pour la reconnaissance de geste c’est pas bien plus compliqué.
On fera certainement cette adaptation de reconnaissance de geste à la rentrée …
En attendant on a aussi déjà un système de commande visuelle (« eye tracking ») crée par de nos étudiants voyez ici :
http://professeurs.esiea.fr/wa.....e-tracking
18
Artraxus le 31 juillet 2008 à 17:44
Ce projet est un très bel effort pour aider les personnes ayant une mobilité très réduite.
Mais il permet simplement de déplacer le curseur et de cliquer. Ce qui n’est pas suffisant pour rédiger un texte, écrire une URL etc.
Je pense donc que ce projet serait idéal s’il était couplé avec un clavier virtuel (je pense au CVK => http://cvk.fr) afin de vraiment pouvoir contrôler son PC et faire plus que du simple clic.
19
Hubert+Wassner le 31 juillet 2008 à 18:00
Oui, très bonne remarque.
Il se trouve que le CVK est projet d’In’tech Info, école du groupe ESIEA pour lequel je travaille.
Nous avons bel et bien en projet, dès la rentrée, d’associer ces technologies pour être capable de fournir une plateforme d’accessibilitée utlra flexible.
20
HooK le 31 juillet 2008 à 18:57
Sur le blog du professeur et sur la home page de l’école, c’est bien beau de faire la morale sur le plagiat… A bon entendeur… cf : Johnny Chung lee
21
Hubert+Wassner le 31 juillet 2008 à 19:17
@Hook : Je ne comprend pas, il n’est pas question de plagiat…
On utilise nos propres codes (qui sur certain point cvont bien plus loin), et on ne renie pas l’origine de l’idée du detournement, on l’a même cité dans cet échange de commentaires…
22
HooK le 31 juillet 2008 à 21:12
Je suis bien d’accord dans ce billet le nom du créateur original est bien présent, je parle seulement du site du professeur ou le plagiat est considéré comme un crime (bien que je sois d’accord…)et que en plus de l’idée le dispositif infrarouge d’amplification est clairement le même. Cependant je ne crique pas votre travail et le but final c’est juste que c’est pas sympa de faire la moral au étudiants (sur la même page) et ne pas utiliser des méthodes de références/sources comme le « Harvard Referencing » utilisée dans les Facultés européennes. (enfin la mienne au pays de Galles)
23
Alex le 31 juillet 2008 à 23:10
j’ai trouvé l’aboutissement de ce projet réussi, hélas dès qu’il y a des avancées, y en a qui critique, et ne reconnaisse même pas le boulot effectué derrière.
Je suis assez curieux sur la démarche que vous avez faites.
Bon courage.
http://www.bim-manners.com
24
Hubert+Wassner le 1 août 2008 à 00:17
@Hook : sur le fond vous avez raison. Maintenant ce n’est pas un article dans « science » ou « nature » c’est un article de blog. L’objectif est d’être concis. Sur le blog je parle aussi d’IAlive l’entreprise qui fait de la reconnaissance de mouvement,
et il y aurait encore plein d’autres gens à citer à ce niveau.
25
Arnaud Gautelier le 2 août 2008 à 10:03
Bonjour,
Pour moi, sans intérêt pour les personnes en situation de handicap.
Quand les parties supérieurs du corps sont touchées par un handicap (les mains), que ce soit la souris ou ce truc « technologique », ça n’a pas d’intérêt ! Il faut quand même utiliser sa main !
Pour moi, les vraies avancées technologiques pour le handicap (moteur ou visuel) est « la reconnaissance vocale »…
Bien à vous,
Arnaud
Association Notre Sclérose
26
Hubert+Wassner le 2 août 2008 à 13:34
@Arnaud : une partie de ce travail à été fait avec l’AFM (Association Française contre la Myopathie, « le téléthon » c’est eux).
Ce travail à donc été aussi en partie conseillé par des personnes handicapés.
Voir cette vidéo :
http://professeurs.esiea.fr/wa.....5-wii-help
De même nous avons présenté un prototype au salon « autonomic » :
http://professeurs.esiea.fr/wa.....-autonomic
Nous avons eu des tonnes de retour extrèmement positif…
Doncje pense que ce système pourra aider un certain nombre de personnes handicapés.
Maintenant il y aura certainement
des gens pour qui ce ne sera pas adapté… Vu votre remarque et votre site web j’imagine qu’en cas de handicap du à la sclérose ça ne doit pas être utile…
Mais là aussi il faut y regarder à 2 fois car notre système peut utiliser n’importe quelle partie mobile du corps par forcément la main. Puisque notre système apprend à reconnaitre les commandes de l’utilisateur,
il est donc étonnement adaptable…
27
Aisne Numérique le 4 août 2008 à 18:26
C’est une bonne chose que l’homme puisse communiquer avec autre chose qu’une souris (un mouvement si peu naturel).
28
Cyril le 11 août 2008 à 03:41
Bonjour et bravo pour votre beau boulot qui est avant tout à féliciter.
Pour ma part, ma mère (ancienne prof en informatique par ailleurs, donc habituée) fut récemment atteinte par une SLA (une sclérose) et a vu tout ses membres se paralliser peu à peu. Au niveau des interfaces pour l’informatique, on a testé le tracking dont vous avez parlé dans les commentaires, mais cette solution est inadaptée à ce genre de maladie : lever simplement un doigt(ou deux, dans votre cas) se révèle extrèmement fatigant. La solution que l’on a finalement adoptée est tout bêtement une souris petite et légère (et vraiment pas chère, contrairement à tout le matériel adapté aux handicapés, qui plus est dans l’informatique) avec la sensibilité au maximum : le déplacement du curseur se fait donc avec un très léger mouvement de la main, et le clic grâce à un logiciel qui clique automatiquement lorsque le curseur reste arrêté pendant un certain temps. Elle utilise aussi un clavier virtuel avec un système qui « devine » les mots avec les premières lettres (un peu comme le t9 des portables mais en plus sophistiqué)
Cette solution lui permet de dialoguer par mail alors qu’elle peut à peine parler, ce qui est quand même, je trouve, un bel exemple de l’utilisation des nouvelles technologies pour les personnes handicapées.
Votre système à des gros avantages par rapport au tracking qu’on trouve actuellement sur le marché (notamment le prix et la possibilité de faire certaines actions comme le clic), mais n’est pas encore adapté à tout les handicaps. Il nous montre tout de même que les nouvelles technologies actuelles ont un énorme potentiel dans le « marché » (j’aime pas appeler cela un marché, mais ç’en est pourtant un, juteux qui plus est) du matériel adapté aux handicapés où les prix sont pour la plupart extrèmement prohibitifs (saviez-vous qu’un fauteuil électrique coutait bien plus cher qu’une voiture ?)
Merci pour votre travail qui fait un peu avancer les choses
29
Masiwaka le 26 octobre 2008 à 04:48
Je suis une personne handicapée atteint d’une myopathie de Duchenne et je peux vous dire que ce projet me redonne espoir… Ma maladie est évolutive et bientôt comme mes deux mains se rétractent de plus en plus je ne vais donc plus du tout pouvoir me servir d »une simple souris et du clavier… J’aime jouer sur l’ordinateur à des MMORPG, et bien hélas ce n’est plus possible d’y jouer…Pourtant ce n’est pas faute d’avoir persisté mais suis vite fait épuisé et puis quand je joue en multijoueur dans un groupe on m’engueule bien souvent parce que je suis trop lent du coup je retarde tout le groupe… (lUn vrai boulet quoi)… j’ai aussi une xbox 360 Pareil je suis fan de foot je jouais à pro évolution soccer et Fifa et la j’arrive plus à me diriger et pour appuyer sur les boutons j’en parle pas… Cela serai bien par l’intermédiaire de la Voix diriger ton personne dans un jeu… de courir, de sauter, de tirer… pourquoi pas les deux en même temps la voix et le capteur de mouvement…
Si c’est possible être une personne handicapée cela ne sera plus un cauchemar …
30
Masiwaka le 26 octobre 2008 à 19:07
Bonjour,
Après une bonne nuit de sommeil j’ai réfléchi à votre projet pour ceux comme moi qui ne pourront plus se servir de leurs mains… Et bien il suffirait d’un simple casque baladeur (pas un casque de vélo cela serai beaucoup trop lourd et pas pratique pour ceux qui on un repose tête lol)ou l’on fixerai au milieu de ce qui sert de serre-tête un socle dans lequel on pourrait insérer la wiimote et l’on pourrait y ajouter également un micro pour commande vocal pour les jeux cela serai pas mal… car un moment ou un autre, dans jeu, ou autre, tu dois toujours appuyer sur un bouton et donc grâce à la commande vocal cela ne serai plus un problème ! Vraiment il faut lier les deux je penses… le capteur de mouvement est pratique pour naviguer sur le net ou naviguer dans un logiciel, ou pour se diriger dans un jeu… Mais par contre pour cliquer c’est une autre histoire…
31
Hubert le 27 octobre 2008 à 11:08
(@Masiwaka) Bonjour,
Notre système « sans force » vise exactement ce handicap. L’analyse du « problème du clic » est assez bonne, en effet il est compliqué de donner une information de « clic » avec la même commande que le déplacement car les deux informations peuvent se mélanger et du coup cliquer au mauvais endroit…
Pour une utilisation classique d’un ordi, c’est encore fonctionnel, mais dans le contexte de jeux vidéo (rapidité et précision) là il faudrait adapter le système pour par exemple gèrer la souris d’une main et le clic de l’autre, comme dans cette vidéo :
http://professeurs.esiea.fr/wa.....-autonomic
Il y a un prototype installé à l’AFM (au DRAC plus exactement), si vous avez possibilité de vous déplacer là bas, vos pourrez essayer le système.
32
handi75 le 18 octobre 2010 à 00:42
Bonsoir,
je trouve cette avancée technologique juste énorme pour les personnes handicapées. C’est un immense bon en avant qui permettra à certains de naviguer sur le web.
Je me permets justement de parler de mon site internet dédiée aux personnes handicapées, mais PAS UNIQUEMENT !
c’est un site de rencontre car pour beaucoup la solitude est un quotidien.
voila le lien
http://www.rencontrehandicapes.com
http://www.rencontre-handicape.com
en espérant que cela servira à certains
bonne soirée tout le monde