Connect with us

Internet

Handicap : une Wiimote détournée pour la bonne cause

Il y a

le

Le détecteur de mouvements de la télécommande de la Wii peut éventuellement servir à d’autres choses qu’à se tortiller comme un barré devant sa télé en assommant son voisin de canapé : Hubert Wassner, professeur d’informatique, et des étudiants de l’ESIEA (école d’ingénieur parisienne) ont mis au point un système à base de Wiimote et de capteurs infrarouges qui permet à une personne handicapée pour qui l’utilisation d’une souris est impossible, de se servir d’un ordinateur du bout des doigts, même avec une mobilité très réduite.

Le système, comme le montre cette vidéo, peut totalement remplacer une souris, à la fois pour le pilotage, et pour les actions (typiquement cliquer, clic-droit, double-clic, …)

Source

32 Commentaires

32 Commentaires

  1. Jonathan Surinx

    31 juillet 2008 at 8 h 55 min

    Dans la même lignée : http://www.cs.cmu.edu/~johnny/projects/wii/ pour faire de la 3D, un WhiteBoard etc.. très fort! 🙂

  2. le_ian

    31 juillet 2008 at 8 h 55 min

    Désolé mais il est où l’intérêt de la chose s’il faut utiliser ses doigts (comme une vrai souris) ???
    Ca me parait encore plus difficile qu’une souris (difficulté de précision)…

  3. Aymeric+Jacquet

    31 juillet 2008 at 9 h 18 min

    Niveau travail sur le handicap, pourquoi pas, par contre les gars se sont quand même directement inspirés des travaux assez hallucinants de Johnny Chung lee.

  4. Ulrich

    31 juillet 2008 at 9 h 36 min

    Superbe application ! Je pense avant tout aux personnes à mobilité très réduite… mais aussi à une application grand public, c’est pour moi le moyen de renouveler na navigation et l’interface homme/machine. Même si ça ne le parait pas pour vous, il est bcp plus intuitif d’utiliser des gestes qu’une souris. Maintenant, ça reste à perfectionner un maximum, mais ce n’est que le début… 😉

  5. Serene

    31 juillet 2008 at 10 h 17 min

    @le_ian :quel autre partie de ton corps voudrait-tu utiliser pour naviguer a ton ecran ? Oo
    A part les doigts, je ne vois pas… Ctte application est très utile pour les personnes handicapées qui ne peuvent bouger les bras, mais aussi pour ceux qui sont temporairement invalide, comme une fracture des bras, ou je ne sais quoi. Couplez ce dispositiif à un logiciel de reconnaissance vocale et tout va pour le mieux, vous pilotez votre souris avec l’index et le pouce et vous parlez pour faire comprendre a l’ordinateur ce que vous voulez.
    Personnelement, pour avoir a charge une personne handicapée, je trouve ce dispositif très interessant. Après, il faut un certain apprentissage, c’est certain, mais pour toute nouvelle technologie on a besoin d’apprendre !

  6. Tony

    31 juillet 2008 at 10 h 19 min

    Totalement d’accord avec Ulrich. Il faut savoir que manipuler une souris pour une personne étrangère au monde de l’informatique est loin d’être facile/évident (les handicapés mais aussi les personnes âgées par exemple). Ce genre d’application peut donner un sérieux coup de pouce ^^ à ces gens délaissés par l’industrie informatique.

  7. le_ian

    31 juillet 2008 at 10 h 33 min

    Effectivement, le fait de ne bouger que les doigts apporte un plus, j’avais oublié qu’une souris impose le mouvement du poignet et un peu du bras 🙂

    Serene > il existe des technologies (en cours de développement) basé sur les yeux/le cerveau

  8. chloons

    31 juillet 2008 at 10 h 37 min

    Pour avoir fait un peu joujou avec les ressources du projet de Johnny Chung Lee (Cf @Jonathan Surinx), ça fonctionne assez bien et dire que l’on est au balbutiement …

    Je n’avais pas connaissance d’une mise en application dans le domaine de l’handicap, il fallait y penser ! Quand on voit ce que coûte les recherches pour leur améliorer l’accès à l’information ; l’infrastructure de la Wii est du pain béni – pas cher et bien démocratisée – elle a de l’avenir la petite boite blanche
    Merci de l’info

  9. MathieuR

    31 juillet 2008 at 10 h 48 min

    Bonjour à tous !
    Je suis l’un des concepteurs de ce produit. Quelques précisions à apporter.
    Ce projet est en cours de développement avec l’AFM et l’ESIEA (mon école).
    Les particularités de ce projet et ses points forts sont les suivants :
    – Dispositif de pointage de souris SANS FORCE. Très utile dans le domaine du handicap où nous sommes dans des problématiques de poids, de force et de fatigue.
    – Sans usure car pas de contact.
    – Contrairement aux autres produits du marché (en tout cas à notre connaissance) notre logiciel s’adapte aux besoins des personnes à mobilité réduite et non le contraire. L’utilisateur choisit les gestes qu’il veut, ou qu’il peut faire. Par la suite, en fonction de cette reconnaissance de geste, il a la possibilité de choisir une action à effectuer (ex : Click, double click, contrôle d’environnement, …)
    – Précision sur le tremblement : un utilisateur lambda (sans handicap) est beaucoup moins précis qu’une personne à mobilité réduite. Nous avons pu essayer le produit avec quelques personnes souffrant de ce handicap et leur précision était bien meilleure que la nôtre.

    Une adresse où vous pouvez suivre l’évolution du projet :
    http://professeurs.esiea.fr/wassner/

  10. Hubert Wassner

    31 juillet 2008 at 11 h 04 min

    Pour apporter quelques précisions:

    – le fait de ne bouger que les doigts est très important , nombre de handicaps font qu’une souris (ou n’importe quel appareil) est trop lourd et demande trop de force ou de mobilité à être utilisé.

    – les personnes avec ce type de handicap font alors appel à des capteurs à très faible force, mais ils sont très cher, et ne propose que peu d’actions différentes.
    Là on peut avoir le nombre d’action qu’on veut (il suffit d’inventer un geste correspondant),
    et le coût matériel c’est 40 E (1 wiimote), clairement dans le domaine du matériel pour handicapé c’est donné !!

    – autre point, évidement Johnny lee chung, est le premier à avoir pensé à détourné la wiimote. Mais d’un point de vue ingénieurie logicielle il n’est pas allé très loin, au mieux ce qu’il fait c’est des interpolations linéaires (et ca rend déjà pas mal!). On est allé un peu plus loin en utilisant une technique de reseau neuronaux (un poil plus compliqué) pour faire de la reconnaissance de gestes. Ce qui n’est pas visible dans cette vidéo c’est que les gestes peuvent être n’importe quoi
    (grand petit, lent rapide, …) et la configuration est très rapide à faire (qq minutes), il suffit de répéter le geste une dizaine de fois.

    En fouilliant un peu sur mon blog vous verrez qu’on faut aussi plein d’autres choses amusantes …

    En tout cas merci de nous avoir mis en avant sur votre blog.

  11. le_ian

    31 juillet 2008 at 11 h 24 min

    On ne peut que vous encourager à poursuivre ce jolie projet 😉

  12. Vvv

    31 juillet 2008 at 12 h 10 min

    Il existe également CamSpace de la société Cam-Trax qui propose gratuitement son logiciel pour « tracker » les mouvements de n’importe quoi, y compris les doigts. C’est à la base destiné aux jeux, mais pour avoir tester leur produit, il marche impeccablement bien et pourrait aussi servir dans le domaine évoqué ici. Il ne nécessite qu’une webcam, c’est tout…
    Ici ça nécessite une Wiimote (40 € ça reste raisonnable) mais aussi des LED infrarouge et pas de sources lumineuse trop intense à proximité (oui j’ai déja testé tous les projets de Johnny lee chung).
    Maintenant si ce projet est plus précis cela peut être intéressant pour les personnes à mobilité réduite.

  13. Hubert Wassner

    31 juillet 2008 at 12 h 28 min

    Notez que les solution type « cam-trax » ne font que du tracking ! C’est balaise et ce qu’il font est étonnant, mais ca ne sert qu’à controler un pointeur (typiquement un pointeur souris ou un personnage dans un jeux vidéo).
    C’est à dire reproduire une information réelle (la position d’un objet) dans un monde virtuel.

    Or dans une interaction avec un ordinateur il n’y a pas que le fait de pointer, il faut aussi donner des « ordres » (cliquer, double cliquer, clic droit, copier, coller, effacer, etc…)

    Et c’est là où ça se complique, la solution cam-trax ne vous sera d’aucune utilité pour faire cela. Il faut un module de reconnaissance de geste : c’est ce qui est la spécifité de notre produit.

    Pour mieux comprendre l’idée voyez les 2 vidéo du système de reconnaissance de geste utilisant des données d’accéléromètres (au lieux de l’information infra-rouge)

    http://professeurs.esiea.fr/wassner/?2008/02/01/119-reconnaissance-de-mouvement

    Pour ce qui est de la source infra-rouge c’est vraiment pas coûteur (qq centimes par led)

  14. curul

    31 juillet 2008 at 13 h 46 min

    Moi je salut la performance , c’est du beau boulot et dites vous bien que personne , ni vous ni moi n’est a l’abri d’un handicape , alors il faut encourager ce genre d’initiative !

  15. Serene

    31 juillet 2008 at 14 h 10 min

    « Serene > il existe des technologies (en cours de développement) basé sur les yeux/le cerveau »

    @i_ian: ha oui je n’y avait pas pensé, mais bon ca cela m’a l’air quand meem beaucoup plus complexe.

  16. Sidh

    31 juillet 2008 at 14 h 35 min

    Très beau boulot. C’est une belle avancée je pense.

  17. Hubert+Wassner

    31 juillet 2008 at 15 h 11 min

    @serene : l’extraction de paramètres d' »eye tracking « est plus complexe, mais après pour la reconnaissance de geste c’est pas bien plus compliqué.

    On fera certainement cette adaptation de reconnaissance de geste à la rentrée …

    En attendant on a aussi déjà un système de commande visuelle (« eye tracking ») crée par de nos étudiants voyez ici :

    http://professeurs.esiea.fr/wassner/?2008/06/05/150-dmo-d-eye-tracking

  18. Artraxus

    31 juillet 2008 at 17 h 44 min

    Ce projet est un très bel effort pour aider les personnes ayant une mobilité très réduite.

    Mais il permet simplement de déplacer le curseur et de cliquer. Ce qui n’est pas suffisant pour rédiger un texte, écrire une URL etc.

    Je pense donc que ce projet serait idéal s’il était couplé avec un clavier virtuel (je pense au CVK => http://cvk.fr) afin de vraiment pouvoir contrôler son PC et faire plus que du simple clic.

  19. Hubert+Wassner

    31 juillet 2008 at 18 h 00 min

    Oui, très bonne remarque.

    Il se trouve que le CVK est projet d’In’tech Info, école du groupe ESIEA pour lequel je travaille.

    Nous avons bel et bien en projet, dès la rentrée, d’associer ces technologies pour être capable de fournir une plateforme d’accessibilitée utlra flexible.

  20. HooK

    31 juillet 2008 at 18 h 57 min

    Sur le blog du professeur et sur la home page de l’école, c’est bien beau de faire la morale sur le plagiat… A bon entendeur… cf : Johnny Chung lee

  21. Hubert+Wassner

    31 juillet 2008 at 19 h 17 min

    @Hook : Je ne comprend pas, il n’est pas question de plagiat…
    On utilise nos propres codes (qui sur certain point cvont bien plus loin), et on ne renie pas l’origine de l’idée du detournement, on l’a même cité dans cet échange de commentaires…

  22. HooK

    31 juillet 2008 at 21 h 12 min

    Je suis bien d’accord dans ce billet le nom du créateur original est bien présent, je parle seulement du site du professeur ou le plagiat est considéré comme un crime (bien que je sois d’accord…)et que en plus de l’idée le dispositif infrarouge d’amplification est clairement le même. Cependant je ne crique pas votre travail et le but final c’est juste que c’est pas sympa de faire la moral au étudiants (sur la même page) et ne pas utiliser des méthodes de références/sources comme le « Harvard Referencing » utilisée dans les Facultés européennes. (enfin la mienne au pays de Galles)

  23. Alex

    31 juillet 2008 at 23 h 10 min

    j’ai trouvé l’aboutissement de ce projet réussi, hélas dès qu’il y a des avancées, y en a qui critique, et ne reconnaisse même pas le boulot effectué derrière.
    Je suis assez curieux sur la démarche que vous avez faites.
    Bon courage.

    http://www.bim-manners.com

  24. Hubert+Wassner

    1 août 2008 at 0 h 17 min

    @Hook : sur le fond vous avez raison. Maintenant ce n’est pas un article dans « science » ou « nature » c’est un article de blog. L’objectif est d’être concis. Sur le blog je parle aussi d’IAlive l’entreprise qui fait de la reconnaissance de mouvement,
    et il y aurait encore plein d’autres gens à citer à ce niveau.

  25. Arnaud Gautelier

    2 août 2008 at 10 h 03 min

    Bonjour,
    Pour moi, sans intérêt pour les personnes en situation de handicap.
    Quand les parties supérieurs du corps sont touchées par un handicap (les mains), que ce soit la souris ou ce truc « technologique », ça n’a pas d’intérêt ! Il faut quand même utiliser sa main !
    Pour moi, les vraies avancées technologiques pour le handicap (moteur ou visuel) est « la reconnaissance vocale »…
    Bien à vous,

    Arnaud
    Association Notre Sclérose

  26. Hubert+Wassner

    2 août 2008 at 13 h 34 min

    @Arnaud : une partie de ce travail à été fait avec l’AFM (Association Française contre la Myopathie, « le téléthon » c’est eux).
    Ce travail à donc été aussi en partie conseillé par des personnes handicapés.
    Voir cette vidéo :
    http://professeurs.esiea.fr/wassner/?2008/05/02/135-wii-help

    De même nous avons présenté un prototype au salon « autonomic » :
    http://professeurs.esiea.fr/wassner/?2008/06/13/154-salon-autonomic

    Nous avons eu des tonnes de retour extrèmement positif…

    Doncje pense que ce système pourra aider un certain nombre de personnes handicapés.

    Maintenant il y aura certainement
    des gens pour qui ce ne sera pas adapté… Vu votre remarque et votre site web j’imagine qu’en cas de handicap du à la sclérose ça ne doit pas être utile…

    Mais là aussi il faut y regarder à 2 fois car notre système peut utiliser n’importe quelle partie mobile du corps par forcément la main. Puisque notre système apprend à reconnaitre les commandes de l’utilisateur,
    il est donc étonnement adaptable…

  27. Aisne Numérique

    4 août 2008 at 18 h 26 min

    C’est une bonne chose que l’homme puisse communiquer avec autre chose qu’une souris (un mouvement si peu naturel).

  28. Cyril

    11 août 2008 at 3 h 41 min

    Bonjour et bravo pour votre beau boulot qui est avant tout à féliciter.

    Pour ma part, ma mère (ancienne prof en informatique par ailleurs, donc habituée) fut récemment atteinte par une SLA (une sclérose) et a vu tout ses membres se paralliser peu à peu. Au niveau des interfaces pour l’informatique, on a testé le tracking dont vous avez parlé dans les commentaires, mais cette solution est inadaptée à ce genre de maladie : lever simplement un doigt(ou deux, dans votre cas) se révèle extrèmement fatigant. La solution que l’on a finalement adoptée est tout bêtement une souris petite et légère (et vraiment pas chère, contrairement à tout le matériel adapté aux handicapés, qui plus est dans l’informatique) avec la sensibilité au maximum : le déplacement du curseur se fait donc avec un très léger mouvement de la main, et le clic grâce à un logiciel qui clique automatiquement lorsque le curseur reste arrêté pendant un certain temps. Elle utilise aussi un clavier virtuel avec un système qui « devine » les mots avec les premières lettres (un peu comme le t9 des portables mais en plus sophistiqué)
    Cette solution lui permet de dialoguer par mail alors qu’elle peut à peine parler, ce qui est quand même, je trouve, un bel exemple de l’utilisation des nouvelles technologies pour les personnes handicapées.

    Votre système à des gros avantages par rapport au tracking qu’on trouve actuellement sur le marché (notamment le prix et la possibilité de faire certaines actions comme le clic), mais n’est pas encore adapté à tout les handicaps. Il nous montre tout de même que les nouvelles technologies actuelles ont un énorme potentiel dans le « marché » (j’aime pas appeler cela un marché, mais ç’en est pourtant un, juteux qui plus est) du matériel adapté aux handicapés où les prix sont pour la plupart extrèmement prohibitifs (saviez-vous qu’un fauteuil électrique coutait bien plus cher qu’une voiture ?)

    Merci pour votre travail qui fait un peu avancer les choses 🙂

  29. Masiwaka

    26 octobre 2008 at 4 h 48 min

    Je suis une personne handicapée atteint d’une myopathie de Duchenne et je peux vous dire que ce projet me redonne espoir… Ma maladie est évolutive et bientôt comme mes deux mains se rétractent de plus en plus je ne vais donc plus du tout pouvoir me servir d »une simple souris et du clavier… J’aime jouer sur l’ordinateur à des MMORPG, et bien hélas ce n’est plus possible d’y jouer…Pourtant ce n’est pas faute d’avoir persisté mais suis vite fait épuisé et puis quand je joue en multijoueur dans un groupe on m’engueule bien souvent parce que je suis trop lent du coup je retarde tout le groupe… (lUn vrai boulet quoi)… j’ai aussi une xbox 360 Pareil je suis fan de foot je jouais à pro évolution soccer et Fifa et la j’arrive plus à me diriger et pour appuyer sur les boutons j’en parle pas… Cela serai bien par l’intermédiaire de la Voix diriger ton personne dans un jeu… de courir, de sauter, de tirer… pourquoi pas les deux en même temps la voix et le capteur de mouvement…
    Si c’est possible être une personne handicapée cela ne sera plus un cauchemar …

  30. Masiwaka

    26 octobre 2008 at 19 h 07 min

    Bonjour,

    Après une bonne nuit de sommeil j’ai réfléchi à votre projet pour ceux comme moi qui ne pourront plus se servir de leurs mains… Et bien il suffirait d’un simple casque baladeur (pas un casque de vélo cela serai beaucoup trop lourd et pas pratique pour ceux qui on un repose tête lol)ou l’on fixerai au milieu de ce qui sert de serre-tête un socle dans lequel on pourrait insérer la wiimote et l’on pourrait y ajouter également un micro pour commande vocal pour les jeux cela serai pas mal… car un moment ou un autre, dans jeu, ou autre, tu dois toujours appuyer sur un bouton et donc grâce à la commande vocal cela ne serai plus un problème ! Vraiment il faut lier les deux je penses… le capteur de mouvement est pratique pour naviguer sur le net ou naviguer dans un logiciel, ou pour se diriger dans un jeu… Mais par contre pour cliquer c’est une autre histoire…

  31. Hubert

    27 octobre 2008 at 11 h 08 min

    (@Masiwaka) Bonjour,

    Notre système « sans force » vise exactement ce handicap. L’analyse du « problème du clic » est assez bonne, en effet il est compliqué de donner une information de « clic » avec la même commande que le déplacement car les deux informations peuvent se mélanger et du coup cliquer au mauvais endroit…
    Pour une utilisation classique d’un ordi, c’est encore fonctionnel, mais dans le contexte de jeux vidéo (rapidité et précision) là il faudrait adapter le système pour par exemple gèrer la souris d’une main et le clic de l’autre, comme dans cette vidéo :

    http://professeurs.esiea.fr/wassner/?2008/06/13/154-salon-autonomic

    Il y a un prototype installé à l’AFM (au DRAC plus exactement), si vous avez possibilité de vous déplacer là bas, vos pourrez essayer le système.

  32. handi75

    18 octobre 2010 at 0 h 42 min

    Bonsoir,
    je trouve cette avancée technologique juste énorme pour les personnes handicapées. C’est un immense bon en avant qui permettra à certains de naviguer sur le web.
    Je me permets justement de parler de mon site internet dédiée aux personnes handicapées, mais PAS UNIQUEMENT !
    c’est un site de rencontre car pour beaucoup la solitude est un quotidien.
    voila le lien
    http://www.rencontrehandicapes.com
    http://www.rencontre-handicape.com
    en espérant que cela servira à certains
    bonne soirée tout le monde

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Dernières news

Les bons plans

Les tests