N°32 | janvier - février 2007 
Dossier |
 |
Réalité virtuelle et augmentée
Du vrai faux au faux vrai...
Très succinctement, la réalité virtuelle (RV) consiste à simuler informatiquement un environnement réel et le reproduire virtuellement, éventuellement en 3D, dans des dimensions visuelles et sonores permettant à un opérateur de s’y immerger et d’y interagir.
La réalité augmentée (RA) consiste, quant à elle, à augmenter une scène réelle avec des éléments graphiques 2D ou 3D en accord avec le mode réel perçu, qui aident l’opérateur à percevoir les éléments relatifs à la tâche en cours.
Alors que les acteurs, en particulier de la recherche, sont sensiblement les mêmes en RV et RA, les approches et les applications sont différentes, c’est la raison pour laquelle elles sont traitées séparément dans ce dossier. Eu égard à la maturité de son marché, la RV constituera la première partie de ce dossier et sera par conséquent plus nourrie que la partie consacrée à la RA, plus récente et moins "stabilisée", malgré des applications industrielles diversifiées.
La partie relative à la RV sera illustré par les témoignages d’acteurs industriels tels que Dassault Systèmes et Haption, puis de centres de recherche comme l’ENSMP.
A l’intersection entre RA et RV, rapprochées dans le jargon sous l’acronyme RV&A, nous irons du côté de VENISE, plate-forme du LIMSI. Côté RA proprement dite, enfin, nous avons laissé la parole à Total Immersion, PME précurseur dans le domaine, ainsi qu’aux responsables de la plate-forme EVR@, issue du laboratoire IBISC à l’Université d’Evry.
La réalité virtuelle (RV)
Aspects techniques
Selon la définition donnée dans l’ouvrage collectif le Traité de réalité virtuelle, écrit par 75 chercheurs et industriels français, spécialistes en RV, "La finalité de la RV est de permettre à une personne (ou à plusieurs) une activité sensori-motrice et cognitive dans un monde artificiel, créé numériquement, qui peut être imaginaire, symbolique ou une simulation de certains aspects du monde réel".
La RV ne peut être envisagée que depuis une vingtaine d’années, grâce à l’augmentation importante de la puissance intrinsèque des ordinateurs, en particulier la possibilité de créer en temps réel des images de synthèse et de permettre une interactivité, toujours en temps réel, entre l’utilisateur et le monde virtuel. Elle exploite l’informatique et des interfaces comportementales en vue de simuler dans un monde virtuel le comportement d’entités 3D, qui sont en interaction en temps réel entre elles et avec un ou des utilisateurs en immersion pseudo-naturelle par l’intermédiaire de canaux sensori-moteurs.
La RV est intimement liée à grands domaines : les sciences et des techniques et les sciences humaines et des sciences du vivant.
1) En ce qui concerne les STIC (Sciences et Techniques de l’Information et de la Communication), le cadre de la RV dépasse celui de l’information et de la communication puisqu’il est question d’agir dans un monde virtuel. De nombreuses disciplines concourent donc à produire de nouvelles avancées dans le domaine de la RV :
• l’informatique propose et continue de développer de nouveaux algorithmes pour le traitement de modèles numériques et la création des environnements virtuels interactifs
• la téléopération et la robotique, par la capacité à développer de nouveaux organes
actifs coopérants avec l’humain ;
• la mécanique, l’optique et l’acoustique fournissant les modélisations numériques des phénomènes physiques.
2) Dans le domaine des sciences humaines et des sciences du vivant, l’utilisateur est placé au coeur de la démarche de développement des technologies de la RV, ce qui implique une forte synergie avec des disciplines connexes à ce domaine :
• la psychologie expérimentale et les sciences du comportement développent des théories et des protocoles d’investigation concernant l’étude des actions et des perceptions humaines dans des conditions contrôlées, en environnement réel comme dans des environnements virtuels ;
• l’ergonomie développe des méthodes et des connaissances visant à améliorer la prise en compte des facteurs humains dans la conception et l’évaluation des environnements de RV, afin que ceux-ci soient en adéquation avec les objectifs des utilisateurs, les conditions d’utilisation, les exigences de confort et de sécurité, etc.
• la psychologie cognitive étudie la nature des processus cognitifs du sujet plongé dans une activité se déroulant dans un univers virtuel, qu’il s’agisse de mieux comprendre les particularités de ces environnements ou bien d’exploiter les mondes virtuels l’expérimentation et la modélisation ;
• la physiologie, la neurobiologie, etc.
Les équipements
La RV est mise en oeuvre par différents moyens : tout d’abord, afin que l’interaction avec l’environnement virtuel puisse se faire, il est indispensable de se munir d’un serveur graphique de calcul haute performance.
Le rendu est alors obtenu par des lunettes ou casques individuels de RV connectés à de grands écrans à haute résolution (de type monoplan : le workbench, de type biplans : l’holobench, de type multiplans : CAVE, RAVE). L'utilisateur est équipé de lunettes commandées qui cachent alternativement la vision d'un œil puis de l'autre, tandis que l'ordinateur affiche l'image correspondante de manière synchrone. L’interaction se fait au moyen d’un équipement multiple : des gants de données, des wands, sorte de joysticks interactifs, des widgets : mot-valise formé des mots window (fenêtre) et gadget, ce qui signifierait donc "gadget de fenêtre " utilisé dans le contexte des interfaces graphiques. En ce sens, le widget peut désigner un élément de base d'une interface graphique (liste déroulante, bouton, etc.).
Enfin, dans nombre d’applications notamment industrielles, l’interaction requiert également le recours à des bras articulés à retour d’effort.
Les composantes et technologies impliquées
La RV implique une modélisation physique de la géométrie et du comportement ainsi qu’un traitement temps réel de grandes masses de données relatives à l’image et au son en 3D. Pour que l’interaction avec l’objet virtuel soit réaliste, notamment en environnement 3D, il est indispensable d’utiliser un capteur de qualité capable de réduire le temps de latence. L’environnement virtuel implique également une mise au point du retour d’effort, ainsi qu’une Interface Homme Machine.
Les domaines d’application et les défis industriels rencontrés
Indispensable brique logicielle
La RV s’adresse principalement aux secteurs de l’automobile, de l’aéronautique, du transport, de l’énergie, de l’architecture, de la culture, du médical et du marketing.
Pour ces divers marchés, elle répond à de multiples besoins :
• conception collaborative à distance, nommée fitting,
• fabrication de maquettes numériques pour simuler tout le cycle manufacturé
• conception architecturale ou urbaniste
• formation par simulateur (conduite de véhicules, aérospatiale, médecine),
• d éveloppement de jeux vidéo,
• simulation et visualisation scientifique 3D immersive et interactive
• product life management
• ...
Comme indiqué dans l’introduction, la mise au point d’une RV à même de répondre à ces besoins a été rendue possible grâce à la compétence logicielle de certains acteurs clés comme Dassault Systèmes.
|
Dassault Systèmes, pionner en matières de solutions virtuelles
Interview d’Arnaud Ribadeau-Dumas, Directeur de la Recherche et Développement chez Dassault Systèmes
|
|
 |
Chez Dassault Systèmes, l’aventure de la RV commence en 1982, soit un an après la création de l’entreprise, avec la commercialisation au niveau national et international de CATIA, logiciel de CAO/CFAO en 3D utilisé pour la modélisation de surfaces et la commande numérique. Très vite ce logiciel occupe une place de choix auprès des industriels de l’automobile. En 1984, il devient le logiciel applicatif leader dans le secteur aéronautique. Il est même adopté en 1986 par Boeing. "L’aéronautique a vu dans la possibilité de concevoir des maquettes numériques une économie phénoménale. Avant cela, tous les aspects prototypage de la construction de l’avion étaient réalisés sur une maquette en bois qui coûtait 1,5 fois son prix !", déclare Arnaud Ribadeau-Dumas.
A partir de 2002, Dassault Systèmes se lance sur le marché du Product Life Management à travers un partenariat avec Toyota Motor Corporation et le groupe Volvo, visant à étudier le cycle de vie des véhicules. Depuis, l’entreprise s’est développée sur ce marché et en est devenue le leader. Dans le détail, la gamme PLM anticipe les processus industriels à venir et offre une vision 3D de l'ensemble du cycle de vie d'un produit, de sa conception à sa maintenance. Le portefeuille de produits PLM comprend donc un ensemble de solutions standard : CATIA pour la conception virtuelle de produits, SolidWorks pour la conception mécanique en 3D, DELMIA pour la production virtuelle, SIMULIA pour la simulation et les tests virtuels et ENOVIA pour la gestion collaborative et globale du cycle de vie, décliné sous la forme de toute une gamme horizontale : ENOVIA VPLM, ENOVIA MatrixOne et ENOVIA SmarTeam.
En termes de marchés, les solutions PLM répondent aux besoins de plusieurs secteurs. Si l’industrie du bâtiment a fait l’objet d’un développement logiciel spécifique mené en partenariat avec Gehry Technologies en 2003, c’est le marketing qui en est le plus friand. "Les professionnels du marketing ont recours à nos outils pour une approche cognitive vis-à-vis des consommateurs. Les contextes d’utilisation sont multiples ; un constructeur automobile simule virtuellement l’intérieur d’un véhicule et observe le comportement des utilisateurs ; un supermarché pour des besoins de chalandise simule en 3D l’intérieur d’un magasin et regarde comment s’y déplace le client ; Procter & Gamble réalise le design d’un shampoing pour voir si son packaging est vendeur, etc.".
La R&D au cœur de la réussite
La part de R&D représentait en 2005 plus de 26% du CA de Dassault Systèmes (534 M€ en 2005), un investissement considérable mais nécessaire pour maintenir la société au rang de premier fournisseur mondial de solutions PLM. Cette démarche de R&D passe notamment par un engagement très sérieux dans des projets collaboratifs telles que les plate-formes PETRA ou PERF RV ou bien encore les pôles de compétitivité, tels que SYSTEM@TIC PARIS-REGION. La RA qui n’est pas le coeur de marché de Dassault Systèmes s’inscrit dans ce cadre de recherche collaborative pour de la vidéoconférence ou des programmes de maintenance de mise en câblage pour l’aéronautique. "Nous explorons peu la RA, car pour les besoins de nos clients elle représente de fortes contraintes, notamment légales. Le port d’un casque toute la journée dans le cadre d’une maintenance assistée par la RA est très fatigant. Il est limité en France et parfois interdit dans certains pays".
Usine Numérique ou la participation active de Dassault Systèmes au Pôle de Compétitivité SYSTEM@TIC PARIS-REGION.
Le projet Usine Numérique de SYSTEM@TIC PARIS-REGION regroupe des partenaires industriels tels qu’Altis Semiconductor, EADS/Airbus, Dassault Aviation, Renault, ou Ilog, ainsi que des centres de R&D (CEA, INRIA, ENS de Cachan etc.). Usine Numérique s'appuie sur les technologies PLM de Dassault Systèmes, ses ressources en R&D et son réseau de partenaires pour apporter à l'industrie un environnement virtuel intégral où tout produit pourra préalablement être développé, fabriqué et maintenu sur ordinateur. "Notre contribution consiste à fournir une plate-forme virtuelle, et à prendre en charge le développement algorithmique et l’acquisition de la géométrie".
Vers un marché de masse
Avec, en 2005, l’absorption de la société Virtools, leader des solutions de développement de contenu interactif riche en 3D, Dassault Systèmes espère voir s’ouvrir de nouveaux marchés en RV et changer sa stratégie. "L’écueil auquel nous sommes souvent confrontés en RV est le volume assez faible de produits vendus. Quand Boeing a besoin de simuler une salle, il nous achète l’outil correspondant et n’y revient plus. Pour nous c’est un one shot. Grâce à la compétence de Virtools, nous comptons nous rapprocher des jeux vidéos pour toucher un marché de masse qui boostera le volume de ventes en RV" conclut Arnaud Ribadeau-Dumas.
En savoir plus : http://www.3ds.com/fr/
|
|
 |
 |
Dans ce même registre de compétence logicielle, plus orientée miliaire et aéronautique, notons l’importante contribution de Thales Training & Simulation. Citons à titre d’exemples trois de ses produits : ThalesView, 3Dchrono et SCENEmaker fonctionnent à la fois sur les plateformes Windows et Linux.
• ThalesView regroupe une famille de générateurs d’images utilisable pour tout type d’intervention militaire. ThalesView est notamment reconnu par les autorités aéronautiques comme un outil de simulation de vol et de maintenance.
• 3Dchrono est un logiciel de modélisation rapide de base de données urbaine visant, notamment, à simuler le théâtre des interventions militaires.
• SCENEmaker est un outil de création de bases de données géographiques en 3D.
La recherche collaborative, mère du progrès
Comme en a attesté le témoignage de Dassault Systèmes, le moyen de gagner en efficacité pour une technologie déjà mature comme la RV passe, entre autres, par la recherche collaborative impliquant chercheurs et industriels autour d’un objectif commun.
|
Interview de Philippe Fuchs, responsable de l'équipe de recherche en RV&A du Centre de Robotique de l’Ecole Nationale Supérieure des Mines de Paris
|
|
 |
|
Interfaçage comportemental par chariot instrumenté pour les
déplacements dans le magasin © ENSMP |
Les recherches menées par l'équipe de Philippe Fuchs, co-auteur du Traité de réalité virtuelle, portent essentiellement sur la RV à travers trois axes : le développement d’un environnement virtuel, l’interfaçage et l’immersion des utilisateurs, l’homme dans l’environnement virtuel, sur les aspects cognitifs " avec tout de même, pour notre équipe, une volonté d’insister sur le second axe touchant à l’interfaçage et à l’immersion des utilisateurs, une spécialité que nous avons déjà pu mettre à contribution au sein des différents projets collaboratifs auxquels nous avons contribué", précise Philippe Fuchs.
De PERF RV à l’Association Française de RV…
PERF RV est un projet RNTL labellisé en juin 2000. Financé par le Ministère de la Recherche, il a effectivement débuté fin février 2001 et s’est achevé en août 2004.
PERF RV est né d’un constat selon lequel les outils virtuels pouvaient aider les industriels dans les secteurs de l’automobile, l’aéronautique, le transport, l’énergie, l’architecture, la culture et le médical, à réduire leurs coûts de production, de développement, d’industrialisation, de formation et de maintenance associés (cost effectiveness).
En véritable "bureau d’étude du futur", un ensemble de partenaires spécialisés issus de la recherche (l’INRIA, le CEA/LIST, l’Ecole des Mines de Paris, l’Institut Image/ENSAM, le LABRI, le LRV et le LIMSI) et de l’industrie (EADS/ CCR France, l’Institut Francais du Pétrole, le Centre Lavallois de ressources technologiques, Dassault aviation, GIAT-industries PSA Peugeot Citroen et Renault) se sont penchés sur la création d’environnements virtuels réalistes, représentant des systèmes manufacturés, anthropomorphes ou naturels, dont le comportement se rapproche de celui du monde réel ; "Pour notre part, nous avons beaucoup travaillé au retour d’effort des bras haptique sur deux doigts et non sur toute la main".
PERF RV a validé que la RV permettait aux industriels de réduire le temps de développement des nouveaux produits. Dans son sillage, il a donné naissance à la fois à l’Association Française de RV et à PERF RV2. "L’AFRV que je préside a été fondée par des chercheurs et des cadres de l'industrie. Elle entend fédérer la communauté française, académique et professionnelle, autour de la RV en remplissant une triple vocation :
• promouvoir et favoriser le développement de la RV&A, de la réalité mixte et de l’interaction 3D dans tous leurs aspects : enseignement, recherche, études, développements et applications ;
• procurer un moyen de communication entre les personnes intéressées par ce domaine ;
• faire reconnaître cette communauté par les institutions françaises, européennes et internationales"
De son côté, PERF RV 2, "L’Humain Virtuel au Travail dans l’Usine du Futur" est un projet RNTL lancé en 2005. Il entend démontrer que l'intégration de l'humain virtuel dans l'usine numérique permettra d'améliorer, dès la conception, l'efficacité et l'ergonomie des postes de travail. "En collaboration avec Haption et PSA, nous continueront nos recherches sur le retour d’effort dans un contexte où l’homme est plongé dans l’environnement virtuel".
Proche des pôles de compétitivité
L’habitude des collaborations avec l’industrie s’est aussi concrétisée pour l’équipe de Philippe Fuchs par une contribution au projet IHS10 du Pôle SYSTEM@TIC PARIS-REGION (partenaires : CEA LIST, Visteon, Valeo, PSA Peugeot Citroën, Renault, Haption et Intempora), qui porte sur la conception de l’intérieur des véhicules. "IHS 10 est focalisé sur trois canaux sensoriels visuel, haptique et acoustique, nous y serons amenés à traiter la partie afférente aux questions physiologiques puis mathématiques sur des aspects de vision en relief. Ces projets reflètent la maturité acquise par la RV ces 10 dernières années ; maturité qui satisfait des industriels dont les besoins vont croissant dans des secteurs de plus en plus nombreux, avec plus récemment, une percée dans le médical. En tant qu’acteur de ses évolutions, nous ne pouvons que nous réjouir de l’engouement que suscite cette discipline vouée à se développer", conclut Philippe Fuchs.
Pour en savoir plus : http://caor.ensmp.fr/ |
|
 |
 |
Dans cette même veine collaborative, regardons en détail la compétence liée au retour d’effort à travers le témoignage de la PME Haption dont c’est le cœur de métier à travers l'interview de Jérôme Perret, son Directeur Général.
Fondée par Jérôme Perret et François Louveau, Haption est née en septembre 2001 d’un essaimage du CEA. Son coeur d’activité repose sur la conception, la fabrication et la commercialisation de systèmes à retour d'effort adaptés aux besoins de clients industriels et académiques. Haption prévoir de réaliser un CA de plus de 2 M€ en 2007.
Le retour d’effort en clair
|
Un système à retour d'effort (aussi appelé interface haptique) est un périphérique informatique qui permet à son utilisateur d'interagir avec une application logicielle ou un objet virtuel par l'intermédiaire du sens du toucher. Il se compose d'une structure mécanique articulée équipée de moteurs et de capteurs, reliés à une électronique embarquée. L'utilisateur prend en main l'extrémité de la structure, et peut la déplacer librement, à la fois dans le monde réel et dans la scène virtuelle. Lorsque sa main virtuelle entre en contact avec un objet numérique, un courant est envoyé aux moteurs, qui simulent un contact réel. "Nos produits exercent un retour d'effort sur les 6 degrés de liberté (translations et rotations) Sans un retour d'effort 6D, il est impossible de simuler une interaction complète entre des objets 3D", précise Jérôme Perret.
Panorama des clients
Les bras à retour d’effort d’Haption sont regroupés sous la gamme de produits Virtuose®. Très flexible, la PME propose ses produits tels quels, ou les customise à la demande ; de même certains clients achètent parfois une composante soit logicielle soit hardware "nous pouvons assurer le relais entre un maquettage et un marché et, si besoin est, aider à l'intégration".
|
Les Virtuose® (photo ci-contre) intéressent principalement l’industrie automobile pour la conception et le prototypage virtuel ; l’objet étant d’augmenter la productivité du constructeur en simulant virtuellement les fonctions de conception, de simulation et d’assemblage des véhicules. "Nos outils de simulation répondent à des demandes exigeantes de constructeurs automobiles nationaux tels que Renault ou PSA, Volkswvagen en Allemagne ou encore un autre constructeur japonais".
En quelques années de fructueuses relations commerciales, le leadership d’Haption sur le marché de l’haptique acquis auprès du transport routier a apporté la confiance de l’aérien, très demandeur de simulations pour d’évidentes réductions de coûts, les maquettes étant nettement moins chères à simuler qu’à construire. "Sur la base d’une reconstitution en 3D d’un A380, Airbus peut valider toutes les opérations de maintenanceà réaliser sur l’avion tout au long de sa vie, et en plus, former les équipes techniques des compagnies aériennes clientes avant même la livraison".
Favoriser la réussite par la collaboration
Si les laboratoires de recherche représentent un marché plus marginal, ils demeurent intéressants notamment du point de vue de la recherche collaborative. "Nous entretenons des relations avec le CEA, l’INRIA, le CNRS ou bien encore Oséo anvar, afin de rester à la pointe de la technologie. C’est ce même désir de nous maintenir au top qui a motivé notre participation au projet IHS10 du Pôle de compétitivité SYSTEM@TIC PARIS-REGION. Dans ce cadre, nous aurons à doter les objets virtuels de comportements et à les simuler en temps-réel. Ceci va dans le sens de nos objectifs à 3 ans, axés sur le développement de nouvelles fonctionnalités interactives, en particulier pour le design", conclut Jérôme Perret.
Les chiffres du marché RV&A en Ile-de-France
D’après la cinquième édition de l’ouvrage The Market for Visual Simulation Virtual Reality Systems, produit par l’organisme New Yorkais CyberEdge Information Services, le marché mondial pour l'ensemble du domaine de la visualisation simulation et RV était de 56 milliards $US (soit environ 2% du marché des TI) en 2001. Ce secteur, malgré des temps difficiles liés à la chute de la bulle télécom, avait crû de 29% en 2002. Encore plus intéressant, en 2006, ce même marché a été porté à 97 milliards $US.
En ce qui concerne la RA, l’aspect encore marginal de ce marché n’a pas permis d’obtenir de chiffres sur le volume qu’il représente.
La réalité augmentée (RA)
Principe de fonctionnement
Un système d'acquisition d'image numérique (appareil photo numérique, caméra, webcam, etc.) produit les images sources, qui sont analysées par un serveur de calcul pour déterminer les caractéristiques des objets qui y figurent : position, orientation, mouvement, zones de recouvrement, etc. Par ailleurs, les informations de prise de vue (angle, position, focale) sont récupérées à l'aide de capteurs de position et d’orientation positionnés dans la scène et l'incrustation est directement reproduite à la bonne échelle sur l'image à "augmenter".
Ces informations servent à adapter le modèle informatique de la scène, de manière à être capable de calculer les caractéristiques des objets virtuels que l'on veut y insérer. Ces objets virtuels subissent alors des transformations géométriques qui permettront de les plaquer dans l'image source, de manière à les y intégrer de la manière la plus naturelle possible.
L’écran de visualisation peut être un écran classique sur lequel se superposent les images réelles, et les objets virtuels et/ou les données. Dans ce cas, on parle de RA en vision indirecte car l’objet à augmenter n’est pas visible.
Lorsque l’on utilise un écran translucide permettant de voir en transparence l’image réelle sur laquelle sont affichés les objets virtuels, on parle de RA en vision directe.
Les défis et verrous technologiques
La RA pour fonctionner doit répondre à des critères très stricts listés ci-après :
• Augmenter l’image avec des données virtuelles sans occulter la perception de l’environnement réel
• Se recaler en temps réel par rapport à l’image réelle
• Bien positionner et adapter la forme des objets virtuels en fonction de l’angle de vue pour leur donner un aspect naturel
• Obtenir un rendu le plus réaliste possible cohérent avec le reste de l’image (luminosité, ombrage, occlusion par d’autres objets)
• Développer une IHM ergonomique et intuitive
• Adapter les données virtuelles à la demande avec un tracking de l’œil ou commande vocale
Des applications variées
Bien que commercialement moins développée que la RV, la RA est utilisée dans de nombreux contextes professionnels que sont :
• la conception et le prototypage
• la chirurgie et la biomécanique
• le multimédia : insertion de tags ou d’infos dans un contenu multimédia /divertissement / audiovisuel / sport / jeu
• les améliorations de la perception
• la visualisation, l’aide à la décision notamment dans le cadre d’interventions ou de prévention d’incendie
• l’amélioration de la perception du réel
• l’atterrissage des avions
• la formation et la maintenance industrielle
• la reconstitution d'objets et de sites détruits ou endommagés
• Etc.
Des recherches transverses en RV&A
VENISE (Virtualité et ENvironnement Immersif pour la Simulation et l’Expérimentation) est une action recherche en RV&A qui regroupe une trentaine de chercheurs, dont 15 permanents. Née en 1999, sa mission tend à structurer transversalement et animer les travaux de recherche menés en RV&A au sein du LIMSI-CNRS et, dans le même temps, devenir un acteur de la politique du CNRS en termes de recherches pluridisciplinaires pour et autour de la RV&A.
Action transversale de RV&A VENISE du LIMSI-CNRS,
Interview de Patrick Bourdot, responsable de l’équipe
|
|
 |
|
Application "MécaFlu" du projet CoRSAIRe : exemple d’interaction
ées de mécanique des fluides © LIMSI
|
Les recherche sont menées autour de 5 thèmes : architecture distribuée, multimodalité (geste, parole, audio 3D, haptique…), mise en correspondance des mondes réels et virtuels, gestion des données complexes ou massives, paradigmes et métaphores interactives. Transversalement, ces thèmes touchent 5 applications : la mécanique des fluides, la bio-informatique (collaboration avec l’IBP de l’Université Paris-Sud 11 et avec l’EBGM de l’Université Paris 7), la Conception Assistée par Ordinateur plus piloté par l’aval, la télé-supervision de véhicule doté d’autonomie et la virtualité, art et design qui est une application émergente. "Nos activités de recherche visent toujours à répondre à des besoins applicatifs concrets, autant pour des applications industrielles que scientifiques. Dans le cadre de la plateforme PERF RV, nous avons mis au point des solutions logicielles pour permettre des interactions multimodales dans des systèmes de RV, en particulier pour combiner "en entrée" la reconnaissance de commandes vocales avec la capture, l’analyse et le traitement des mouvements et des gestes de l’utilisateur. L’application VRAD (Virtual Reality Aided Design) que nous avons développée à cette occasion sur le noyau géométrique OpenCASCADE, démontre l’apport des interfaces multimodales pour la conception immersive et collaborative de formes 3D". Présentée au salon Laval Virtual 2003, cette application de RV-CAO préfigure les organisations de travail que la RV va rendre possible pour les activités de design industriel. Les travaux actuels sur VRAD se poursuivent sur la plateforme CATIA et s’orientent vers la mise au point de paradigmes d’interaction haptique (retour d’efforts et perception tactile) pour la CAO. "Par ailleurs, nous sommes beaucoup sollicités sur la gestion des modalités "en sortie", à savoir les moyens de superviser de façon "intelligente" la combinaison des feedbacks 3D visuels, audio et haptiques en fonction des informations à transmettre à l’utilisateur", indique Patrick Bourdot.
Pléthore de projets…
Parmi les nombreux projets auxquels VENISE participe, les plus structurants sont sans doute SACARI, CoRSAIRe, STREP "Wayfinding" et PERF RV2.
SACARI (supervision d'un véhicule autonome par une interface de virtualité augmentée) est une interface de conduite à distance connectée avec la plate-forme de véhicule semi-autonome de l'IEF appelée PiCar, résultant du projet VARVIC (Vision Artificielle et RV pour le Co-pilotage), un programme pluriformation 2002-2005 de l’Université Paris-Sud 11. Le but de cette action est de développer un système de réalité mixte permettant la conduite à distance d'un véhicule doté d'autonomie. "Dans le domaine de la virtualité augmentée, nous avons conçu une interface immersive pour la conduite à distance, utilisant l'orientation de la tête de l'utilisateur pour piloter en temps réel une caméra stéréo embarquée, tandis qu’une capture-restitution audio 3D vient d’être ajoutée pour améliorer la sensation de télé-présence. Pour la conduite à distance, nous avons réalisé un simulateur de conduite à distance basé sur un modèle physique du véhicule et une interface de conduite semi-autonome. Le tout tourne sur la plate-forme logicielle RTMaps dans le cadre d’un partenariat avec la société Intempora".
CoRSAIRe (Combinaisons de Rendus Sensori-moteurs pour l’Analyse Immersive de Résultats) entre dans le cadre de l’Action de Recherche Amont "Masse de Données, Modélisation, Simulation, Applications" de l’ANR. Basé sur un consortium de 5 partenaires (LIMSI-CNRS, IRCAM-CNRS, EBGM-INSERM, LEI-Paris 5, HAPTION S.A.), ce projet a démarré en 2006. "Outre le leadership du projet, nos contributions y portent à la fois sur la problématique de la multimodalité en sortie (visuelle, audio 3D et haptique) et concerne donc les thèmes de recherche 1, 2 et 3 de VENISE, ainsi que l’analyse immersive de données massives en articulation avec deux applications scientifiques autour de la mécanique des fluides et la bio-informatique".
STREP "Wayfinding" est un projet de trois années soutenu par l'Union Européenne (2005-2008).
Il porte sur le rôle des mouvements de la tête et sur l'impact de la réverbération dans la navigation en l'absence de vision dans un environnement RV. "Aux côtés de Michel Denis et de Brian Katz, ce projet implique les laboratoires de 5 chercheurs reconnus internationalement comme leaders dans le domaine de la cognition spatiale issus d’Utrecht aux Pays-Bas, du Collège de France, du MPI et de l’Université de Tübingen, en Allemagne, de UCL au Royaume-Uni, et de l’université la Sapienza, à Rome", précise Patrick Bourdot.
PERF RV2. Dans le cadre d’une collaboration étroite avec PSA Peugeot Citroën et Vecsys, l’objectif de la contribution du LIMSI-CNRS est de passer à l’évaluation en situation réelle des solutions préalablement investiguées lors de PERF RV. "Dans ce contexte, nos travaux portent sur la conception de systèmes de gestion multimodale des interactions en RV, non plus dans un environnement de développement ad hoc tel que la plate-forme EVI3D de l’équipe VENISE, mais dans des environnements logiciels standards ou commerciaux tels que Virtools. En l’occurrence, nous sommes chargés de la mise au point d’un module de reconnaissance de gestes (captés par le systèmes infrarouge "Finger Tracking" de ARTrack), ainsi que du module de gestion des fusions multimodales de ces informations avec les commandes vocales que produira le système de reconnaissance de la parole de la société Vecsys. In fine, l’évaluation de nos solutions seront réalisées sur les scénarii de tâches industrielles spécifiés par PSA Peugeot Citroën".
Implication francilienne…
Au niveau francilien, le LIMSI-CNRS est d’une part impliqué dans Digiteo Labs, et participe d’autre part au projet SVIC du Pôle SYSTEM@TIC PARIS-REGION. Ce projet a pour objectif de délivrer un système interactif combinant des éléments matériels et logiciels pour permettre de nouvelles formes de collaboration en co-présence ou à distance, grâce à une surface interactive (mur images ou table écran) permettant d’interagir à plusieurs simultanément.
Et européenne…
Enfin, au-delà de sa production scientifique, l’équipe VENISE contribue à la structuration de la communauté RV&A, tant au niveau national qu’européen ."Par delà le fait que je sois l’un des membres fondateurs de l’AFRV, l’équipe VENISE coordonne les quatre laboratoires CNRS impliqués dans le Réseau d’Excellence Européen INTUITION (Network of Excellence on vIrtual reality aNd virTUal environments applIcatIONs for future workspaces) du 6ème programme cadre IST. Associé à IBISC-CNRS (Evry), au LPPA-CNRS du Collège de France (Paris), à l’UMR-CNRS "Mouvement et Perception" (Marseille), et en partenariat avec le CEA-LIST et l’INRIA, le LIMSI-CNRS participe très activement à l’organisation de la communauté RV&A en Europe, de sorte que notre vieux continent puisse jouer un rôle mondial de tout premier plan dans ce domaine d’avant-garde des Technologies de l’Information et de la Communication" conclut Patrick Bourdot.
En savoir plus : http://www.limsi.fr/venise/
|
|
 |
 |
La RA multifonction
Laster Technologies est une société basée à Gif-sur-Yvette qui a breveté une innovation technologique en RA nommée EnhancedViewTM. Intégrée sur une paire de lunette ou un casque en fonction des besoins, elle peut se prêter à de très nombreuses applications dans les secteurs tels que :
• la production et la maintenance (amélioration de la productivité en fabrication, de l’efficacité en entretien et réparation, prototypage et maquette virtuelle en mécanique ainsi qu’en construction civile…)
• la défense et l’aéronautique (aide au pilotage de l’ensemble des appareils militaires, entraînement et simulation au combat sur terre, en mer et dans les airs, supervision des opérations, support à la logistique, entraînement et simulation des services de secours et de lutte contre l'incendie,…)
• l’automobile (aide à la conduite de nuit, en conditions difficiles, affichage d’informations de conduite, paramètres de sécurité, vitesse, carte GPS, …)
• le médical (assistance aux opérations chirurgicales complexes, monitoring dans le champ visuel du praticien, amélioration de la sécurité des opérations, de la concentration des praticiens sur le patient,…)
• le grand Public (concept de "walkman visuel", nouvelle forme d’écran portatif couplé aux périphériques mobiles, PDA, téléphone portable pour visualisation d’image, de vidéo, d’e-mails, carte GPS, visioconférences, documents en trois dimensions, et jeux vidéo,…) Par ailleurs, ces périphériques d’affichage constituent une alternative intéressante aux écrans portatifs actuels en offrant un rapport taille d’écran/encombrement sans précédent.
Pour en savoir plus : www.laster.fr
L’entertainment un marché porteur ?
Total Immersion, éditeur de logiciel en RA
pour l’industrie et l’Entertainment.
interview de Valentin Lefèvre, Directeur technique
|
|
 |
|
Ra pour de la maintenance automobile
© Total Immersion |
Comment cela fonctionne-t-il ?
Le client de Total Immersion fournit un modèle CAO en 3D sur lequel se greffent les informations, images ou explications. Afin de respecter les 6 degrés de liberté nécessaires à l’interaction, Total Immersion a mis de côté l’acquisition vidéo à l’aide de capteurs pour lui substituer une méthode utilisant deux logiciels : du markerless tracking (analyse d’images), d’un coté et son logiciel de RA D’Fusion® Rendering, de l’autre. Un choix facilité par l’arrivée de caméras HD, très utiles pour les salles immersives. "Nous avons recours à des caméras HD grand public à 2000 ou 3000 € qui fournissent une qualité d’image optimale". D’Fusion® contient l’algorithmie nécessaire à la capture d’image et à l’ajout d’informations. Compatible avec des logiciels de modélisation 3D tels que 3D studio, Maya ou CATIA, il s’installe sur du hardware grand public. "50% des clients nous achètent une licence de D’Fusion® installée sur leurs PC et renouvelable tous les ans avec maintenance à la clé, tandis que nous vendons à l’autre moitié un PC clé en main à forte puissance de calcul sur lequel est déjà installé le logiciel D’Fusion® ".
Mélange subtil entre l’industrie et l’Entertainment
Depuis 2002, en plus de l’early adopter qu’était l’automobile, s’est greffée l’aéronautique. Deux secteurs de marché, qui, aujourd’hui, apportent à Total Immersion 500 k€ pour un CA total de 2,5 M€ et une quarantaine d’employés, fin 2006.
Une autre partie de la clientèle provient du marché des jeux, notamment des parcs d’attraction. « Nous avons apporté notre contribution au miroir interactif du Futuroscope et à d’autres applications immersives. Les utilisateurs se trouvent dans un train et voient défiler un paysage dans lequel peuvent s’ébattre des animaux du futur grâce à des jumelles à travers lesquelles nous projetons la RA. Ces jumelles sont reliées à un serveur caché dans le train ".
Le très fort attrait de la téléphonie mobile constitue un autre vivier potentiel pour la RA. "Pendant le salon international 3GSM qui se tiendra du 12 au 15 Février prochain à Barcelone, nous allons montrer, en partenariat avec Alcatel-Lucent, ce qui pourra être fait en matière d’interactivité RA sur leurs téléphones 3G, aboutissant à l’émergence d’une nouvelle génération de jeux vidéos. Ce segment de marché nous a poussés à mettre au point un logiciel multi plateforme qui s’adapte à toutes les marques de téléphone, en passant directement par l’opérateur".
R&D et évolutions
Tous ces marchés potentiels augurent une évolution fulgurante du CA qui devrait atteindre les 7 M€ en 2007. Rien de cela ne serait possible sans une R&D forte. "Ce sont 4 à 5 personnes qui travaillent à la R&D et nourrissent des collaborations régulières avec l’INRIA de Rennes ou celui de Grenoble. En outre, nous avons été impliqués dans le projet européen Holonics. La R&D et nos récents développements technologiques nous permettent de nous ouvrir de plus en plus aujourd’hui aux applications "mass market", orientées grand public".
En savoir plus : http://www.t-immesion.com
|
|
 |
 |
L’Université d’Evry, acteur majeur de la RA
A l’Université d’Evry, le laboratoire Informatique, Biologie Intégrative et Systèmes Complexes (IBISC) rassemble les laboratoire de Méthodes Informatiques (LaMI) et Laboratoire de Systèmes Complexes (LSC), placé sous la direction d’Etienne Colle. Il est composé d’environ 120 personnes, 60 permanents et 60 doctorants. L’équipe RATC, dirigée par Malik Mallem comporte 13 personnes. Ses recherches portent sur les thématiques de la RA et du Travail Collaboratif en réponse à des projets concrets liés à des problématiques métier.
IBISC, Interview de Frédéric Davesne, ingénieur de recherche attaché à
la plate-forme Evr@
|
|
 |
|
Application ARITI © IBISC |
Pour mettre en œuvre le passage de la théorie à la pratique, le laboratoire IBISC s’est doté d’une plateforme de RV&A nommée EVR@. Son idée directrice est de permettre à l’homme d’interagir le plus naturellement et librement possible avec un monde virtuel, ou un site distant. Pour cela, cette plateforme possède un système de projection stéréoscopique de 3,20m x 2,40m, couplé à un système de suivi optique des gestes de l’utilisateur placé devant l’écran.
Répondre à une multitude de besoins
La RA comme assistance à la manipulation d’un robot distant
ARITI (Augmented Reality Interface for Teleoperation via Internet) initié par Samir Otmane, membre de l’équipe RATC et référencé sur le site de télérobotique de la NASA depuis 1999, est une application générique qui permet de manipuler des robots à distance, soit à partir d’une interface web, soit à partir de la plateforme EVR@. Un modèle virtuel du robot superposé sur l’image que reçoit l’utilisateur permet la prédiction du futur mouvement du robot et s’affranchit des contraintes de délais de transmission liées à Internet. "L’utilisation de guides virtuels permet au système d’anticiper les choix de l’utilisateur en lui évitant les fausses manœuvres et en le guidant pour réaliser des tâches sur le site distant nécessitant par défaut beaucoup de concentration", indique Frédéric Davesne.
La RA comme assistance à l’homme de terrain
Le projet AMRA, (RNTL 2002 à 2004 en partenariat avec le CEA-LIST et Alstom), a pour but d’apporter une aide à la maintenance des trains. L’opérateur équipé d’un tablet PC sur lequel est fixée une caméra CCD peut obtenir une aide contextuelle en direct sur la pièce qu’il regarde grâce à l’association, temps réel, image réelle/modèle virtuel de la pièce filmée/base de connaissance.
Le projet RAXENV (ANR Technologies logicielles 2006), mené en partenariat avec le Bureau des Ressources Géologiques et Minières et la Lyonnaise des eaux Suez, va plus loin en portant l’utilisation de la RA en extérieur. L’objectif est de proposer à l’utilisateur des fonctionnalités que l’on pourrait assimiler à un Google Earth portable où les aspects terrain sont fournis par le réel. "Une grande difficulté scientifique réside dans le fait que le système doit pouvoir se localiser dans un environnement dont il ne possède pas a priori de modèle exhaustif".
La Réalité Virtualisée comme moyen d’exploration et d’étude de sites difficilement accessibles
La compétence de l’équipe RATC d’IBISC est sollicitée dans le projet européen VENUS (Virtual ExploratioN of Underwater Site) destiné à des archéologues sous-marins désireux d’étudier des sites d’épaves préalablement filmés et scannés, puis reconstruits en 3D et visualisés, par exemple sur la plateforme EVR@. L’augmentation des images et les méthodes d’interaction 3D collaboratives doivent permettre de faciliter l’accès aux informations du site marin (surimpression contours d’amphores, par exemple) et d’aider au travail collaboratif des archéologues en permettant à plusieurs personnes de partager en temps réel des connaissances sur un même site et de vérifier leurs hypothèses sur la vérité du patrimoine culturel.
Dans la même lignée, le laboratoire IBISC participe également au projet ANR/Audiovisuel et multimédia Digital Ocean initié par la société VirtualDive, qui souhaite rendre possible l’exploration et l’interaction à plusieurs avec le milieu subaquatique. "Les personnes interagissent avec l’environnement virtualisé soit en étant placées devant un système tel que la plateforme EVR@, soit en étant plongées dans une piscine et équipées d’un dispositif multimédia subaquatique spécifique. Des centres de loisir nautiques sont d’ores et déjà intéressés par cette idée originale", conclue Frédéric Davesne.
En savoir plus : http://evra.ibisc.univ-evry.fr
|
|
 |
 |
Les acteurs franciliens de la RV&A
Parmi les acteurs franciliens de la RV&A, on peut citer les entreprises et laboratoires suivants :
- entreprises
Altadyn,
Apportmedia, Autodesk, Dassault Systèmes, Laster, Oktal, Progistik, Silicon worlds,
Techviz, Total immersion, Virtools
- laboratoires et centres de recherche
CEA LIST, Equipe MIRAGES de l'INRIA, Centre de CAO et Robotique de l'ENSMP, Ecole Supérieure d'Informatique, Electronique et Automatique,
IBISC, Equipe VENISE du LIMSI
© Lumière, Opticsvalley, janvier - février 2007
Sommaire
 |
Lumière est une publication bimestrielle d'Opticsvalley, soutenue par :

Directeur de la Publication : Maurice Klein
Conseillers scientifiques : Pierre Chavel, Didier Juvin, Jean-Michel Lourtioz
Rédactrice en chef : Karine Jacq
Secrétaire de rédaction : François Lafosse
Pour écrire à la rédaction : redaction@opticsvalley.org
Lumière est diffusé en PDF.
Pour vous abonner, il vous suffit de cliquer sur le lien ci-dessous :
- Abonnement à Lumière version PDF
Pour vous désabonner, il vous suffit de cliquer sur le lien ci-dessous :
- Désabonnement de Lumière version PDF
© Opticsvalley 2007
Reproduction possible à des fins non commerciales, sous réserve d'autorisation de notre part.
Conformément aux dispositions de la loi 78-17 "Informatique, fichiers et liberté", nos abonnés ont la possibilité d'accéder aux informations les concernant et de les rectifier s'ils le jugent nécessaire.
|