\chapter{Résumé long en français}
\mainlabel{résumé}

\nochaptertoc

\selectlanguage{french}

Dans ce manuscrit de thèse, nous montrons comment la \emph{réalité augmentée (RA)}, qui intègre un contenu visuel virtuel dans la perception du monde réel, et l'\emph{haptique portable}, qui fournit des sensations tactiles sur la peau, peuvent améliorer l'interaction de la main avec des objets virtuels.
Notre objectif est de permettre aux utilisateurs de percevoir et de manipuler des augmentations visuo-haptiques portables, comme si elles étaient réelles, directement avec leurs mains.

\section{Introduction}
\label{introduction}

\subsectionstarbookmark{Augmentations visuelles et haptiques des objets}

Nous regardons, touchons et manipulons les objets du quotidien de manière conjointe et sans même y penser.
L'ensemble des informations sensorielles et des mouvements de notre main nous permettent de construire instinctivement une perception de l'objet que nous explorons \cite{ernst2004merging}.
Cependant, la complexité des sensations du sens du toucher et des actions de la main rend difficile la recréation artificielle du toucher \cite{culbertson2018haptics}.

L'\emph{haptique} est l'étude du sens du toucher et des dispositifs qui impliquent le toucher \cite{klatzky2013haptic}.
Petits et légers, les \textbf{dispositifs haptiques dits \emph{portables} sont directement montés sur la peau} et ne  restreignent pas les mouvements de l'utilisateur \cite{pacchierotti2017wearable}~; ils peuvent fournir des sensations tactiles riches, de pression, d'étirement, de vibrations ou de température.
Cependant l'intégration de l'haptique portable avec la RA a encore été peu explorée.

En intégrant du contenu virtuel dans la perception du monde réel, \textbf{la RA donne à un utilisateur l'illusion d'un environnement augmenté unique} \cite{azuma1997survey,skarbez2021revisiting}.
Cette technologie est étroitement liée à la \emph{réalité virtuelle (RV)}, qui remplace complètement la perception de l'environnement réel d'un utilisateur par un environnement virtuel.
La virtualité et l'augmentation peuvent être visuelles ou haptiques.
Ainsi, un dispositif haptique fournit des sensations dites virtuelles à un utilisateur.
Une \textbf{augmentation haptique est la modification de la perception par l'ajout de sensations haptiques virtuelles} d'un objet réel touché par un utilisateur \cite{jeon2015haptic,bhatia2024augmenting}.
Un aspect important de l'illusion de la RA (et de la RV) est la \emph{plausibilité}, c'est-à-dire l'illusion pour un utilisateur que les événements virtuels se produisent vraiment \cite{slater2022separate}. %, même si l'utilisateur sait qu'ils ne sont pas réels.

Dans ce contexte, nous définissons un \emph{système de RA} comme l'ensemble des dispositifs matériels (dispositifs d'entrée, capteurs, affichages et dispositifs haptiques) et logiciels (suivi, simulation et rendu) qui permettent à l'utilisateur d'interagir avec l'environnement augmenté.
Les casques de RA sont la technologie d'affichage la plus prometteuse, car ils sont portables, fournissent à l'utilisateur un environnement augmenté \emph{immersif} et laissent les mains libres pour interagir \cite{hertel2021taxonomy}.
Un retour haptique est alors indispensable pour assurer une interaction plausible et cohérente avec le contenu visuel virtuel.
C'est pourquoi l'haptique portable semble pRAticulièrement adaptée à la RA immersive.

\subsectionstarbookmark{Défis de la réalité augmentée visuo-haptique portable}

L'intégration de l'haptique portable avec la RA immersive pour créer un environnement augmenté visuo-haptique est cependant complexe et présente de nombreux défis.
Nous proposons de représenter l'expérience de l'utilisateur dans un tel environnement comme une boucle d'interaction, illustrée sur la \figref{interaction-loop-fr} et basée sur les boucles d'interaction avec les systèmes 3D \cite[p.84]{laviolajr20173d}.
Un utilisateur interagit avec les environnements virtuels visuels et haptiques via une main virtuelle qui suit ses mouvements et simule l'interaction avec des objets virtuels.
Les environnements virtuels sont rendus en retour à l'utilisateur avec un casque de RA immersif et de l'haptique portable, qui les perçoit comme co-localisés avec l'environnement réel.

\fig{interaction-loop-fr}{La boucle d'interaction entre un utilisateur et un environnement augmenté visuo-haptique telle que proposée dans cette thèse.}

Dans cette thèse, nous abordons deux axes de recherche principaux~:
\textbf{(I) fournir des augmentations visuo-haptiques plausibles et cohérentes}~;
\textbf{(II) permettre une manipu-lation efficace de l'environnement augmenté}.

La plupart des dispositifs haptiques portables ont été conçus et évalués pour une utilisation en RV, et couvrent souvent les extrémités des doigts \cite{culbertson2018haptics}.
Cependant, un utilisateur en RA doit pouvoir toucher l'environnement réel avec sa main.
Il est alors nécessaire de déplacer le dispositif haptique à un autre endroit, sur l'ongle \cite{teng2021touch}, une autre phalange \cite{detinguy2018enhancing} ou le poignet \cite{pezent2019tasbi}.
Les sensations haptiques virtuelles ne sont alors pas co-localisées avec le contact réel, ce qui peut affecter la perception globale.
Les sensations virtuelles, haptiques et visuelles, peuvent également être perçues comme incohérentes avec les sensations réelles, par exemple en raison d'une qualité de rendu trop faible, de la latence ou d'un décalage dans l'espace.
Enfin, en RA et contrairement à la RV, on peut voir ses mains, les objets réels et les dispositifs haptiques portés.
Il est important de mieux comprendre l'impact de ces facteurs sur la perception des augmentations visuo-haptiques.

Toucher, saisir et manipuler des objets virtuels sont des interactions fondamentales en RA \cite{kim2018revisiting} et avec les environnements virtuels \cite[p.385]{laviolajr20173d}.
S'il est naturel de manipuler avec la main un objet réel augmenté, il est plus difficile de manipuler un objet totalement virtuel, par essence intangible \cite{piumsomboon2014graspshell}.
D'une part, les systèmes de RA immersifs ont des limitations de rendu visuel qui affectent la perception et l'interaction avec les objets virtuels, comme la sous-estimation par les utilisateurs de la profondeur \cite{adams2022depth}, le manque d'occultations mutuelles \cite{macedo2023occlusion} et la latence du suivi de la main \cite{prachyabrued2014visual}.
En outre, les dispositifs haptiques portables ne peuvent pas fournir de retour de force et contraindre physiquement la main de l'utilisateur au contact d'un objet virtuel \cite{maisto2017evaluation}.
Il reste à étudier quel type de retour visuel ou haptique portable ou leur combinaison est le plus à même de faciliter la manipulation d'un objet virtuel.

\subsectionstarbookmark{Objectifs et contributions de la thèse}

Nous déclinons cette thèse en deux axes de recherche, chacun répondant à l'un des défis de recherche identifiés ci-dessus~:
\textbf{(I) augmenter la perception visuo-haptique de texture de surfaces réelles}~;
\textbf{(II) améliorer la manipulation d'objets virtuels}.

Les systèmes haptiques portables peuvent donc modifier la perception d'une surface réelle touchée avec le doigt, sans modifier l'objet ni couvrir le bout du doigt.
Cependant, les augmentations haptiques appliquées à la RA ainsi que les augmentations visuo-haptiques de textures ont été peu explorées.
Les textures sont en effet l'une des principales propriétés perçues d'un objet \cite{okamoto2013psychophysical}, aussi bien par la vue que par le toucher \cite{baumgartner2013visual}, et une augmentation haptique bien étudiée \cite{friesen2024perceived}.
Nous proposons donc pour ce premier axe de recherche de concevoir des augmentations visuo-haptiques de textures avec un retour portable et immersif et d'évaluer leur perception.
Pour cela, nous~: \textbf{(1) concevons un système d'augmentation visuo-haptique de textures} avec de l'haptique vibrotactile portable~; \textbf{(2) évaluons comment la perception des augmentations haptiques portables de textures est affectée par le retour visuel de la main virtuelle et de l'environnement}~; \textbf{(3) étudions la perception d'augmentations visuelles et haptiques portables de textures}.
Ces contributions sont détaillées dans la \secref{perception}.

Les limitations de rendu de la RA immersive et de l'haptique portable rendent difficile la manipulation d'objets virtuels directement avec la main.
Deux retours sensoriels peuvent améliorer cette manipulation, mais n'ont pas été étudiés en RA immersive: le retour visuel de la main virtuelle \cite{prachyabrued2014visual} et le retour haptique relocalisé sur la main \cite{teng2021touch}.
Pour ce second axe de recherche, nous proposons de concevoir des augmentations visuo-haptiques de la main comme des retours sensoriels aux interactions avec les objets virtuels.
Pour cela, nous étudions l'effet sur la performance et l'expérience de l'utilisateur du \textbf{(1) retour visuel de la main virtuelle en tant qu'augmentation de la main réelle} et de \textbf{(2) différentes relocalisations du retour haptique} avec de l'haptique vibrotactile portable comme retour des contacts de la main avec les objets virtuels, et ce, \textbf{en combinaison avec des augmentations visuelles de la main}.
Ces contributions sont détaillées dans la \secref{manipulation}.

\section{Augmentation de la perception visuo-haptique de texture de surfaces réelles}
\label{perception}

Pour ce premier axe de recherche, nous proposons de concevoir des augmentations visuo-haptiques portables de textures et d'évaluer leur perception. L'objectif est de mieux comprendre comment ces augmentations modifient la perception de texture.

\subsectionstarbookmark{Augmentations visuo-haptiques portables de texture}

Une approche efficace pour créer une texture haptique consiste à générer un signal vibrotactile simulant l'interaction du doigt avec la texture \cite{culbertson2014modeling,asano2015vibrotactile}.
Les vibrations sont générées par un dispositif vibrotactile de type \textit{voice-coil}, qui permet un contrôle indépendant de la fréquence et de l'amplitude du signal.
Ce dispositif est placé dans un outil tenu en main ou directement attaché sur le doigt.
Lorsqu'elles sont jouées en touchant une surface réelle, ces vibrations augmentent la rugosité perçue, c'est-à-dire les micro-aspérités de la surface \cite{culbertson2015should}.
Cependant, cette méthode n'a pas encore été intégrée dans un contexte de RA immersive.

\begin{subfigs}{vhar-system}{Notre système d'augmentation visuo-haptique portable de textures. }[][
  \item Le dispositif vibrotactile de type \textit{voice-coil} HapCoil-One, muni d'un marqueur de suivi, et attaché à la phalange moyenne de l'index de l'utilisateur.
  \item Notre implémentation utilise le casque de RA Microsoft HoloLens~2, une caméra externe pour le suivi de la main et des surfaces augmentées, ainsi qu'un ordinateur externe pour le traitement des données de suivi et le rendu des textures haptiques.
  ]
  \subfigsheight{60mm}
  \subfig{vhar-system-device-fr}
  \subfig{vhar-system-apparatus-fr}
\end{subfigs}

Nous proposons un \textbf{système de rendu de textures virtuelles visuelles et haptiques}, portables et immersives, qui augmentent les surfaces réelles.
Pour cela, nous utilisons le casque de réalité augmentée immersif Microsoft HoloLens~2 et un dispositif vibrotactile portable porté sur la phalange médiane (\figref{vhar-system-device-fr}).
Les augmentations visuo-haptiques peuvent être \textbf{visualisées sous n'importe quel angle} et \textbf{explorées librement avec le doigt}, comme s'il s'agissait de textures réelles.

Pour permettre un rendu précis et en temps réel, les mouvements de la main et des surfaces à augmenter sont suivies à l'aide d'une webcam et de marqueurs (\figref{vhar-system-apparatus-fr}).
Le signal vibrotactile est généré sous la forme d'un signal audio carré avec une fréquence variable en fonction de la vitesse du doigt, qui donne l'illusion de toucher une texture avec une période spatiale fixe \cite{asano2015vibrotactile}.
Mais comme le mouvement du doigt est suivi à une fréquence bien plus faible (\qty{60}{\hertz}) que le signal audio (\qty{48}{\kilo\hertz}), lorsque la fréquence du signal est modifié, la phase du signal ajustée en conséquence.
Cela permet de préserver la continuité du signal et obtenir un rendu stable de la texture vibrotactile.
Nous avons mesuré les temps de latence des rétroactions visuelles et haptiques, notés (moyenne $\pm$ écart-type)~:
La latence visuelle \qty{43 \pm 9}{\ms} est typique pour un système de RA \cite{knorlein2009influence}, et la latence haptique \qty{36 \pm 4}{\ms} est inférieure au seuil perceptuel de détection \cite{okamoto2009detectability}.

Ce système constitue la base expérimentale pour les deux prochaines études d'utilisateurs, qui évaluent la perception par l'utilisateur de ces augmentations visuo-haptiques portables de texture.

\subsectionstarbookmark{Effet du retour visuel de la main virtuelle sur la perception d'augmen-tation haptique portable de texture}

La plupart des augmentations haptiques avec de l'haptique portable, comme celles dans notre système d'augmentation de textures ci-dessus, ont été étudiées sans retour visuel, ni dans des environnements immersifs de RA ou de RV \cite{culbertson2017importance,friesen2024perceived}.
%Plus particulièrement, il n'a été pris en compte l'influence du rendu visuel sur leur perception.
Pourtant, le retour visuel peut modifier la perception de sensation haptiques réelles et virtuelles \cite{schwind2018touch,choi2021augmenting}, et la perception d'un même stimuli d'un dispositif haptique à retour de force  haptiques peut différer entre RA et RV \cite{diluca2011effects,gaffary2017ar}.

\begin{subfigs}{xr-perception}{Conditions expérimentales de l'étude utilisateur. }[][
  \item Le casque de RA Microsoft HoloLens~2, les deux masques en carton utilisés pour obtenir le même champ de vision dans toutes les conditions visuelles, et la pièce imprimée en 3D pour attacher les masques au casque.
  \item Vue à la première personne de la main et l'environment. Les participants ont exploré des augmentations vibrotactiles portables de rugosité dans trois conditions visuelles avec (\level{Réel}) leur vraie main seulement, (\level{RA}) une augmenation de main virtuelle réaliste en RA, et (\level{RV}) la même main virtuelle en RV.
  ]
  \subfigsheight{45mm}
  \subfig{xr-perception-headset-fr}
  \subfig{xr-perception-teaser-fr}
\end{subfigs}

C'est pourquoi nous avons étudié le \textbf{rôle du retour visuel de la main virtuelle et de l'environnement (réel ou virtuel) sur la perception d'une surface réelle dont la rugosité haptique est augmentée} avec de l'haptique vibrotactile portable.
Nous avons utilisé le système d'augmentation visuo-haptique présenté ci-dessus pour créer des augmentations vibrotactile de textures.
Nous avons ensuite évalué, dans le cadre d'une étude psychophysique avec 20 participants, l'augmentation de la rugosité perçue dans trois conditions de rendu visuel~: \textbf{(Réel) sans augmentation visuelle}, \textbf{(RA) avec une main virtuelle réaliste en RA} et \textbf{(RV) avec la même main virtuelle en RV} (\figref{xr-perception-teaser-fr}).
Pour contrôler l'influence du rendu visuel, la surface réelle n'a pas été augmentée visuellement et est restée la même dans toutes les conditions.

Les résultats montrent que le rendu visuel de la main (réelle ou virtuelle) et de l'environnement (RA ou RV) a eu un effet sur la perception des augmentations vibrotactiles portables de textures et sur le comportement d'exploration des participants.
Ces derniers ont perçu les textures comme plus rugueuses et avec une meilleure sensibilité lorsqu'ils touchaient avec leur vraie main (\figref{xr-perception-teaser-fr}, gauche).
Avec une main virtuelle, que ce soit en RA (\figref{xr-perception-teaser-fr}, milieu) ou en RV (\figref{xr-perception-teaser-fr}, droit), les textures semblaient en moyenne moins rugueuses, avec moins de sensibilité de la part des participants.
Le comportement d'exploration était également plus lent en RV qu'avec la main réelle seule.
Cependant les questionnaires n'ont pas montré de différence d'appréciation des textures haptiques entre les conditions visuelles.
Nous faisons l'hypothèse que cette différence de perception a été causée à la perception du temps de latence entre les mouvements des doigts et les différents retours sensoriels visuels, haptiques et proprioceptifs (\figref{interaction-loop-fr}): ces retours étaient identiques dans tous les rendus visuels, mais ont été plus perceptibles en RA et en RV qu'en l'absence d'augmentation visuelle.

Cette étude suggère qu'il est nécessaire de veiller aux différences latences de chaque boucle de rétroaction sensorielle, visuelle ou haptique, inhérentes à ces systèmes.
Plus important encore, il convient d'estimer \emph{la perception de leur asynchronisme}.
%Nous pensons que ces latences doivent être mesurées, réduites à un niveau acceptable pour les utilisateurs et maintenues perceptuellement synchronisées entre elles.
Il semble que l'aspect visuel de la main ou de l'environnement n'ait eu directement que peu d'effet sur la perception du retour haptique, mais que le retour visuel de la main virtuelle puisse affecter la perception des latences visuo-haptiques, même si elles restent identiques.

Nous étudions ensuite des augmentations simultanées et co-localisées de textures visuelles et haptiques.

\subsectionstarbookmark{Perception d'augmentations visuelles et haptiques portables de texture}

Nous pouvons estimer les textures des objets de la vie quotidienne en les touchant, mais également en les regardant \cite{baumgartner2013visual}.
Des méthodes de capture, de modélisation et de reproduction de la texture haptique de surface réelle ont été développées \cite{culbertson2014modeling}, et ont permis de concevoir des bases de données de textures visuo-haptiques \cite{culbertson2014one,balasubramanian2024sens3}.
Cependant, ce type d'augmentation de textures haptique n'a pas encore été exploré dans des environnements virtuels immersifs, ni dans un contexte d'augmentation haptique portable.

\begin{subfigs}{vhar-textures}{Textures utilisées et vue de l'utilisateur. }[][
  \item Les neuf textures visuo-haptiques utilisées dans l'étude utilisateur, sélectionnées dans la base de données HaTT \cite{culbertson2014one}. Les noms des textures n'ont jamais été affichés, afin d'éviter d'utiliser la mémoire visuelle ou haptique des textures des utilisateurs.
  \item Vue à la première personne des participants, avec des augmentations visuo-haptiques de textures sur des surfaces réelles, touchées directement avec le doigt.
  ]
  \subfigsheight{60mm}
  \subfig{vhar-textures-textures-fr}
  \subfig{vhar-textures-view-fr}
\end{subfigs}

Nous avons donc étudié des \textbf{augmentations visuelles et haptiques portables de textures de surfaces réelles}, co-localisées et touchées directement avec le doigt, comme si elles étaient réelles.
Nous avons utilisé neuf paires de \textbf{textures visuo-haptiques} de la base de données HaTT \cite{culbertson2014one}.
Nous avons simulé ces textures à l'aide du système d'augmentation visuo-haptique portable présenté ci-dessus (\figref{vhar-textures-textures-fr}).
Dans le cadre d'une \textbf{étude utilisateur}, 20 participants ont exploré librement toutes les combinaisons des neuf paires de textures visuo-haptiques afin d'évaluer leur cohérence, leur réalisme et leur rugosité perçue (\figref{vhar-textures-view-fr}).
Nous avons cherché à évaluer \textbf{quelles textures haptiques ont été associées à quelles textures visuelles}, comment la rugosité des textures visuelles et haptiques a été perçue, et si \textbf{la rugosité perçue} pouvait expliquer les associations faites par les participants.
Aucun rendu visuel de la main virtuelle n'a été utilisé dans cette étude, de manière similaire à la condition \level{Réel} de l'étude précédente.

Les participants n'ont pas été en mesure de retrouver les paires de textures visuelles et haptiques d'origine~; cependant, les résultats montrent qu'ils ont systématiquement identifié et associé des groupes de textures visuelles et haptiques avec une rugosité perçue similaire.
Ils ont en majorité expliqué qu'ils choisissaient la texture haptique qui leur semblait la plus similaire ou la plus naturelle par rapport à la rugosité, la granularité ou les imperfections de la texture visuelle.
Les participants ont également classé les textures visuelles seules, haptiques seules, ainsi que les paires visuo-haptiques d'origine.
Le classement des textures a ainsi montré que les participants avaient perçu de manière très similaire la rugosité des textures haptiques, mais il y a eu moins de consensus pour les textures visuelles.
La perception de la rugosité haptique prédominait dans le classement final de la perception de la rugosité des paires visuo-haptiques d'origine.

Cela suggère que des augmentations de textures visuelles en RA peuvent être combinées avec un ensemble de textures vibrotactiles haptiques de manière cohérente.
Avec l'étude précédente, cela ouvre la voie à de nouvelles applications de RA capables d'augmenter un environnement réel avec des textures visuo-haptiques virtuelles, telles que la peinture visuo-haptique dans un contexte artistique ou de conception d'objets, ou la visualisation et le toucher d'objets virtuels dans un musée ou une salle d'exposition.

\noindentskip Si nous percevons instinctivement les propriétés des objets du quotidien, nous interagissons essentiellement avec eux en les saisissant et en les manipulant.

\section{Amélioration de la manipulation d'objets virtuels}
\label{manipulation}

Pour ce second axe de recherche, nous proposons de concevoir et d'évaluer des retours sensoriels visuo-haptiques de la main et de ses interactions avec des objets virtuels.
L'objectif est de faciliter la manipulation d'objets virtuels en RA immersive.

\subsectionstarbookmark{Retour visuel de la main virtuelle en tant qu'augmentation de la main réelle}

Le retour visuel de la main virtuelle est un élément essentiel en RV pour interagir avec des objets virtuels avec la main \cite{prachyabrued2014visual,grubert2018effects}.
Certains travaux ont également étudié le retour visuel de la main virtuelle en RA, mais pas dans un contexte immersif de manipulation d'objets virtuels \cite{blaga2017usability,yoon2020evaluating} ou se sont limités à un seul retour visuel \cite{piumsomboon2014graspshell,maisto2017evaluation}.

\begin{subfigs}{visual-hand}{Les six rendus visuels de la main virtuelle, comme augmentation de la main réelle.}[
    Tel que vu par les participants à travers le casque RA lors de la saisie à deux doigts d'un cube virtuel.
  ][
  \item Pas de retour visuel.
  \item Masque permettre l'occulation du cube de la main.
  \item Cerles aux bouts des doigts.
  \item Contour fin de la main.
  \item Articulations et phalanges des doigts.
  \item Modèle 3D semi-transparent de la main.
  ]
  \subfig[0.22]{../4-manipulation/visual-hand/figures/method/hands-none}
  \subfig[0.22]{../4-manipulation/visual-hand/figures/method/hands-occlusion}
  \subfig[0.22]{../4-manipulation/visual-hand/figures/method/hands-tips}
  \par
  \subfig[0.22]{../4-manipulation/visual-hand/figures/method/hands-contour}
  \subfig[0.22]{../4-manipulation/visual-hand/figures/method/hands-skeleton}
  \subfig[0.22]{../4-manipulation/visual-hand/figures/method/hands-mesh}
\end{subfigs}

Nous donc avons étudié le \textbf{rendu visuel de la main virtuelle en tant qu'augmentation de la main réelle} pour la manipulation directe d'objets virtuels.
Nous avons tout d'abord sélectionné dans la littérature les rendus visuels de main les plus utilisés pour interagir avec des objets virtuels en RA.
La main virtuelle est ainsi \textbf{affichée en surimpression} sur la main de l'utilisateur, fournissant \textbf{un retour d'information sur son suivi}, comme le montre \figref{visual-hand}, en utilisant le casque RA Microsoft HoloLens~2.
Le mouvement de la main virtuelle est également physiquement \textbf{contraint sur les objets virtuels}, fournissant un \textbf{retour d'information supplémentaire sur l'interaction}.
Nous avons alors mené une \textbf{étude utilisateur}, avec 24 participants, pour évaluer l'effet de six augmentations visuelles de la main sur la performance et l'expérience utilisateur dans deux tâches de manipulation représentatives~: placer un objet virtuel dans une cible, soit en le poussant, soit en le saisissant (\figref{visuo-haptic-hand-task-grasp-fr}).

Nos résultats montrent qu'une augmentation visuelle de la main a amélioré les performances, l'efficacité perçue et la confiance des participants par rapport à l'absence d'augmentation.
Le rendu sous forme de squelette, qui fournit une vue détaillée des articulations et des phalanges suivies, mais sans cacher la main réelle, s'est avéré le plus performant et le plus efficace.
Le rendu des contours et le rendu du modèle 3D ont partiellement masqué la main réelle, tandis que le rendu aux extrémités des doigts a reçu des avis partagés.
Le rendu d'occultation avait une latence perçue de suivi de la main trop importante pour être efficace et compris par les participants.
Ces résultats sont cohérents avec ceux d'études antérieures sur la RV et les RA non immersives.

Cette étude suggère qu'une augmentation visuelle de la main en 3D est importante pour interagir avec une technique de main virtuelle en RA.
Cela semble particulièrement requis lorsque l'utilisateur doit effectuer des mouvements précis avec ses doigts sur le contenu virtuel, comme avec des fenêtres 3D, des boutons ou des curseurs, ou encore lors de tâches plus complexes, telles que l'empilage ou l'assemblage d'objets virtuels.
Un rendu minimal mais détaillé de la main virtuelle, qui ne cache pas la main réelle, tel que le rendu du squelette que nous avons évalué, semble ainsi être le meilleur compromis entre le détail du retour d'information et son gain d'efficacité.

En comparaison de l'augmentation visuelle de la main, la manipulation d'objets virtuels peut également bénéficier d'un retour haptique.

\subsectionstarbookmark{Retour visuo-haptique des contacts de la main avec des objets virtuels}

Comme décrit dans l'introduction, un dispositif haptique ne peut pas être placé sur les extrémités des doigts ou dans l'intérieur de la main, afin de ne pas entraver ses interactions avec l'envi-ronnement réel.
Le dispositif haptique, tout en fournissant un retour d'information sur les contacts de la main avec les objets virtuels, doit donc être placé ailleurs que cette zone de contact~: par exemple, donner un retour haptique sur le poignet des contacts des extrémités des doigts avec le contenu virtuel \cite{palmer2022haptic,sarac2022perceived}.
Des travaux antérieurs ont montré que de tels dispositifs haptiques portables peuvent améliorer de manière significative les performances et l'expérience utilisateur lors de la manipulation d'objets virtuels avec la main \cite{maisto2017evaluation,meli2018combining}.
Cependant, il n'est pas clair quel placement de l'actionneur est le plus bénéfique et comment un tel retour haptique relocalisé se compare à une augmentation visuelle de la main.

\begin{subfigs}{visuo-haptic-hand}{Conditions expérimentales de l'étude utilisateur. }[][
  \item Les différents placements du dispositif vibrotactile sur la main de l'utilisateur~: sur les ongles, les phalanges proximales, le poignet, et les ongles de la main opposée. Deux moteurs de type ERM étaient attachés avec des sangles auto-agrippantes.
  \item Photomontage de la tâche de saisie~: les participants devaient saisir et placer un cube virtuel vers une cible (LB, RB, RF et LF sur la figure) placée sur un plan \qty{20}{\cm} plus haut. Une seule cible était affichée à la fois.
  ]
  \subfig[.5]{visuo-haptic-hand-locations-fr}
  \subfig[.45]{visuo-haptic-hand-task-grasp-fr}
\end{subfigs}

C'est pourquoi nous étudions le rôle du \textbf{retour visuo-haptique de la main lors de la manipulation d'objets virtuels} en RA immersive en utilisant de l'haptique vibrotactile portable.
Nous avons tout d'abord sélectionné \textbf{quatre placements du dispositif haptique sur la main} qui ont été proposées dans la littérature~: sur les ongles, les phalanges proximales, le poignet et les ongles de la main opposée (\figref{visuo-haptic-hand-locations-fr}).
Nous nous sommes concentrés sur le retour vibrotactile, car il est présent dans la plupart des dispositifs haptiques portables et est le moins encombrant.
Nous avons utilisé en pratique deux moteurs vibrotactiles de type ERM car ils sont les plus compacts et n'affectent pas le suivi de la main \cite{pacchierotti2016hring}, mais ils permettent seulement de contrôler l'amplitude du signal.
Dans une \textbf{étude utilisateur}, avec 20 participants, nous avons évalué l'effet des quatre placements avec \textbf{deux techniques de vibration de contact} sur la performance et l'expérience utilisateur.
Les participants ont effectué les deux mêmes tâches de manipulation que dans l'étude sur l'augmentation visuelle de la main (\figref{visuo-haptic-hand-task-grasp-fr}).
Enfin, nous avons comparé ces rendus vibrotactiles avec le \textbf{l'augmentation visuelle des phalanges de la main} (\figref{../4-manipulation/visual-hand/figures/method/hands-skeleton}). % établi dans l'étude sur l'augmentation visuelle de la main comme un retour d'information visuo-haptique complémentaire de l'interaction de la main avec les objets virtuels.

Les résultats ont montré que lorsqu'il était placé à proximité du point de contact, le retour vibrotactile relocalisé de la main améliorait la sensation d'efficacité, de réalisme et d'utilité des participants.
Cependant, le placement le plus éloigné, sur la main opposée, a donné les meilleures performances, même s'il a été peu apprécié : ce placement inhabituel a probablement incité les participants à prêter plus attention au retour haptique et à se concentrer davantage sur la tâche.
La technique de vibration au contact a été suffisante comparée à une technique plus élaborée d'intensité de la vibration en fonction de la force de contact.
L'augmentation visuelle de la main a été perçue comme moins nécessaire que le retour haptique vibrotactile, mais a tout de même fourni un retour utile sur le suivi de la main.
Cette étude confirme que la relocalisation du retour haptique est une approche simple, mais prometteuse pour l'haptique portable en RA immersive.

Si l'intégration avec le système de suivi de la main le permet et si la tâche l'exige, un anneau haptique porté sur la phalange moyenne ou proximale semble préférable : c'est l'approche que nous avons par ailleurs utilisée dans notre axe de recherche sur les augmentations de textures (\secref{perception}).
Cependant, un dispositif haptique monté sur le poignet pourra fournir un retour d'information plus riche en intégrant différents dispositifs haptiques, tout en étant potentiellement moins gênant qu'une bague.
Enfin, nous pensons que l'augmentation visuelle de la main complète bien le rendu du contact haptique en fournissant un retour continu sur le suivi de la main.
Elle peut être alors désactivée pendant la phase de saisie pour éviter la redondance avec le retour haptique du contact avec l'objet virtuel.

\section{Conclusion}
\label{conclusion}

Dans ce manuscrit de thèse, nous avons montré comment la RA immersive et l'haptique portable peuvent améliorer l'interaction de la main avec des objets virtuels.
Les dispositifs haptiques portables sont capables de fournir un retour tactile aux objets virtuels et d'augmenter la perception des objets réels touchés avec le doigt, tout en préservant la liberté de mouvement et d'interaction de la main avec l'environnement réel.
Cependant, leur intégration avec la RA reste encore récente et présente de nombreux défis conceptuels, techniques et d'expérience utilisateur.
Nous avons structuré cette thèse autour de deux axes de recherche~: \textbf{(I) modifier la perception visuo-haptique de la texture des surfaces réelles} et \textbf{(II) améliorer la manipulation des objets virtuels}.

\noindentskip Nous nous sommes tout d'abord intéressés à la perception de texture visuo-haptique virtuelles portables et immersives qui augmentent des surfaces réelles (\secref{perception}).
La texture est une propriété fondamentale d'un objet, perçue aussi bien par la vue que par le toucher.
C'est également l'une des augmentations haptiques les plus étudiées, mais elle n'avait pas encore été intégrée à des contextes de toucher direct en RA ou RV.

Ainsi, nous avons \textbf{(1) proposé un système d'augmentations visuo-haptiques portables de texture}.
Ce système peut \textbf{augmenter n'importe quelle surface} à l'aide d'un casque de RA immersif et d'un dispositif vibrotactile portable placé sur le doigt.
Il permet également une \textbf{exploration visuelle et tactile libre des textures}, comme si elles étaient réelles, permettant à l'utilisateur de les voir sous différents angles et de les toucher directement avec le doigt, sans contrainte de mouvement de la main.
Les deux études d'utilisateurs suivantes étaient basées sur ce système.

Puis, \textbf{(2)} évalué comment la perception d'augmentation haptique portable de texture est \textbf{affectée par le retour visuel de la main virtuelle} et de l'environnement (réel, augmenté ou virtuel)
Nous avons mené une étude psychophysique afin d'évaluer l'augmentation de la rugosité perçue dans trois conditions visuelles~: sans augmentation visuelle, avec une augmentation visuelle de la main réaliste en RA, et avec la même main virtuelle en RV.
Les textures ont été perçues comme \textbf{plus rugueuses lorsqu'elles étaient touchées avec la main réelle seule par rapport à une main virtuelle}, que ce soit en RA ou en RV.
Cela est probablement dû au \textbf{temps de latence perçu} entre les mouvements des doigts et les différentes rétroactions visuelles, haptiques et proprioceptives.

Enfin, nous avons \textbf{(3) étudié la perception d'augmentations visuelles et haptiques portables de textures} simultanées et co-localisées.
Nous avons utilisé des textures visuo-haptiques de la base de données HaTT, capturées sur des surfaces réelles.
Puis nous avons mené une étude utilisateur pour évaluer la cohérence, le réalisme et la rugosité perçue de toutes les combinaisons de ces neuf paires de textures visuo-haptiques.
Les participants ont systématiquement identifié et fait correspondre \textbf{les groupes de textures visuelles et haptiques avec une perception de rugosité similaire}, et ont bien intégré les sensations de rugosité provenant des modalités visuelles et haptiques, les \textbf{sensations haptiques dominant la perception}.

\noindentskip Nous nous sommes également cherché à amélioré la manipulation d'objets virtuels directement avec la main.
La manipulation d'objets virtuels est une tâche fondamentale dans les systèmes 3D, mais elle reste difficile à effectuer avec la main.
Nous avons alors exploré deux retours sensoriels connus pour améliorer ce type d'interaction, mais non étudiés en RA immersive~: le retour visuel de la main virtuelle et le retour haptique relocalisé sur la main.
%Notre approche a consisté à concevoir des augmentations visuelles de la main et un retour haptique portable relocalisé, sur la base de la littérature, et à les évaluer dans le cadre d'études sur les utilisateurs.

Nous donc avons d'abord examiné \textbf{(1) l'augmentation visuelle de la main}.
Ce sont des rendus visuels de la main virtuelle, qui fournissent un retour d'information sur le suivi de la main et sur l'interaction avec les objets virtuels.
Nous avons comparé, avec une étude utilisateur, six augmentations visuelles de la main couramment utilisées dans la littérature.
Elles ont amélioré les performances des participants ainsi que la sensation d'efficacité et de confiance.
Un \textbf{rendu des phalanges étant le plus performant et le plus efficace}, car il offrait une vue détaillée du suivi de la main tout en étant suffisamment fin pour ne pas la cacher.

Nous avons enfin \textbf{(2) étudié le rôle du retour visuo-haptique de la main} lors de la manipulation d'objets virtuels, en utilisant de l'haptique vibrotactile portables.
Dans une étude utilisateur, nous avons comparé deux techniques de contact vibrotactile, fournies à \textbf{quatre placements délocalisées sur la main}, et combinées avec l'augmentation visuelle des phalanges de la main.
Ce retour d'information vibrotactile a \textbf{amélioré la sensation d'efficacité, de réalisme et d'utilité lorsqu'il était placé à proximité du bout des doigts}
En outre, l'augmentation visuelle de la main a bien complété l'haptique en fournissant un retour d'information continu sur le suivi de la main.

%\noindentskip Ces travaux ont bien sûr des limites et ouvert de nouvelles questions.

\selectlanguage{english}