WIP résumé

5-conclusion/résumé.tex

@@ -1,20 +1,189 @@
+\selectlanguage{french}
 \chapter{Résumé long en français}
-\mainlabel{publications}
+\mainlabel{résumé}
 
-\section{Introduction}
+\nochaptertoc
 
-\subsection{Défis de la réalité augmentée visuo-haptique portable}
+Dans ce manuscrit de thèse, nous montrons comment la \emph{réalité augmentée (RA)}, qui intègre un contenu visuel virtuel dans la perception du monde réel, et l'\emph{haptique portable}, qui fournit des sensations tactiles sur la peau, peuvent améliorer l'interaction avec la main avec le contenu virtuel.
+Notre objectif est de permettre aux utilisateurs de percevoir et manipuler des augmentations visuo-haptiques portables, comme si elles étaient réelles, directement avec leurs mains.
 
-\subsection{Objectifs et contributions de la thèse}
+\section*{Introduction}
 
-\section{Augmentation visuo-haptique des textures dans la réalité mixte via l'haptique vibrotactile}
+\subsection*{Augmentations visuelles et haptiques des objets}
 
-\section{Perception d'augmentation haptique de texture en réalités augmentées et virtuelles}
+Nous regardons, touchons et manipulons de manière conjointe les objets du quotidien sans même y penser.
+L'ensemble des informations sensorielles et des mouvements de notre main nous permettent de construire instinctivement une perception de l'objet que nous explorons \cite{ernst2004merging}.
+Mais la complexité des sensations du sens du toucher et des actions de la main rend difficile de les recréer artificiellement \cite{culbertson2018haptics}.
 
-\section{Perception des augmentations visuelles et haptiques de la texture dans la réalité augmentée}
+L'\emph{haptique} est l'étude du sens du toucher et des dispositifs qui impliquent le toucher \cite{klatzky2013haptic}.
+Petits et légers, les \textbf{dispositifs haptiques dits \emph{portables} sont directement montées sur la peau} et sans restreindre les mouvements de l'utilisateur \cite{pacchierotti2017wearable} ; ils peuvent fournir des sensations tactiles riches, par exemple de pression, d'étirement, de vibrations, de température.
+Cependant l'intégration de l'haptique portable avec la RA a encore été peu explorée.
 
-\section{Rendu visuel de la main pour la manipulation d'objets virtuels en réalité augmentée}
+En intégrant du contenu virtuel dans la perception du monde réel, \textbf{la RA donne à un utilisateur l'illusion d'un environnement augmenté unique} \cite{azuma1997survey,skarbez2021revisiting}.
+Cette technologie est étroitement liée à la \emph{réalité virtuelle (RV)}, qui remplace complètement la perception de l'environnement réel d'un utilisateur par un environnement virtuel.
+La virtualité et l'augmentation peuvent être visuelles ou haptiques.
+Ainsi, un dispositif haptique fournit des sensations dites virtuelles à un utilisateur.
+Une \textbf{augmentation haptique est la modification de la perception avec des sensations haptiques virtuelles} d'un objet réel touché par un utilisateur \cite{jeon2015haptic,bhatia2024augmenting}.
+Un aspect important de l'illusion de la RA (et de la RV) est la \emph{plausibilité}, c'est-à-dire l'illusion pour un utilisateur que les événements virtuels se produisent vraiment \cite{slater2022separate}. %, même si l'utilisateur sait qu'ils ne sont pas réels.
 
-\section{Rendu visuo-haptique de la manipulation d'objets virtuels avec la main en réalité augmentée}
+Dans ce contexte, nous appelons \emph{système de RA} l'ensemble des dispositifs matériels (dispositifs d'entrée, capteurs, affichages et dispositifs haptiques) et logiciels (suivi, simulation et rendu) qui permettent à l'utilisateur d'interagir avec l'environnement augmenté.
+Les casques de RA sont la technologie d'affichage la plus prometteuse, car ils sont portables, fournissent à l'utilisateur un environnement augmenté \emph{immersif} et laissent les mains libres d'interagir \cite{hertel2021taxonomy}.
+Un retour haptique est alors indispensable pour assurer une interaction plausible et cohérente avec le contenu virtuel visuel.
+C'est pourquoi l'haptique portable semble particulièrement adaptée à la RA immersive.
 
-\section{Conclusion}
+\subsection*{Défis de la réalité augmentée visuo-haptique portable}
+
+L'intégration de l'haptique portable avec la RA immersive pour créer un environnement augmenté visuo-haptique est cependant complexe et présente de nombreux défis.
+Nous proposons de représenter l'expérience de l'utilisateur dans un tel environnement comme une boucle d'interaction, illustrée dans \figref{interaction-loop-fr} et basée sur les boucles d'interactions avec les systèmes 3D \cite[p.84]{laviolajr20173d}.
+Un utilisateur interagit avec les environnements virtuels visuels et haptiques via une main virtuelle qui suit les mouvements de sa main et simule l'interaction avec des objets virtuels.
+Les environnements virtuels sont rendus en retour à l'utilisateur avec un casque de RA immersif et de l'haptique portable, qui les perçois comme co-localisés avec l'environnement réel.
+
+\fig{interaction-loop-fr}{La boucle d'interaction entre un utilisateur et un environnement augmenté visuo-haptique telle que proposée dans cette thèse.}
+
+Dans cette thèse, nous abordons deux axes de recherches principaux~:
+\textbf{(I) fournir des augmentations visuo-haptiques plausibles et cohérentes}, et
+\textbf{(II) permettre une manipu-lation efficace de l'environnement augmenté}.
+
+La plupart des dispositifs haptiques portables ont été conçus et évalués pour une utilisation en RV, et stimulent le bout des doigts \cite{culbertson2018haptics}.
+Cependant, un utilisateur en RA doit pouvoir toucher l'environnement réel avec sa main.
+Il est alors nécessaire de déplacer le dispositif haptique à un autre endroit, sur l'ongle \cite{teng2021touch}, une autre phalange \cite{detinguy2018enhancing} ou le poignet \cite{pezent2019tasbi}.
+Les sensations haptiques virtuelles ne sont alors pas co-localisées avec le contact réel, ce qui peut affecter la perception globale.
+Les sensations virtuelles, haptiques et visuelles, peuvent également être perçues comme incohérentes avec les sensations réelles, par exemple en raison d'une qualité de rendu trop faible, de la latence ou d'un décalage dans l'espace.
+Enfin, en RA et contrairement à la RV, on peut voir ses mains, les objets réels et les dispositifs haptiques portés.
+Il est important de mieux comprendre l'impact de ces facteurs sur la perception des augmentations visuo-haptiques.
+
+Toucher, saisir et manipuler des objets virtuels sont des interactions fondamentales en RA \cite{kim2018revisiting} et avec les environnements virtuels \cite[p.385]{laviolajr20173d}.
+S'il est naturel de manipuler avec la main un objet réel augmenté, il est plus difficile de manipuler un objet totalement virtuel, par essence intangible \cite{piumsomboon2014graspshell}.
+D'une part, les systèmes de RA immersifs ont des limitations de rendu visuel qui affectent la perception et l'interaction avec les objets virtuels, comme la sous-estimation de la profondeur \cite{adams2022depth}, le manque d'occultations mutuelles \cite{macedo2023occlusion} et la latence du suivi de la main \cite{prachyabrued2014visual}.
+En outre, les dispositifs haptiques portables ne peuvent pas fournir de retour de force et contraindre physiquement la main de l'utilisateur au contact d'un objet virtuel \cite{maisto2017evaluation}.
+Il reste à étudier quel type de retour visuel ou haptique portable ou leur combinaison, est le plus à même de faciliter la manipulation d'un objet virtuel.
+
+\subsection*{Objectifs et contributions de la thèse}
+
+Nous déclinons cette thèse en deux axes de recherches, chacun répondant à l'un des défis de recherche identifiés ci-dessus~:
+\textbf{(I) augmenter la perception visuo-haptique de texture de surfaces réelles}, et
+\textbf{(II) améliorer la manipulation d'objets virtuels}.
+
+Les systèmes haptiques portables peuvent donc modifier la perception d'une surface réelle touchée avec le doigt, sans modifier l'objet ni couvrir le bout du doigt.
+Cependant, les augmentations haptiques en RA ainsi que les augmentations visuo-haptiques de textures ont été peu explorées.
+Les textures sont en effet l'une des principales propriétés perçues d'un objet \cite{okamoto2013psychophysical}, aussi bien par la vue que le toucher \cite{baumgartner2013visual}, et une augmentation haptique bien étudiée \cite{friesen2024perceived}.
+Nous proposons donc pour ce premier axe de recherche de concevoir des augmentations visuo-haptiques de textures avec un retour portable et immersif et d'évaluer leur perception.
+Pour cela, nous : \textbf{(1) concevons un système d'augmentation visuo-haptique de textures} avec de l'haptique portable vibrotactile, \textbf{(2) évaluons comment la perception des augmentations haptiques de textures haptiques portable est affectée par le retour visuel de la main virtuelle et de l'environnement}, et \textbf{(3) étudions la perception d'augmentations visuelles et haptiques de textures}.
+
+Les limitations de rendu de la RA immersive et de l'haptique portable rendent difficile de manipuler des objets virtuels directement avec la main.
+Deux retours sensoriels peuvent améliorer cette manipulation, mais n'ont pas été étudiées en RA immersive: le retour visuel de la main virtuelle \cite{prachyabrued2014visual} et le retour haptique relocalisé sur la main \cite{teng2021touch}.
+Pour ce second axe de recherche, nous proposons de concevoir des augmentations visuo-haptique de la main comme retour aux interactions avec des objets virtuels.
+Pour cela, nous étudions l'effet sur la performance et l'expérience de l'utilisateur du \textbf{(1) retour visuel de la main virtuelle en tant qu'augmentation de la main réelle} et de \textbf{(2) différentes relocalisations du retour haptique} avec de l'haptique portable vibrotactile comme retour des contacts de la main avec les objets virtuels et \textbf{en combinaison avec des augmentations visuelles de la main}.
+
+\section*{Axis I~: Augmentation de la perception visuo-haptique de texture de surfaces réelles}
+
+\subsection*{1\quad Augmentations visuo-haptiques portables de texture}
+
+First, an effective approach to render haptic textures is to generate a vibrotactile signal that represents the finger-texture interaction \cite{culbertson2014modeling,asano2015vibrotactile}.
+Yet, to achieve natural interaction with the hand and coherent visuo-haptic feedback, it requires a real time rendering of the textures, no constraints on hand movements, and good synchronization between the visual and haptic feedback.
+Thus, our first objective is to \textbf{design an immersive, real time system} that allows free exploration of \textbf{wearable visuo-haptic texture augmentations} on real surfaces with the bare hand.
+This will form the basis of the next two chapters in this section.
+
+\subsection*{2\quad Effet du retour visuel de la main virtuelle sur la perception d'augmen-tation haptique de texture}
+
+Second, many works have investigated the haptic augmentations of texture, but none have integrated them with \AR and \VR, or considered the influence of visual feedback on their perception.
+Still, it is known that visual feedback can alter the perception of real and virtual haptic sensations \cite{schwind2018touch,choi2021augmenting} but also that the force feedback perception of grounded haptic devices is not the same in \AR and \VR \cite{diluca2011effects,gaffary2017ar}.
+Hence, our second objective is to \textbf{evaluate how the perception of wearable haptic texture augmentation is affected by the visual feedback of the virtual hand and the environment} (real, augmented or virtual).
+
+\subsection*{3\quad Perception d'augmentations portables visuelles et haptiques de texture}
+
+Finally, visuo-haptic texture databases have been created from real texture captures \cite{culbertson2014penn,balasubramanian2024sens3} to be rendered as virtual textures with hand-held haptic devices that are perceived as similar to real textures \cite{culbertson2015should,friesen2024perceived}.
+However, the rendering of these textures in an immersive and natural visuo-haptic \AR using wearable haptics remains to be investigated.
+Our third objective is to \textbf{evaluate the perception of simultaneous and co-localized wearable visuo-haptic texture augmentations} of real surfaces in \AR.
+
+\section*{Axis II~: Amélioration de la manipulation d'objets virtuels}
+
+\subsection*{1\quad Retour visuel de la main virtuelle en tant qu'augmentation de la main réelle}
+
+First, the visual feedback of the virtual hand is a key element for interacting and manipulating virtual objects in \VR \cite{prachyabrued2014visual,grubert2018effects}.
+Some work has also investigated the visual feedback of the virtual hand in \AR \cite{piumsomboon2014graspshell,blaga2017usability}, but not in an immersive context of virtual object manipulation.
+\OST-\AR also has significant perceptual differences from \VR due to the visibility of the real hand and environment, which can affect user experience and performance \cite{yoon2020evaluating}.
+Thus, our fourth objective is to \textbf{investigate the visual feedback of the virtual hand as augmentation of the real hand} for direct hand manipulation of virtual objects.
+
+\begin{subfigs}{hands}{The six visual hand renderings as augmentation of the real hands.}[
+    As seen by the user through the \AR headset during the two-finger grasping of a virtual cube.
+  ][
+  \item No visual rendering \level{(None)}.
+  \item Cropped virtual content to enable hand-cube occlusion \level{(Occlusion, Occl)}.
+  \item Rings on the fingertips \level{(Tips)}.
+  \item Thin outline of the hand \level{(Contour, Cont)}.
+  \item Fingers' joints and phalanges \level{(Skeleton, Skel)}.
+  \item Semi-transparent \ThreeD hand model \level{(Mesh)}.
+  ]
+  \subfig[0.22]{../4-manipulation/visual-hand/figures/method/hands-none}
+  \subfig[0.22]{../4-manipulation/visual-hand/figures/method/hands-occlusion}
+  \subfig[0.22]{../4-manipulation/visual-hand/figures/method/hands-tips}
+  \par
+  \subfig[0.22]{../4-manipulation/visual-hand/figures/method/hands-contour}
+  \subfig[0.22]{../4-manipulation/visual-hand/figures/method/hands-skeleton}
+  \subfig[0.22]{../4-manipulation/visual-hand/figures/method/hands-mesh}
+\end{subfigs}
+
+\subsection*{2\quad Retour visuo-haptique des contacts de la main avec des objets virtuels}
+
+Second, as described above, the haptic actuators need to be moved away from the fingertips to not impair the hand movements, sensations and interactions with the \RE.
+Previous work has shown that wearable haptics that provide feedback on hand manipulation with virtual objects in \AR can significantly improve user performance and experience \cite{maisto2017evaluation,meli2018combining}.
+However, it is unclear which positioning of the actuator is most beneficial and how delocalized haptic feedback of the hand-object contacts compares or complements visual augmentation of the hand.
+Our last objective is to \textbf{investigate the delocalized haptic feedback of virtual object manipulation} with the hand, in \textbf{combination with visual augmentations of the hand}, using wearable vibrotactile haptics.
+
+\begin{subfigs}{visuo-haptic-hand}{The two manipulation tasks of the user study.}[
+    Both pictures show the cube to manipulate in the middle (\qty{5}{\cm} and opaque) and the eight possible targets to reach (\qty{7}{\cm} cube and semi-transparent).
+    Only one target at a time was shown during the experiments.
+    To ensure minimal encumbrance, we used the same two motors throughout the experiment, moving them to the considered positioning before each new experimental block (in this case, on the co-located \level{Proximal} phalange).
+    Thin self-gripping straps were placed on the five considered positionings during the entirety of the experiment
+  ][
+  \item Setup of the vibrotactile positionings on the hand.
+  \item Grasp task: grasping and lifting the virtual cube towards a target placed on a \qty{20}{\cm} higher plane.
+  ]
+  \subfigsheight{70mm}
+  \subfig{visuo-haptic-hand-locations-fr}
+  \subfig{visuo-haptic-hand-task-grasp-fr}
+\end{subfigs}
+
+\section*{Conclusion}
+
+Dans ce manuscrit de thèse, nous avons montré comment l'haptique portable peut améliorer l'interaction avec la main avec le contenu virtuel dans un contexte de RA immersive.
+Les dispositifs haptiques portables sont capables de fournir un retour tactile aux objets virtuels et augmenter la perception des objets réels, tout en préservant la liberté de mouvement et d'interaction de la main avec l'environnement réel.
+Cependant, leur intégration avec la RA reste encore récente et présente de nombreux défis conceptuels, techniques et humains.
+Nous avons structuré cette thèse autour de deux axes de recherche : \textbf{(I) modifier la perception visuo-haptique de la texture des surfaces réelles} et \textbf{(II) améliorer la manipulation des objets virtuels}.
+
+\noindentskip Nous avons tout d'abord étudié
+
+We focused on modifying the perception of wearable and immersive virtual textures that augment real surfaces.
+Texture is a fundamental property of an object, perceived equally by sight and touch.
+It is also one of the most studied haptic augmentations, but has not yet been integrated into \AR or \VR.
+We \textbf{(1) proposed a wearable visuo-haptic texture augmentation system}, \textbf{(2)} evaluated how the perception of haptic texture augmentations is \textbf{affected by the visual feedback of the virtual hand} and the environment (real, augmented, or virtual), and \textbf{(3)} investigated the \textbf{perception of co-localized visuo-haptic texture augmentations}.
+
+We presented a system for \textbf{augmenting any real surface} with virtual \textbf{roughness textures with visuo-haptic feedback} using an immersive \AR headset and a wearable vibrotactile device worn on the middle phalanx of the finger.
+It allows \textbf{free visual and touch exploration} of the textures as if they were real, allowing the user to view them from different angles and touch them with the bare finger without constraints on hand movement.
+The user studies in the next two chapters were based on this system.
+
+We explored how the perception of wearable haptic augmented textures is affected by the visual feedback of the virtual hand and the environment, whether it is real, augmented or virtual.
+We augmented the perceived roughness of the real surface with virtual vibrotactile patterned textures and rendered the visual conditions by switching the \OST-\AR headset to a \VR-only view.
+We then conducted a psychophysical user study with 20 participants to evaluate the perceived roughness augmentation in these three visual conditions.
+The textures were perceived as \textbf{rougher when touched with the real hand alone compared to a virtual hand} in either \AR or \VR, possibly due to the \textbf{perceived latency} between finger movements and different visual, haptic, and proprioceptive feedbacks.
+
+We investigated the perception of co-localized visual and wearable haptic texture augmentations on real surfaces.
+We transposed the \textbf{data-driven visuo-haptic textures} from the \HaTT database to the system presented  and conducted a user study with 20 participants to rate the coherence, realism, and perceived roughness of the combination of nine visuo-haptic texture pairs.
+Participants integrated roughness sensations from both visual and haptic modalities well, with \textbf{haptics dominating perception}, and consistently identified and matched \textbf{clusters of visual and haptic textures with similar perceived roughness}.
+
+\noindentskip We focused on improving the manipulation of virtual objects directly with the hand in immersive \OST-\AR.
+Our approach was to design visual augmentations of the hand and delocalized haptic feedback, based on the literature, and evaluate them in user studies.
+We first considered \textbf{(1) the visual augmentation of the hand} and then the \textbf{(2)} combination of different \textbf{visuo-haptic feedback of the hand when manipulating virtual objects}.
+
+We investigated the visual feedback of the virtual hand as an augmentation of the real hand.
+Seen as an \textbf{overlay on the user's hand}, such visual hand renderings provide feedback on hand tracking and interaction with virtual objects.
+We compared the six commonly used visual hand augmentations in the \AR literature in a user study with 24 participants, where we evaluated their effect on user performance and experience in two representative manipulation tasks.
+The results showed that a visual hand augmentation improved user performance, perceived effectiveness and confidence, with a \textbf{skeleton-like rendering being the most performant and effective}.
+This rendering provided a detailed view of the tracked phalanges while being thin enough not to hide the real hand.
+
+We then investigated visuo-haptic feedback to direct hand manipulation with virtual objects using wearable vibrotactile haptics.
+In a user study with a similar design and 20 participants, we compared two vibrotactile contact techniques, provided at \textbf{four different delocalized positions on the user's hand}, and combined with the two most representative visual hand augmentations from the previous chapter.
+The results showed that providing vibrotactile feedback \textbf{improved the perceived effectiveness, realism, and usefulness when provided close to the fingertips} and that the visual hand augmentation complemented the haptic contact feedback in providing a continuous feedback on hand tracking.
+
+\selectlanguage{english}