Remove comments

This commit is contained in:
2025-05-01 22:31:51 +02:00
parent 0202efeb06
commit e01e63d4cf
22 changed files with 19 additions and 244 deletions

View File

@@ -7,7 +7,7 @@ We conclude this thesis manuscript by summarizing our contributions and the main
\section{Summary}
In this manuscript, we showed how \OST-\AR headsets and wearable haptics can improve direct hand interaction with virtual and augmented objects. % by augmenting the perception of the real and manipulation of the virtual.
In this manuscript, we showed how \OST-\AR headsets and wearable haptics can improve direct hand interaction with virtual and augmented objects.
Wearable haptics can provide rich tactile feedback on virtual objects and augment the perception of real objects, both directly touched by the hand, while preserving freedom of movement and interaction with the \RE.
However, their integration with \AR is still in its infancy and presents many design, technical and human challenges.
We have structured this thesis around two research axes: \textbf{(I) modifying the visuo-haptic texture perception of real surfaces} and \textbf{(II) improving the manipulation of virtual objects}.
@@ -79,7 +79,7 @@ This would allow a complete portable and wearable visuo-haptic system to be used
In our user study, we assessed the effect of touching a vibrotactile texture augmentation with a real hand or a virtual hand, in \AR or \VR.
To control for the visual feedback, we decided not to display the virtual texture so that participants only saw and touched a uniform white real surface.
The visual information of a texture is as important as the haptic sensations for the perception of roughness, and the interaction between the two to form the overall texture perception is complex \cite{bergmanntiest2007haptic,yanagisawa2015effects,vardar2019fingertip}.
In particular, it remains to be investigated how the vibrotactile patterned textures we employed can be represented visually in a convincing way, as the visuo-haptic coupling of such virtual patterned textures is not trivial \cite{unger2011roughness}. % even with real textures \cite{klatzky2003feeling}.
In particular, it remains to be investigated how the vibrotactile patterned textures we employed can be represented visually in a convincing way, as the visuo-haptic coupling of such virtual patterned textures is not trivial \cite{unger2011roughness}.
\paragraph{Broader Visuo-Haptic Conditions.}
@@ -182,9 +182,6 @@ It would therefore be interesting to determine which wearable haptic augmentatio
Similar user studies could then be conducted, to reproduce as many haptic properties as possible in virtual object discrimination tasks.
These results would enable the design of more universal wearable haptic devices that provide rich haptic feedback that best meets users' needs for interaction in \AR and \VR.
% systematic exploration of the parameter space of the haptic rendering to determine the most important parameters their influence on the perception
% measure the difference in sensitivity to the haptic feedback and how much it affects the perception of the object properties
\subsection*{Responsive Visuo-Haptic Augmented Reality}
We reviewed the diversity of \AR and \VR reality displays and their respective characteristics in rendering (\secref[related_work]{ar_displays}) and the manipulation of virtual content with the hand (\chapref{visual_hand}).
@@ -205,11 +202,3 @@ Methods should also be developed to allow the user to easily adjust the haptic f
Finally, more practical use cases and applications of visuo-haptic \AR should be explored and evaluated.
For example, capturing visuo-haptic perceptions of objects and sharing them in a visioconference with different \AR or \VR setups per participant, or in a medical teleconsultation.
It could also be projecting and touching a visuo-haptic sample in a real wall for interior design, then switching to \VR to see and touch the complete final result, or manipulating a museum object with a real proxy object in visuo-haptic \AR, or even as it was in the past in its original state in \VR.
%Another example could be a medical teleconsultation, where the doctor could palpate a distant patient with haptic augmentation, but in \VR.
% design, implement and validate procedures to automatically calibrate the haptic feedback to the user's perception in accordance to what it has been designed to represent
% + let user free to easily adjust (eg can't let adjust whole spectrum of vibrotactile, reduce to two or three dimensions with sliders using MDS)
%- Visio en réalité mixte : ar avec avatars distants, vr pour se retrouver dans l'espace de l'autre ou un espace distant, et besoin de se faire toucher des objets à distance
%- Ou bien en cours, voir l'échantillon à toucher dans lenv de travail ou en contexte en passant en VR
%- Ex : médecin palpation, design d'un objet, rénovation d'un logement (AR en contexte courant, VR pour voir et toucher une fois terminé)

View File

@@ -6,17 +6,14 @@
\textbf{Erwan Normand}, Claudio Pacchierotti, Eric Marchand, and Maud Marchal.
\enquote{Visuo-Haptic Rendering of the Hand during 3D Manipulation in Augmented Reality}.
In: \textit{IEEE Transactions on Haptics (ToH)}. 27.4 (2024), pp. 2481--2487.
%\textsc{doi}: \href{https://doi.org/10/gtqcfz}{10/gtqcfz}
\section*{International Conferences}
\textbf{Erwan Normand}, Claudio Pacchierotti, Eric Marchand, and Maud Marchal.
\enquote{Augmenting the Texture Perception of Tangible Surfaces in Augmented Reality using Vibrotactile Haptic Stimuli}.
In: \textit{EuroHaptics}. Lille, France, July 2024. pp. 469--484.
%\textsc{doi}: \href{https://doi.org/}{}
\noindentskip
\textbf{Erwan Normand}, Claudio Pacchierotti, Eric Marchand, and Maud Marchal.
\enquote{How Different Is the Perception of Vibrotactile Texture Roughness in Augmented versus Virtual Reality?}.
In: \textit{ACM Symposium on Virtual Reality Software and Technology (VRST)}. Trier, Germany, October 2024. pp. 287--296.
%\textsc{doi}: \href{https://doi.org/10/g5rr49}{10/g5rr49}

View File

@@ -3,13 +3,6 @@
\nochaptertoc
% Résumé vulgarisé en 700 caractères
% Les dispositifs haptiques portables procurent des sensations tactiles tout en étant compacts.
% Mais ils ont été peu utilisés en réalité augmentée (RA), où le contenu virtuel est intégré à la perception du monde réel.
% Cette thèse explore leur potentiel pour améliorer les interactions de la main avec des objets virtuels en RA.
% Nous étudions d'abord l'impact du rendu visuel sur la perception des textures vibrotactiles virtuelles qui augmentent des surfaces réelles touchées directement par le doigt.
% Nous étudions ensuite comment des retours sensoriels visuo-haptiques augmentant la main améliorent les performances et lexpérience utilisateur lors de la manipulation d'objets virtuels en RA.
\selectlanguage{french}
Dans ce manuscrit de thèse, nous montrons comment la \emph{réalité augmentée (RA)}, qui intègre un contenu visuel virtuel dans la perception du monde réel, et l'\emph{haptique portable}, qui fournit des sensations tactiles sur la peau, peuvent améliorer les interactions de la main avec des objets virtuels et augmentés.
@@ -33,7 +26,7 @@ Cette technologie est étroitement liée à la \emph{réalité virtuelle (RV)},
La virtualité et l'augmentation peuvent être visuelles ou haptiques.
Ainsi, un dispositif haptique fournit des sensations dites virtuelles à un utilisateur.
Une \textbf{augmentation haptique est la modification de la perception par l'ajout de sensations haptiques virtuelles} d'un objet réel touché par un utilisateur \cite{jeon2015haptic,bhatia2024augmenting}.
Un aspect important de l'illusion de la RA (et de la RV) est la \emph{plausibilité}, c'est-à-dire l'illusion pour un utilisateur que les événements virtuels se produisent vraiment \cite{slater2022separate}. %, même si l'utilisateur sait qu'ils ne sont pas réels.
Un aspect important de l'illusion de la RA (et de la RV) est la \emph{plausibilité}, c'est-à-dire l'illusion pour un utilisateur que les événements virtuels se produisent vraiment \cite{slater2022separate}.
Dans ce contexte, nous définissons un \emph{système de RA} comme l'ensemble des dispositifs matériels (dispositifs d'entrée, capteurs, affichages et dispositifs haptiques) et logiciels (suivi, simulation et rendu) qui permettent à l'utilisateur d'interagir avec l'environnement augmenté.
Les visiocasques de RA sont la technologie d'affichage la plus prometteuse, car ils sont portables, fournissent à l'utilisateur un environnement augmenté \emph{immersif} et laissent les mains libres pour interagir \cite{hertel2021taxonomy}.
@@ -124,7 +117,6 @@ Ce système constitue la base expérimentale pour les deux prochaines études d'
\subsectionstarbookmark{Effet du retour visuel de la main virtuelle sur la perception d'augmen-tation haptique portable de texture}
La plupart des augmentations haptiques avec de l'haptique portable, comme celles dans notre système d'augmentation de textures ci-dessus, ont été étudiées sans retour visuel, ni dans des environnements immersifs de RA ou de RV \cite{culbertson2017importance,friesen2024perceived}.
%Plus particulièrement, il n'a été pris en compte l'influence du rendu visuel sur leur perception.
Pourtant, le retour visuel peut modifier la perception de sensation haptiques réelles et virtuelles \cite{schwind2018touch,choi2021augmenting}, et la perception d'un même stimuli d'un dispositif haptique à retour de force haptiques peut différer entre RA et RV \cite{diluca2011effects,gaffary2017ar}.
\begin{subfigs}{xr-perception}{Conditions expérimentales de l'étude utilisateur. }[][
@@ -150,7 +142,6 @@ Nous faisons l'hypothèse que cette différence de perception a été causée à
Cette étude suggère qu'il est nécessaire de veiller aux différences latences de chaque boucle de rétroaction sensorielle, visuelle ou haptique, inhérentes à ces systèmes.
Plus important encore, il convient d'estimer \emph{la perception de leur asynchronisme}.
%Nous pensons que ces latences doivent être mesurées, réduites à un niveau acceptable pour les utilisateurs et maintenues perceptuellement synchronisées entre elles.
Il semble que l'aspect visuel de la main ou de l'environnement n'ait eu directement que peu d'effet sur la perception du retour haptique, mais que le retour visuel de la main virtuelle puisse affecter la perception des latences visuo-haptiques, même si elles restent identiques.
Nous étudions ensuite des augmentations simultanées et co-localisées de textures visuelles et haptiques.
@@ -257,8 +248,7 @@ Nous nous sommes concentrés sur le retour vibrotactile, car il est présent dan
Nous avons utilisé en pratique deux moteurs vibrotactiles de type ERM car ils sont les plus compacts et n'affectent pas le suivi de la main \cite{pacchierotti2016hring}, mais ils permettent seulement de contrôler l'amplitude du signal.
Dans une \textbf{étude utilisateur}, avec 20 participants, nous avons évalué l'effet des quatre placements avec \textbf{deux techniques de vibration de contact} sur la performance et l'expérience utilisateur.
Les participants ont effectué les deux mêmes tâches de manipulation que dans l'étude sur l'augmentation visuelle de la main (\figref{visuo-haptic-hand-task-grasp-fr}).
Enfin, nous avons comparé ces rendus vibrotactiles avec le \textbf{l'augmentation visuelle des phalanges de la main} (\figref{../4-manipulation/visual-hand/figures/method/hands-skeleton}). % établi dans l'étude sur l'augmentation visuelle de la main comme un retour d'information visuo-haptique complémentaire de l'interaction de la main avec les objets virtuels.
Enfin, nous avons comparé ces rendus vibrotactiles avec le \textbf{l'augmentation visuelle des phalanges de la main} (\figref{../4-manipulation/visual-hand/figures/method/hands-skeleton}).
Les résultats ont montré que lorsqu'il était placé à proximité du point de contact, le retour vibrotactile relocalisé de la main améliorait la sensation d'efficacité, de réalisme et d'utilité des participants.
Cependant, le placement le plus éloigné, sur la main opposée, a donné les meilleures performances, même s'il a été peu apprécié : ce placement inhabituel a probablement incité les participants à prêter plus attention au retour haptique et à se concentrer davantage sur la tâche.
La technique de vibration au contact a été suffisante comparée à une technique plus élaborée d'intensité de la vibration en fonction de la force de contact.
@@ -300,7 +290,6 @@ Les participants ont systématiquement identifié et fait correspondre \textbf{l
\noindentskip Nous nous sommes également cherché à amélioré la manipulation d'objets virtuels directement avec la main.
La manipulation d'objets virtuels est une tâche fondamentale dans les systèmes 3D, mais elle reste difficile à effectuer avec la main.
Nous avons alors exploré deux retours sensoriels connus pour améliorer ce type d'interaction, mais non étudiés avec les visiocasques de RA: le retour visuel de la main virtuelle et le retour haptique relocalisé sur la main.
%Notre approche a consisté à concevoir des augmentations visuelles de la main et un retour haptique portable relocalisé, sur la base de la littérature, et à les évaluer dans le cadre d'études sur les utilisateurs.
Nous donc avons d'abord examiné \textbf{(1) l'augmentation visuelle de la main}.
Ce sont des rendus visuels de la main virtuelle, qui fournissent un retour d'information sur le suivi de la main et sur l'interaction avec les objets virtuels.