erwan/phd-thesis
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

WIP related work

Browse Source
This commit is contained in:
Erwan Normand
2024-09-11 16:52:55 +02:00
parent df81e6e7f6
commit cb38a449b3
8 changed files with 414 additions and 74 deletions
Download Patch File Download Diff File Expand all files Collapse all files

55
1-introduction/related-work/3-augmented-reality.tex
View File

@@ -39,21 +39,21 @@ Yet, most of the research have focused on visual augmentations, and the term \AR
\paragraph{Applications}
Advances in technology, research and development have enabled many usages of \AR, including medicine, education, industrial, navigation, collaboration and entertainment applications~\cite{dey2018systematic}.
For example, \AR can help surgeons to visualize \ThreeD images of the brain overlaid on the patient's head prior or during surgery (see \figref{watanabe2016transvisible}) or improve the learning of students with complex concepts and phenomena such as optics or chemistry (see \figref{bousquet2024reconfigurable}).
It can also guide workers in complex tasks, such as assembly, maintenance or verification (see \figref{hartl2013mobile}), or can create complete new forms of gaming or tourism experiences (see \figref{roo2017inner}).
For example, \AR can help surgeons to visualize \ThreeD images of the brain overlaid on the patient's head prior or during surgery, \eg in \figref{watanabe2016transvisible}~\cite{watanabe2016transvisible}, or improve the learning of students with complex concepts and phenomena such as optics or chemistry~\cite{bousquet2024reconfigurable}.
It can also guide workers in complex tasks, such as assembly, maintenance or verification, \eg in \figref{hartl2013mobile}~\cite{hartl2013mobile}, reinvent the way we interact with desktop computers, \eg in \figref{lee2013spacetop}~\cite{lee2013spacetop}, or can create complete new forms of gaming or tourism experiences, \eg in \figref{roo2017inner}~\cite{roo2017inner}.
Most of (visual) \AR/\VR experience can now be implemented with commercially available hardware and software solutions, in particular for tracking, rendering and display.
Yet, the user experience in \AR is still highly dependent on the display used.
\begin{subfigs}{ar_applications}{Examples of \AR applications. }[
\item Neurosurgery visualization of the brain on a patient's head~\cite{watanabe2016transvisible}.
\item HOBIT is a spatial, tangible \AR table simulating an optical bench for educational experimentations~\cite{bousquet2024reconfigurable}.
\item Neurosurgery \AR visualization of the brain on a patient's head~\cite{watanabe2016transvisible}.
\item SpaceTop is transparent \AR desktop computer featuring direct hand interaction with content~\cite{lee2013spacetop}.
\item \AR can interactively guide in document verification tasks by recognizing and comparing with virtual references
~\cite{hartl2013mobile}.
\item Inner Garden is a visually augmented zen garden for relaxation and meditation~\cite{roo2017inner}.
\item Inner Garden is a tangible, spatial \AR zen garden for relaxation and meditation~\cite{roo2017inner}.
]
\subfigsheight{45mm}
\subfig{watanabe2016transvisible}
\subfig{bousquet2024reconfigurable}
\subfig{lee2013spacetop}
\subfig{hartl2013mobile}
\subfig{roo2017inner}
\end{subfigs}
@@ -123,6 +123,8 @@ Mais il faut pouvoir permettre à l'utilisateur d'interagir avec l'environment e
\subsubsection{Interaction Techniques}
\paragraph{Reducing the Physical-Virtual Gap}
Pour cela il faut des techniques d'interaction, \cite{billinghurst2005designing} : Physical Elements as Input -- Interaction Technique --> Virtual Elements as Output.
Les techniques d'interactions sont cruciales pour l'expérience utilisateur, car elles dictent en grande partie la cohérence du système (voir \secref{ar_presence}) par la qualité des actions possible avec l'environment virtuel.
"il s’agit de lier des entrées utilisateurs issues de capteurs physiques (souris, écran tactile, images d’une caméra) à des actions sur l’ordinateur représentées par un résultat en sortie (affichage, son, commande) via une technique d’interaction"
@@ -130,22 +132,33 @@ ex : "La technique d’interaction est donc une méthode qui permet de traduire
Principe IHM : [Van Dam, 1997] : réduire l'écart entre les éléments physiques et virtuels, \ie en un sens rendre l'interaction la plus "naturelle" possible, la moins "visible" possible.
En RA, surtout immersive et portable, cet écart peut être tellement réduit qu'il n'est presque plus perceptible par l'utilisateur et l'interaction peut être pratiquement la même qu'avec le \RE, \ie essentiellement toucher, saisir et manipuler les objets virtuels directement avec les mains.
\cite{laviola20173d} a classé les techniques d'interactions avec les \VE en trois catégories : \enquote{navigation}, \enquote{selection} et \enquote{manipulation}.
\paragraph{Tasks}
\cite{laviola20173d} a classé les techniques d'interactions avec les \VE en trois catégories selon la tâche qu'elles aident à accomplir : \enquote{navigation}, \enquote{selection} et \enquote{manipulation}.
La navigation est le déplacement de l'utilisateur dans le \VE, mais dans le cas d'un casque de RA, le \VE est aligné avec le \RE et sont perceptuellement un seul et même environment augmenté (immersion) : la navigation est donc essentiellement le déplacement de l'utilisateur dans le \RE. Pour cela le casque se repère dans le \RE avec des capteurs et algorithmes de tracking et l'affichage du \VE est déplacé et orienté similairement au déplacement réel afin de l'afficher dans la bonne perspective de l'utilisateur. Voir aussi \cite{marchand2016pose} pour une revue des techniques de tracking pour la RA.
La sélection est le choix d'un objet virtuel dans le \VE, et la manipulation est l'interaction avec cet objet, \ie le déplacer, le tourner, le redimensionner, etc.
\subsubsection{Virtual Hands in AR}
\cite{hertel2021taxonomy} a proposé une taxonomie des techniques d'interactions spécifiquement en RA, en se basant sur les tâches et les modalités d'entrée utilisées.
Les tâches proposées sont la création, la sélection, la manipulation (géométrique), la manipulation abstraite, et l'entrée de texte.
Chacune de ces tâche peut-être potentiellement réalisée par
\paragraph{Natural Interaction in AR}
Dans le cas de la RA immersive avec une interaction "naturelles" (cf \cite{billinghurst2005designing}), la sélection consiste à toucher l'objet virtuel avec les mains, et la manipulation à le saisir et le déplacer avec les mains.
C'est ce qu'on appelle les "virtual hands" : les mains virtuelles de l'utilisateur dans le \VE.
Le dispositif d'entrée n'est pas une manette comme c'est souvent le cas en VR, mais directement les mains.
Les mains sont donc détectées et reproduites dans le \VE,
Les mains sont donc détectées et reproduites dans le \VE.
Maglré tout, le principal problème de l'interaction naturelle avec les mains dans un \VE, outre la détection des mains, est le manque de contrainte physique sur le mouvement de la main et des doigts, ce qui rend les actions fatiguantes, imprécises (on ne sait pas si on touche l'objet virtuel sans retour haptique) et difficile (idem, sans retour haptique on ne sent pas l'objet glisser, et on a pas de confirmation qu'il est bien en main). Des techniques d'interactions d'une part sont toujours nécessaire,et un retour haptique adapté aux contraintes d'interactions de la RA est indispensable pour une bonne expérience utilisateur.
Maglré tout, le principal problème de l'interaction naturelle avec les mains dans un \VE, outre la détection des mains, est le manque de contrainte physique sur le mouvement de la main et des doigts, ce qui rend les actions fatiguantes (\cite{hincapie-ramos2014consumed}), imprécises (on ne sait pas si on touche l'objet virtuel sans retour haptique) et difficile (idem, sans retour haptique on ne sent pas l'objet glisser, et on a pas de confirmation qu'il est bien en main). Des techniques d'interactions d'une part sont toujours nécessaire,et un retour haptique adapté aux contraintes d'interactions de la RA est indispensable pour une bonne expérience utilisateur.
Cela peut être aussi difficile à comprendre : "\cite{chan2010touching} proposent la combinaison de retours continus, pour que l’utilisateur situe le suivi de son corps, et de retours discrets pour confirmer ses actions." Un rendu et affichage visuel des mains est un retour continu, un bref changement de couleur ou un retour haptique est un retour discret. Mais cette combinaison n'a pas été évaluée.
Prototypes : HandyAR and HoloDesk
Deux techniques d'interactions naturelles avec les mains en RA immersive sont les plus courantes : les mains virtuelles et les tangibles.
Quand l'objet est lointain, la sélection peut se faire avec des techniques de pointing ou des gestes (voir \cite{hertel2021taxonomy}).
\subsubsection{Manipulating with Virtual Hands}
\cite{hilliges2012holodesk}
\cite{piumsomboon2013userdefined} : user-defined gestures for manipulation of virtual objects in AR.
\cite{piumsomboon2014graspshell} : direct hand manipulation of virtual objects in immersive AR vs vocal commands.
\cite{chan2010touching} : cues for touching (selection) virtual objects.
@@ -161,16 +174,16 @@ In OST-AR, this is more difficult because the virtual environment is displayed a
Moreover, in VST-AR, the grip aperture and depth positioning of virtual objects often seem to be wrongly estimated~\cite{al-kalbani2016analysis, maisto2017evaluation}.
However, this effect has yet to be verified in an OST-AR setup.
An alternative is to render the virtual objects and the hand semi-transparents, so that they are partially visible even when one is occluding the other, \eg in \figref{hands-none} the real hand is behind the virtual cube but still visible.
An alternative is to render the virtual objects and the hand semi-transparents, so that they are partially visible even when one is occluding the other, \eg the real hand is behind the virtual cube but still visible.
Although perceived as less natural, this seems to be preferred to a mutual visual occlusion in VST-AR~\cite{buchmann2005interaction, ha2014wearhand, piumsomboon2014graspshell} and VR~\cite{vanveldhuizen2021effect}, but has not yet been evaluated in OST-AR.
However, this effect still causes depth conflicts that make it difficult to determine if one's hand is behind or in front of a virtual object, \eg in \figref{hands-none} the thumb is in front of the virtual cube, but it appears to be behind it.
However, this effect still causes depth conflicts that make it difficult to determine if one's hand is behind or in front of a virtual object, \eg the thumb is in front of the virtual cube, but it appears to be behind it.
In VR, as the user is fully immersed in the virtual environment and cannot see their real hands, it is necessary to represent them virtually.
Virtual hand rendering is also known to influence how an object is grasped in VR~\cite{prachyabrued2014visual,blaga2020too} and AR, or even how real bumps and holes are perceived in VR~\cite{schwind2018touch}, but its effect on the perception of a haptic texture augmentation has not yet been investigated.
It is known that the virtual hand representation has an impact on perception, interaction performance, and preference of users~\cite{prachyabrued2014visual, argelaguet2016role, grubert2018effects, schwind2018touch}.
In a pick-and-place task in VR, \textcite{prachyabrued2014visual} found that the virtual hand representation whose motion was constrained to the surface of the virtual objects performed the worst, while the virtual hand representation following the tracked human hand (thus penetrating the virtual objects), performed the best, even though it was rather disliked.
The authors also observed that the best compromise was a double rendering, showing both the tracked hand and a hand rendering constrained by the virtual environment.
It has also been shown that over a realistic avatar, a skeleton rendering (similar to \figref{hands-skeleton}) can provide a stronger sense of being in control~\cite{argelaguet2016role} and that minimalistic fingertip rendering (similar to \figref{hands-tips}) can be more effective in a typing task~\cite{grubert2018effects}.
It has also been shown that over a realistic avatar, a skeleton rendering can provide a stronger sense of being in control~\cite{argelaguet2016role} and that minimalistic fingertip rendering can be more effective in a typing task~\cite{grubert2018effects}.
In AR, as the real hand of a user is visible but not physically constrained by the virtual environment, adding a visual hand rendering that can physically interact with virtual objects would achieve a similar result to the promising double-hand rendering of \textcite{prachyabrued2014visual}.
Additionally, \textcite{kahl2021investigation} showed that a virtual object overlaying a tangible object in OST-AR can vary in size without worsening the users' experience nor the performance.
@@ -183,6 +196,20 @@ However, the experiment was carried out on a screen, in a non-immersive AR scena
\textcite{saito2021contact} found that masking the real hand with a textured 3D opaque virtual hand did not improve performance in a reach-to-grasp task but displaying the points of contact on the virtual object did.
To the best of our knowledge, evaluating the role of a visual rendering of the hand displayed \enquote{and seen} directly above real tracked hands in immersive OST-AR has not been explored, particularly in the context of virtual object manipulation.
Mais se pose la question de la représentation, qui a montré des effets sur la performance et expérience utilisateur en RV mais reste peu étudiée en RA.
\subsubsection{Manipulating with Tangibles}
\cite{issartel2016tangible}
\cite{englmeier2020tangible}
en OST-AR \cite{kahl2021investigation,kahl2022influence,kahl2023using}
Triple problème :
il faut un tangible par objet, problème de l'association qui ne fonctionne pas toujours (\cite{hettiarachchi2016annexing}) et du nombre de tangibles à avoir
et l'objet visuellement peut ne pas correspondre aux sensations haptiques du tangible manipulé (\cite{tinguy2019how}).
C'est pourquoi utiliser du wearable pour modifier les sensations cutanées du tangible est une solution qui fonctionne en VR (\cite{detinguy2018enhancing,salazar2020altering}) et pourrait être adaptée à la RA.
Mais, spécifique à la RA vs RV, le tangible et la main sont visibles, du moins partiellement, même si caché par un objet virtuel : comment va fonctionner l'augmentation haptique en RA vs RV ? Biais perceptuels ? Le fait de voir toucher avec sa propre main le tangible vs en RV où il est caché, donc illusion potentiellement plus forte en RV ?
\subsection{Conclusion}
\label{ar_conclusion}