WIP related work

1-introduction/related-work/1-haptic-hand.tex

@@ -195,7 +195,7 @@ To establish the relationship between spacing and intensity for macro-roughness,
 As shown in \figref{lawrence2007haptic_2}, there is a quadratic relationship between the logarithm of the perceived roughness intensity $R$ and the logarithm of the space between the elements $s$ ($a$, $b$ and $c$ are empirical parameters to be estimated)~\cite{klatzky2003feeling}:
 \begin{equation}
     \label{eq:roughness_intensity}
-    log(R) = a \, log(s)^2 + b \, s + c
+    log(R) \sim a \, log(s)^2 + b \, s + c
 \end{equation}
 A larger spacing between elements increases the perceived roughness, but reaches a plateau from \qty{\sim 5}{\mm} for the linear grating~\cite{lawrence2007haptic}, while the roughness decreases from \qty{\sim 2.5}{\mm}~\cite{klatzky2003feeling} for the conical elements.
 
@@ -222,10 +222,6 @@ However, as the speed of exploration changes the transmitted vibrations, a faste
     \subfig[.5]{klatzky2003feeling_2}
 \end{subfigs}
 
-Même quand les bouts de doigts sont déafférentés (absence de sensations donc d'indices de pression), la perception de la rugosité se maintient, justement grâce à la propagation des vibrations dans le doigt, la main et le poignet, que ce soit pour les textures de grilles et les textures naturelles~\cite{delhaye2012textureinduced}.
-Le spectre des vibrations se décale vers de plus hautes fréquences quand la vitesse d'exploration augmente, mais le cerveau intègre ce changement avec la proprioception pour garder la \emph{perception constante} de la teture.
-Par exemple, pour les textures de grilles, comme illustré \figref{delhaye2012textureinduced}, le ratio de la vitesse du doigt $v$ sur la fréquence fréquence du pic d'intensité de la vibration $f_p$ est mesuré la majorité du temps égal à la période $\lambda$ de l'espacement des éléments:
-
 Even when the fingertips are deafferented (absence of cutaneous sensations), the perception of roughness is maintained~\cite{libouton2012tactile}, thanks to the propagation of vibrations in the finger, hand and wrist, for both pattern and natural textures~\cite{delhaye2012textureinduced}.
 The spectrum of vibrations shifts to higher frequencies as the exploration speed increases, but the brain integrates this change with proprioception to keep the \emph{perception constant} of the texture.
 For grid textures, as illustrated in \figref{delhaye2012textureinduced}, the ratio of the finger speed $v$ to the frequency of the vibration intensity peak $f_p$ is measured most of the time equal to the period $\lambda$ of the spacing of the elements:
@@ -241,67 +237,66 @@ This shows the importance of vibration cues even for macro textures and the poss
 
 The everyday "natural" textures are more complex to study because they are composed of multiple elements of different sizes and spacings.
 In addition, the perceptions of micro and macro roughness overlap and are difficult to distinguish~\cite{okamoto2013psychophysical}.
-Thus, individuals have a subjective definition of roughness, with some paying more attention to larger elements and others to smaller ones~\cite{bergmanntiest2007haptic}, or even including other perceptual properties such as hardness or friction~\cite{bergmanntiest2010actual}.
+Thus, individuals have a subjective definition of roughness, with some paying more attention to larger elements and others to smaller ones~\cite{bergmanntiest2007haptic}, or even including other perceptual properties such as hardness or friction~\cite{bergmanntiest2010tactual}.
 
 
 \subsubsection{Hardness}
 \label{hardness}
 
-La dureté (ou la softness) est la perception de la \emph{résistance à la déformation} d'un objet quand il est pressé ou tapé~\cite{bergmanntiest2010tactual}.
-La softness perçue d'un fruit permet de juger sa maturité, alors que la céramique sera perçue comme dure.
-En tapant une surface, du métal sera perçu comme plus dur que du bois.
-Si la surface revient à sa forme initiale après avoir été déformée, l'objet est élastique (comme un ressort), sinon il est plastique (comme de l'argile).
+Hardness (or softness) is the perception of the \emph{resistance to deformation} of an object when pressed or tapped~\cite{bergmanntiest2010tactual}.
+The perceived softness of a fruit allows us to judge its ripeness, while ceramic is perceived as hard.
+By tapping on a surface, metal will be perceived as harder than wood.
+If the surface returns to its original shape after being deformed, the object is elastic (like a spring), otherwise it is plastic (like clay).
 
-Avec un mouvement de pression sur l'objet avec le doigt (voir \figref{exploratory_procedures}), sa surface va se déplacer et se déformer avec une certaine résistance, et la zone de contact de la peau va également s'élargir, changeant la distribution de la pression.
-Au contact de la surface, ou en la tapant, des vibrations sont également transmises à la peau.
-Un toucher passif (sans mouvements volontaire de la main) ainsi que le tapping permettent une aussi bonne perception de la dureté que le toucher actif~\cite{friedman2008magnitude}: les indices cutanés de pression et de vibrations sont suffisants et nécessaires pour percevoir la dureté.
+When the finger presses on an object (see \figref{exploratory_procedures}), its surface will move and deform with some resistance, and the contact area of the skin will also expand, changing the pressure distribution.
+When the surface is touched or tapped, vibrations are also transmitted to the skin.
+Passive touch (without voluntary hand movements) and tapping allow a perception of hardness as good as active touch~\cite{friedman2008magnitude}.
 
-Deux caractéristiques physiques de l'objet déterminent ainsi la perception haptique de dureté: sa raideur et son élasticité~\cite{bergmanntiest2010tactual}.
-La raideur $k$ est le ratio entre la force appliquée $F$ et le \emph{déplacement} résultant $\Delta l$ de la surface:
+Two physical properties determine the haptic perception of hardness: its stiffness and elasticity, as shown in \figref{hardness}~\cite{bergmanntiest2010tactual}.
+The \emph{stiffness} $k$ of an object is the ratio between the applied force $F$ and the resulting \emph{displacement} $\Delta l$ of the surface:
 \begin{equation}
     \label{eq:stiffness}
     k = \frac{F}{\Delta l}
 \end{equation}
-L'élasticité est exprimée par le module de Young $Y$ qui est le ratio entre la pression appliquée (la force $F$ par unité de surface $A$) et la \emph{déformation} résultante $\Delta l / l$ (càd le déplacement relatif) de l'objet:
+The \emph{elasticity} of an object is expressed by its Young's modulus $Y$, which is the ratio between the applied pressure (the force $F$ per unit area $A$) and the resulting deformation $\Delta l / l$ (the relative displacement) of the object:
 \begin{equation}
     \label{eq:young_modulus}
     Y = \frac{F / A}{\Delta l / l}
 \end{equation}
-La \figref{hardness} illustre ces deux caractéristiques.
 
-\begin{subfigs}{stiffness_young}{Perception de la dureté haptique d'un objet en pressant avec le doigt. }[
-        \item Schéma d'un objet avec un coefficient de raideur $k$ et de longueur $l$ compressé sur une distance $\Delta l$ par une force $F$ sur une surface d'aire $A$.
-        \item Correspondance de l'intensité perçue de la dureté entre le module de Young (axe horizontal) et la raideur (axe vertical). Les lignes en pointillées et en tiret indiquent les objets testés, les flèches les correspondances faites entre ces objets, et les lignes grises les prédictions de la relation quadratique~\cite{bergmanntiest2009cues}.
+\begin{subfigs}{stiffness_young}{Perceived hardness of an object by finger pressure. }[
+        \item Diagram of an object with a stiffness coefficient $k$ and a length $l$ compressed by a force $F$ on an area $A$ by a distance $\Delta l$.
+        \item Identical perceived hardness intensity between Young's modulus (horizontal axis) and stiffness (vertical axis). The dashed and dotted lines indicate the objects tested, the arrows the correspondences made between these objects, and the grey lines the predictions of the quadratic relationship~\cite{bergmanntiest2009cues}.
     ]
     \subfig[.3]{hardness}
     \subfig[.45]{bergmanntiest2009cues}
 \end{subfigs}
 
-\textcite{bergmanntiest2009cues} ont montré le rôle de ces deux caractéristiques dans la perception de la dureté.
-En pressant du doigt, une différence relative (la \emph{fraction de Weber}) de \percent{\sim 15} est nécessaire pour discriminer deux objets de raideurs ou d'élasticités différentes.
-Cependant, en l'absence de sensations de pression (en plaçant un disque fin entre le doigt et l'objet), la différence relative nécessaire devient beaucoup plus importante (fraction de Weber de \percent{\sim 50}).
-Ainsi, la perception de dureté s'appuie à \percent{90} sur les indices de déformation de la surface et à \percent{10} sur les indices de déplacement.
+\textcite{bergmanntiest2009cues} showed the role of these two physical properties in the perception of hardness.
+With finger pressure, a relative difference (the \emph{Weber fraction}) of \percent{\sim 15} is required to discriminate between two objects of different stiffness or elasticity.
+However, in the absence of pressure sensations (by placing a thin disc between the finger and the object), the necessary relative difference becomes much larger (Weber fraction of \percent{\sim 50}).
+Thus, the perception of hardness relies on \percent{90} on surface deformation cues and \percent{10} on displacement cues.
+In addition, an object with low stiffness but high Young's modulus can be perceived as hard, and vice versa, as shown in \figref{bergmanntiest2009cues}.
 
-En pressant du doigt, l'intensité perçue (subjective) de dureté suit avec la raideur une relation selon une loi de puissance avec un exposant de \num{0.8}~\cite{harper1964subjective}, \ie quand la raideur double, la dureté perçue augmente de \num{1.7}.
-Un objet avec une faible raideur mais une grand module de Young (et vice-versa) peut être perçu aussi dur qu'un objet avec une grande raideur mais un petit module de Young.
-\textcite{bergmanntiest2009cues} ont ainsi observé une relation quadratique d'égale intensité perçue de dureté, comme illustré sur la \figref{bergmanntiest2009cues}.
+%En pressant du doigt, l'intensité perçue (subjective) de dureté suit avec la raideur une relation selon une loi de puissance avec un exposant de \num{0.8}~\cite{harper1964subjective}, \ie quand la raideur double, la dureté perçue augmente de \num{1.7}.
+%\textcite{bergmanntiest2009cues} ont ainsi observé une relation quadratique d'égale intensité perçue de dureté, comme illustré sur la \figref{bergmanntiest2009cues}.
 
 
 \subsubsection{Friction}
 \label{friction}
 
-La friction (ou la slipperiness/stickiness) est la perception de la \emph{résistance au mouvement} sur une surface~\cite{bergmanntiest2010tactual}.
-Le papier de verre, en opposant une forte résistance au glissement à sa surface, est typiquement perçu comme adhésif, alors que du verre est glissant.
-Cette propriété est perceptuellement étroitement liée à celle de la rugosité~\cite{hollins1993perceptual,baumgartner2013visual}.
+Friction (or slipperiness) is the perception of \emph{resistance to movement} on a surface~\cite{bergmanntiest2010tactual}.
+Sandpaper is typically perceived as sticky because it has a strong resistance to sliding on its surface, while glass is perceived as more slippery.
+This perceptual property is closely related to the perception of roughness~\cite{hollins1993perceptual,baumgartner2013visual}.
 
-En passant le doigt sur la surface avec un mouvement latéral (voir \figref{exploratory_procedures}), des frottements vont générer des forces qui vont dans le sens opposé au mouvement, donnant des indices kinesthésiques, et qui vont également étirer la peau, donnant des indices cutanés.
-Comme illustré sur la \figref{smith1996subjective_1}, un phénomène de stick-slip peut également se produire, où le doigt va par intermittence être freiné par les frottements avant de continuer son mouvement, autant sur des surfaces rugueuses que lisses~\cite{derler2013stick}.
-L'amplitude de la force de frottement $F_s$ est proportionnelle à la force normale du doigt $F_n$, \ie la force perpendiculaire à la surface, selon un coefficient de frottement $\mu$:
+When running the finger on a surface with a lateral movement (see \secref{exploratory_procedures}), the skin-surface contacts generate frictional forces in the opposite direction to the finger movement, giving kinesthetic cues, and also stretch the skin, giving cutaneous cues.
+As illustrated in \figref{smith1996subjective_1}, a stick-slip phenomenon can also occur, where the finger is intermittently slowed down by the friction before continuing its movement, both on rough and smooth surfaces~\cite{derler2013stick}.
+The amplitude of the frictional force $F_s$ is proportional to the normal force of the finger $F_n$, \ie the force perpendicular to the surface, according to a friction coefficient $\mu$:
 \begin{equation}
     \label{eq:friction}
     F_s = \mu \, F_n
 \end{equation}
-Comme sur la \figref{smith1996subjective_2}, l'intensité perçue (subjective) des frottements est proportionnelle au coefficient de friction~\cite{smith1996subjective}.
+The perceived intensity of friction is thus that of the friction coefficient $\mu$~\cite{smith1996subjective}.
 
 \begin{subfigs}{smith1996subjective}{Perception des frottements haptique de plusieurs matériaux par exploration active avec le doigt~\cite{smith1996subjective}. }[
         \item Mesures des forces normales $F_n$ et tangentielles $F_t$ lors de l'exploration de deux surfaces : une lisse (le verre) et une rugueuse (le nyloprint). Les fluctuations de la force tangentielle sont dues au phénomène de stick-slip. Le coefficient de frottement $\mu$ peut être estimé par la pente de la relation entre les forces normales et tangentielle.

1-introduction/related-work/3-augmented-reality.tex

@@ -59,11 +59,10 @@ Yet, the user experience in \AR is still highly dependent on the display used.
 \end{subfigs}
 
 
-\subsection{Displays and Perception}
+\subsection{AR Displays and Perception}
 \label{ar_displays}
 
-% Bimber and types of AR
-% State of current HMD
+\cite{bimber2005spatial}
 
 \paragraph{Spatial Augmented Reality}
 
@@ -74,7 +73,7 @@ Yet, the user experience in \AR is still highly dependent on the display used.
 \paragraph{Optical See-Through Headsets}
 
 
-\subsection{Presence and Embodiment}
+\subsection{Presence and Embodiment in AR}
 \label{ar_presence}
 
 Despite the clear and acknowledged definition presented in \secref{ar_definition} and the viewpoint of this thesis that \AR and \VR are two type of \MR experience with different levels of mixing real and virtual environments, as presented in \secref[introduction]{visuo_haptic_augmentations}, there is still a debate on defining \AR and \MR as well as how to characterize and categorized such experiences~\cite{speicher2019what,skarbez2021revisiting}.
@@ -110,5 +109,45 @@ The \PSI can be applied to \AR as is, but the \VOs must additionally have knowle
 As presence, \SoE in \AR is a recent topic and little is known about its perception on the user experience~\cite{genay2021virtual}.
 
 
+\subsection{Direct Hand Interaction in AR}
+
+Retour à la boucle d'interaction :
+on a présenté les interfaces haptiques et de RA (rendu du système vers l'utilisateur) pour faire le rendu du VE, qui essaye de recréer des expériences perceptuelles similaires et comparables à celles de la vie de touts les jours, \ie de rendre la meilleure immersion (voir \secref{ar_presence}) possible.
+Mais il faut pouvoir permettre à l'utilisateur d'interagir avec l'environment et les objets virtuels (interaction), donc détecter et représenter l'utilisateur dans le VE (tracking).
+
+
+\subsubsection{Interaction Techniques}
+
+Pour cela il faut des techniques d'interaction, \cite{billinghurst2005designing} : Physical Elements as Input -- Interaction Technique --> Virtual Elements as Output.
+Les techniques d'interactions sont cruciales pour l'expérience utilisateur, car elles dictent en grande partie la cohérence du système (voir \secref{ar_presence}) par la qualité des actions possible avec l'environment virtuel.
+"il s’agit de lier des entrées utilisateurs issues de capteurs physiques (souris, écran tactile, images d’une caméra) à des actions sur l’ordinateur représentées par un résultat en sortie (affichage, son, commande) via une technique d’interaction"
+ex : "La technique d’interaction est donc une méthode qui permet de traduire ces entrées en commandes : par exemple, le même mouvement avec une souris peut déplacer un curseur ou translater un objet le long d’un axe, ou encore un même déplacement de deux doigts sur un écran tactile peut faire une rotation ou un zoom sur un objet."
+Principe IHM : [Van Dam, 1997] : réduire l'écart entre les éléments physiques et virtuels, \ie en un sens rendre l'interaction la plus "naturelle" possible, la moins "visible" possible.
+En RA, surtout immersive et portable, cet écart peut être tellement réduit qu'il n'est presque plus perceptible par l'utilisateur et l'interaction peut être pratiquement la même qu'avec le \RE, \ie essentiellement toucher, saisir et manipuler les objets virtuels directement avec les mains.
+
+\cite{laviola20173d} a classé les techniques d'interactions avec les \VE en trois catégories : \enquote{navigation}, \enquote{selection} et \enquote{manipulation}.
+La navigation est le déplacement de l'utilisateur dans le \VE, mais dans le cas d'un casque de RA, le \VE est aligné avec le \RE et sont perceptuellement un seul et même environment augmenté (immersion) : la navigation est donc essentiellement le déplacement de l'utilisateur dans le \RE. Pour cela le casque se repère dans le \RE avec des capteurs et algorithmes de tracking et l'affichage du \VE est déplacé et orienté similairement au déplacement réel afin de l'afficher dans la bonne perspective de l'utilisateur. Voir aussi \cite{marchand2016pose} pour une revue des techniques de tracking pour la RA.
+La sélection est le choix d'un objet virtuel dans le \VE, et la manipulation est l'interaction avec cet objet, \ie le déplacer, le tourner, le redimensionner, etc.
+
+\subsubsection{Virtual Hands in AR}
+
+Dans le cas de la RA immersive avec une interaction "naturelles" (cf \cite{billinghurst2005designing}), la sélection consiste à toucher l'objet virtuel avec les mains, et la manipulation à le saisir et le déplacer avec les mains.
+C'est ce qu'on appelle les "virtual hands" : les mains virtuelles de l'utilisateur dans le \VE.
+Le dispositif d'entrée n'est pas une manette comme c'est souvent le cas en VR, mais directement les mains.
+Les mains sont donc détectées et reproduites dans le \VE,
+
+Maglré tout, le principal problème de l'interaction naturelle avec les mains dans un \VE, outre la détection des mains, est le manque de contrainte physique sur le mouvement de la main et des doigts, ce qui rend les actions fatiguantes, imprécises (on ne sait pas si on touche l'objet virtuel sans retour haptique) et difficile (idem, sans retour haptique on ne sent pas l'objet glisser, et on a pas de confirmation qu'il est bien en main). Des techniques d'interactions d'une part sont toujours nécessaire,et un retour haptique adapté aux contraintes d'interactions de la RA est indispensable pour une bonne expérience utilisateur.
+
+Cela peut être aussi difficile à comprendre : "\cite{chan2010touching} proposent la combinaison de retours continus, pour que l’utilisateur situe le suivi de son corps, et de retours discrets pour confirmer ses actions." Un rendu et affichage visuel des mains est un retour continu, un bref changement de couleur ou un retour haptique est un retour discret. Mais cette combinaison n'a pas été évaluée.
+
+Prototypes : HandyAR and HoloDesk
+\cite{piumsomboon2013userdefined} : user-defined gestures for manipulation of virtual objects in AR.
+\cite{piumsomboon2014graspshell} : direct hand manipulation of virtual objects in immersive AR vs vocal commands.
+\cite{chan2010touching} : cues for touching (selection) virtual objects.
+
+Problèmes d'occultation, les objets virtuels doivent toujours êtres visibles : soit en utilisant une main virtuelle transparente plutôt qu’opaque, soit en
+affichant leurs contours si elle les cache \cite{piumsomboon2014graspshell}.
+
+
 \subsection{Conclusion}
 \label{ar_conclusion}

1-introduction/related-work/4-visuo-haptic-ar.tex

@@ -39,9 +39,89 @@ A common finding of these studies is that haptic sensations seem to dominate the
 
 Conversely, virtual hand rendering is also known to influence how an object is grasped in VR~\cite{prachyabrued2014visual,blaga2020too} and AR, or even how real bumps and holes are perceived in VR~\cite{schwind2018touch}, but its effect on the perception of a haptic texture augmentation has not yet been investigated.
 
-\subsubsection{Virtual Hands in Augmented Reality}
+\subsubsection{Visual Hand Rendering in AR}
 \label{vhar_hands}
 
+Mutual visual occlusion between a virtual object and the real hand, \ie hiding the virtual object when the real hand is in front of it and hiding the real hand when it is behind the virtual object, is often presented as natural and realistic, enhancing the blending of real and virtual environments~\cite{piumsomboon2014graspshell, al-kalbani2016analysis}.
+%
+In video see-through AR (VST-AR), this could be solved as a masking problem by combining the image of the real world captured by a camera and the generated virtual image~\cite{macedo2023occlusion}.
+%
+In OST-AR, this is more difficult because the virtual environment is displayed as a transparent 2D image on top of the 3D real world, which cannot be easily masked~\cite{macedo2023occlusion}.
+%
+Moreover, in VST-AR, the grip aperture and depth positioning of virtual objects often seem to be wrongly estimated~\cite{al-kalbani2016analysis, maisto2017evaluation}.
+%
+However, this effect has yet to be verified in an OST-AR setup.
 
-\subsubsection{Wearable Haptics for Augmented Reality}
+An alternative is to render the virtual objects and the hand semi-transparents, so that they are partially visible even when one is occluding the other, \eg in \figref{hands-none} the real hand is behind the virtual cube but still visible.
+%
+Although perceived as less natural, this seems to be preferred to a mutual visual occlusion in VST-AR~\cite{buchmann2005interaction, ha2014wearhand, piumsomboon2014graspshell} and VR~\cite{vanveldhuizen2021effect}, but has not yet been evaluated in OST-AR.
+%
+However, this effect still causes depth conflicts that make it difficult to determine if one's hand is behind or in front of a virtual object, \eg in \figref{hands-none} the thumb is in front of the virtual cube, but it appears to be behind it.
+
+In VR, as the user is fully immersed in the virtual environment and cannot see their real hands, it is necessary to represent them virtually.
+%
+It is known that the virtual hand representation has an impact on perception, interaction performance, and preference of users~\cite{prachyabrued2014visual, argelaguet2016role, grubert2018effects, schwind2018touch}.
+%
+In a pick-and-place task in VR, \textcite{prachyabrued2014visual} found that the virtual hand representation whose motion was constrained to the surface of the virtual objects performed the worst, while the virtual hand representation following the tracked human hand (thus penetrating the virtual objects), performed the best, even though it was rather disliked.
+%
+The authors also observed that the best compromise was a double rendering, showing both the tracked hand and a hand rendering constrained by the virtual environment.
+%
+It has also been shown that over a realistic avatar, a skeleton rendering (similar to \figref{hands-skeleton}) can provide a stronger sense of being in control~\cite{argelaguet2016role} and that minimalistic fingertip rendering (similar to \figref{hands-tips}) can be more effective in a typing task~\cite{grubert2018effects}.
+
+In AR, as the real hand of a user is visible but not physically constrained by the virtual environment, adding a visual hand rendering that can physically interact with virtual objects would achieve a similar result to the promising double-hand rendering of \textcite{prachyabrued2014visual}.
+%
+Additionally, \textcite{kahl2021investigation} showed that a virtual object overlaying a tangible object in OST-AR can vary in size without worsening the users' experience nor the performance.
+%
+This suggests that a visual hand rendering superimposed on the real hand could be helpful, but should not impair users.
+
+Few works have explored the effect of visual hand rendering in AR~\cite{blaga2017usability, maisto2017evaluation, krichenbauer2018augmented, yoon2020evaluating, saito2021contact}.
+%
+For example, \textcite{blaga2017usability} evaluated a skeleton rendering in several virtual object manipulations against no visual hand overlay.
+%
+Performance did not improve, but participants felt more confident with the virtual hand.
+%
+However, the experiment was carried out on a screen, in a non-immersive AR scenario.
+%
+\textcite{saito2021contact} found that masking the real hand with a textured 3D opaque virtual hand did not improve performance in a reach-to-grasp task but displaying the points of contact on the virtual object did.
+%
+To the best of our knowledge, evaluating the role of a visual rendering of the hand displayed \enquote{and seen} directly above real tracked hands in immersive OST-AR has not been explored, particularly in the context of virtual object manipulation.
+
+
+\subsubsection{Wearable Haptics for AR}
 \label{vhar_haptics}
+
+Different haptic feedback systems have been explored to improve interactions in AR, including %
+grounded force feedback devices~\cite{bianchi2006high, jeon2009haptic, knorlein2009influence}, %
+exoskeletons~\cite{lee2021wearable}, %
+tangible objects~\cite{hettiarachchi2016annexing, detinguy2018enhancing, salazar2020altering, normand2018enlarging, xiao2018mrtouch}, and %
+wearable haptic devices~\cite{pacchierotti2016hring, lopes2018adding, pezent2019tasbi, teng2021touch}.
+
+Wearable haptics seems particularly suited for this context, as it takes into account many of the AR constraints, \eg limited impact on hand tracking performance and reduced impairment of the senses and ability of the users to interact with real content~\cite{pacchierotti2016hring, maisto2017evaluation, lopes2018adding, meli2018combining, pezent2019tasbi, teng2021touch, kourtesis2022electrotactile, marchal2022virtual}.
+%
+For example, \textcite{pacchierotti2016hring} designed a haptic ring providing pressure and skin stretch sensations to be worn at the proximal finger phalanx, so as to improve the hand tracking during a pick-and-place task.
+%
+\textcite{pezent2019tasbi} proposed Tasbi: a wristband haptic device capable of rendering vibrations and pressures.
+%
+\textcite{teng2021touch} presented Touch\&Fold, a haptic device attached to the nail that provides pressure and texture sensations when interacting with virtual content, but also folds away when the user interacts with real objects, leaving the fingertip free.
+%
+This approach was also perceived as more realistic than providing sensations directly on the nail, as in~\cite{ando2007fingernailmounted}.
+%
+Each of these haptic devices provided haptic feedback about fingertip interactions with the virtual content on other parts of the hand.
+%
+If it is indeed necessary to delocalize the haptic feedback, each of these positions is promising, and they have not yet been compared with each other.
+
+Conjointly, a few studies have explored and compared the effects of visual and haptic feedback in tasks involving the manipulation of virtual objects with the hand.
+%
+\textcite{sarac2022perceived} and \textcite{palmer2022haptic} studied the effects of providing haptic feedback about contacts at the fingertips using haptic devices worn at the wrist, testing different mappings.
+%
+Results proved that moving the haptic feedback away from the point(s) of contact is possible and effective, and that its impact is more significant when the visual feedback is limited.
+%
+In pick-and-place tasks in AR involving both virtual and real objects, \textcite{maisto2017evaluation} and \textcite{meli2018combining} showed that having a haptic {rendering of the} fingertip interactions with the virtual objects led to better performance and perceived effectiveness than having only a visual rendering of the hand, similar to \figref{hands-tips}.
+%
+Moreover, employing the haptic ring of~\cite{pacchierotti2016hring} on the proximal finger phalanx led to an improved performance with respect to more standard fingertip haptic devices~\cite{chinello2020modular}.
+%
+However, the measured difference in performance could be attributed to either the device or the device position (proximal vs fingertip), or both.
+%
+Furthermore, all of these studies were conducted in non-immersive setups, where users looked at a screen displaying the visual interactions, and only compared haptic and visual feedback, but did not examine them together.
+%
+The improved performance and perceived effectiveness of a delocalized haptic feedback over a visual feedback alone, or their multimodal combination, remains to be verified in an immersive OST-AR setup.