diff --git a/1-introduction/related-work/1-wearable-haptics.tex b/1-introduction/related-work/1-haptic-hand.tex similarity index 64% rename from 1-introduction/related-work/1-wearable-haptics.tex rename to 1-introduction/related-work/1-haptic-hand.tex index 46bef3c..9e91ea0 100644 --- a/1-introduction/related-work/1-wearable-haptics.tex +++ b/1-introduction/related-work/1-haptic-hand.tex @@ -1,46 +1,34 @@ -\section{Rendering Objects with Wearable Haptics} -\label{wearable_haptics_hand} +\section{Perception and Interaction with the Hand} +\label{haptic_hand} -To understand how wearable haptics have been used to render haptic properties of virtual and augmented objects, we first need to describe how the hand senses and acts on its environment to perceive the haptic properties of real everyday objects. +% describe how the hand senses and acts on its environment to perceive the haptic properties of real everyday objects. + +The haptic sense has specific characteristics that make it unique in regard to other senses. +It enables us to perceive a large diversity of properties in the surrounding objects, through to a complex combination of sensations produced by numerous sensory receptors distributed throughout the body, but particularly in the hand. +It also allows us to act with the hand on these objects, to come into contact with them, to grasp them, to actively explore them, and to manipulate them. +This implies that the haptic perception is localized at the points of contact between the hand and the environment, \ie we cannot haptically perceive an object without actively touching it. +These two mechanisms, \emph{action} and \emph{perception}, are therefore closely associated and both essential to form the haptic experience of interacting with the environment using the hand~\cite{lederman2009haptic}. \subsection{The Haptic Sense} \label{haptic_sense} -The haptic sense has specific characteristics that make it unique in regard to other senses. -It enables us to perceive a large diversity of properties in the surrounding objects, through to a complex combination of sensations produced by numerous sensory receptors distributed throughout the body. -But it also allows us to act on these objects, to come into contact with them, to grasp them, to manipulate them and to actively explore them. -This implies that the haptic perception is localised at the points of contact between the body and the environment, \ie we cannot haptically perceive an object without actively touching it. -These two mechanisms, \emph{perception and action}, are therefore closely associated and both essential to form the haptic experience of interacting with the environment~\cite{lederman2009haptic}. +Perceiving the properties of an object involves numerous sensory receptors embedded in the skin, but also in the muscles and joints of the hand, and distributed across the body. They are divided into two main modalities: \emph{cutaneous} and \emph{kinesthetic}. +\subsubsection{Cutaneous Sensitivity} +\label{cutaneous_sensitivity} -\subsubsection{Haptic Perception} -\label{haptic_perception} +Cutaneous haptic receptors are specialized nerve endings implanted in the skin that respond differently to the various stimuli applied to the skin. \figref{blausen2014medical_skin} shows the location in the skin of the four main cutaneous receptors that respond to mechanical deformation of the skin. -Perceiving the properties of an object involves numerous sensory receptors embedded in the skin, but also in the muscles and joints of the hand, and distributed across the body. They are divided into two main modalities: \emph{cutaneous and kinesthetic}. +\fig[0.6]{blausen2014medical_skin}{Schema of cutaneous mechanoreceptors in a section of the skin~\cite{blausen2014medical}.} - -\paragraph{Cutaneous Sensitivity} - -Cutaneous haptic receptors are specialised nerve endings implanted in the skin that respond differently to the various stimuli applied to the skin. \figref{blausen2014medical_skin} shows the location in the skin of the four main cutaneous receptors that respond to mechanical deformation of the skin. - -Adaptation rate and receptor size are the two key characteristics that respectively determine the temporal and spatial resolution of these mechanoreceptors, as summarized in \tabref{cutaneous_receptors}. +Adaptation rate and receptor size are the two key characteristics that respectively determine the temporal and spatial resolution of these \emph{mechanoreceptors}, as summarized in \tabref{cutaneous_receptors}. The \emph{adaptation rate} is the speed and duration of the response to a stimulus. Meissner and Pacinian receptors, known as fast-adapting (FA), respond rapidly to a stimulus but stop quickly even though the stimulus is still present, allowing the detection of high-frequency changes. In contrast, Merkel and Ruffini receptors, known as slow-adapting (SA), have a slower but continuous response to a static, prolonged stimulus. The \emph{size of the receptor} determines the area of skin that can be sensed by a single nerve ending. Meissner and Merkel receptors have a small detection area (named Type I) and are sensitive to fine skin deformations, while Ruffini and Pacinian receptors have a larger detection area (named Type II). -\fig[0.6]{blausen2014medical_skin}{Schema of cutaneous mechanoreceptors in a section of the skin~\cite{blausen2014medical}.} - -The density of mechanoreceptors varies according to skin type and body region. -\emph{Glabrous skin}, especially on the face, feet, hands, and more importantly, the fingers, is particularly rich in cutaneous receptors, giving these regions great tactile sensitivity. -The density of the Meissner and Merkel receptors, which are the most sensitive, is notably high in the fingertips~\cite{johansson2009coding}. -Conversely, \emph{hairy skin} is less sensitive and does not contain Meissner receptors, but has additional receptors at the base of the hairs, as well as receptors known as C-tactile, which are involved in pleasantness and affective touch~\cite{ackerley2014touch}. - -There are also two types of thermal receptors implanted in the skin, which respond to increases or decreases in skin temperature, respectively, providing sensations of warmth or cold~\cite{lederman2009haptic}. -Finally, free nerve endings (without specialized receptors) provide information about pain~\cite{mcglone2007discriminative}. - \begin{tab}{cutaneous_receptors}{Characteristics of the cutaneous mechanoreceptors.}[ Adaptation rate is the speed and duration of the receptor's response to a stimulus. Receptive size is the area of skin detectable by a single receptor. Sensitivities are the stimuli detected by the receptor. Adapted from \textcite{mcglone2007discriminative} and \textcite{johansson2009coding}. ] @@ -56,8 +44,16 @@ Finally, free nerve endings (without specialized receptors) provide information \end{tabularx} \end{tab} +The density of mechanoreceptors varies according to skin type and body region. +\emph{Glabrous skin}, especially on the face, feet, hands, and more importantly, the fingers, is particularly rich in cutaneous receptors, giving these regions great tactile sensitivity. +The density of the Meissner and Merkel receptors, which are the most sensitive, is notably high in the fingertips~\cite{johansson2009coding}. +Conversely, \emph{hairy skin} is less sensitive and does not contain Meissner receptors, but has additional receptors at the base of the hairs, as well as receptors known as C-tactile, which are involved in pleasantness and affective touch~\cite{ackerley2014touch}. -\paragraph{Kinesthetic Sensitivity} +There are also two types of thermal receptors implanted in the skin, which respond to increases or decreases in skin temperature, respectively, providing sensations of warmth or cold~\cite{lederman2009haptic}. +Finally, free nerve endings (without specialized receptors) provide information about pain~\cite{mcglone2007discriminative}. + +\subsubsection{Kinesthetic Sensitivity} +\label{kinesthetic_sensitivity} Kinesthetic receptors are also mechanoreceptors but are located in the muscles, tendons and joints~\cite{jones2006human}. Les fuseaux musculaires, situés dans les muscles, répondent à la longueur des muscles, à la vitesse de l'étirement et à la contraction musculaire. @@ -72,15 +68,16 @@ Ainsi, même les yeux fermés, nous sommes capable de planifier et effectuer des Cependant, les mecanorécepteurs cutanées sont partie intégrante de cette perception, car tout mouvement du corps ainsi que les contacts avec l'environment déforme nécessairement la peau~\cite{johansson2009coding}. -\subsubsection{Hand-Object Interactions} +\subsection{Hand-Object Interactions} \label{hand_object_interactions} -La perception haptique est donc complexe, riche et construite à partir des multiples récepteurs sensoriels d'entrée cutanées et kinesthésiques. -Particulièrement présents dans la main, ils lui donne une grande sensibilité haptique mais aussi une grande dextérité dans ses mouvements. +Le sens haptique est donc composé d'un ensemble riche et complexe de multiples récepteurs sensoriels cutanées et kinesthésiques sous la peau, dans les muscles et articulations. +Particulièrement présents dans la main, ces récepteurs lui donne une grande sensibilité haptique mais aussi une grande dextérité dans ses mouvements. En effet, en fournissant un retour sensoriel en réponse aux mouvements de la main et des doigts, cela forme une \emph{boucle sensorimotrice} qui permet d'ajuster les mouvements en fonction des sensations. -\paragraph{Sensorimotor Continuum of the Hand} +\subsubsection{Sensorimotor Continuum of the Hand} +\label{sensorimotor_continuum} La contribution de ces deux types de sensations varie cependant selon les mouvements demandés par l'activité qu'effectue la main. \textcite{jones2006human} ont proposé ainsi un continuum sensorimoteur des fonctions de la main, allant d'activités principalement sensorielles à des activités avec une composante motrice plus importante. @@ -104,7 +101,7 @@ L'ensemble des interactions possible de la main avec un objet est vaste et vari Dans cette thèse, nous nous intéressons aux détections haptiques actives (\ie à l'exploration) d'augmentations visuo-haptiques (voir \partref{perception}) et à la préhension d'objets virtuels (voir \partref{manipulation}) dans le contexte de la RA et des wearable haptics. -\paragraph{Hand Anatomy and Motion} +\subsubsection{Hand Anatomy and Motion} Avant de comprendre comment la main est utilisée pour l'exploration et la préhension d'objets, il faut décrire brièvement son anatomie. En effet, sous la peau, la mise en action des muscles et des tendons est possible car ils prennent appuis sur les os. @@ -128,7 +125,7 @@ Cette structure complexe permet à la main de nombreux mouvements et gestes. Cep \end{subfigs} -\paragraph{Exploratory Procedures} +\subsubsection{Exploratory Procedures} L'exploration d'un objet par la main suit des modèles de mouvements stéréotypés, appelés procédures exploratoires~\cite{lederman1987hand}. Comme illustré sur la \figref{exploratory_procedures}, selon la propriété de l'objet explorée (décrites \secref{object_properties}), va être associé un mouvement spécifique et optimal de la main pour acquérir les information sensorielles les plus pertinentes pour cette propriété. @@ -145,7 +142,7 @@ Mais la reconnaissance des propriétés spatiales, la forme et la taille de l'ob Quelques secondes (\qtyrange{2}{3}{\s}) suffisent pour effectuer ces procédures, à l'exception du suivi de contour qui peut prendre une dizaine de secondes~\cite{jones2006human}. -\paragraph{Grasp Types} +\subsubsection{Grasp Types} La préhension d'un objet par la main est possible car celle-ci peut prendre de nombreuses postures grâce aux degrés de liberté de son squelette. En venant opposer le pouce ou la paume aux autres doigts (pad or palm grasps), ou encore les doigts entre eux comme pour tenir une cigarette (side grasp), la main peut tenir en sécurité l'objet~\cite{iberall1997human}. @@ -162,7 +159,7 @@ En particulier, le pouce est pratiquement toujours utilisé, ainsi que l'index e Cela s'explique par la sensibilité des bouts des doigts (voir \secref{haptic_perception}) et par la plus grande facilité d'opposer le pouce à l'index et au majeur que les autres doigts. -\subsection{Perceiving the Haptic Properties of Real Objects} +\subsection{Haptic Perception of Object Properties} \label{object_properties} Toucher activement un objet implique donc une action sensorimotrice de la main: Les mouvements exploratoires utilisés guident la recherche d'informations sensorielles et permettent de construire une perception haptique des propriétés de l'objet. @@ -176,6 +173,7 @@ Ces propriétés sont décrites (et évaluées\footnotemark) avec des échelles \subsubsection{Roughness} +\label{roughness} La rugosité (ou la smoothness) est la perception de la \emph{micro-géométrie} d'une surface, \ie des aspérités à la surface avec des différences de hauteur de l'ordre du millimètre au micromètre~\cite{bergmanntiest2010tactual}. C'est, par exemple, la perception de la fibre d'un tissu ou du bois et la texture du papier de verre ou d'une peinture. @@ -239,6 +237,7 @@ Les individus vont avoir une définition subjective de la rugosité, certains pr \subsubsection{Hardness} +\label{hardness} La dureté (ou la softness) est la perception de la \emph{résistance à la déformation} d'un objet quand il est pressé ou tapé~\cite{bergmanntiest2010tactual}. La softness perçue d'un fruit permet de juger sa maturité, alors que la céramique sera perçue comme dure. @@ -281,6 +280,7 @@ Un objet avec une faible raideur mais une grand module de Young (et vice-versa) \subsubsection{Friction} +\label{friction} La friction (ou la slipperiness/stickiness) est la perception de la \emph{résistance au mouvement} sur une surface~\cite{bergmanntiest2010tactual}. Le papier de verre, en opposant une forte résistance au glissement à sa surface, est typiquement perçu comme adhésif, alors que du verre est glissant. @@ -313,6 +313,7 @@ Si le doigt est anesthésié, l'absence de sensations cutanées empêche d'ajust \subsubsection{Temperature} +\label{temperature} La température (ou coldness/warmness) est la perception du \emph{transfert de chaleur} entre la surface touchée et la peau~\cite{bergmanntiest2010tactual}: Si de la chaleur est extraite de (apportée à) la peau, la surface est perçue comme froide (chaude). @@ -320,17 +321,18 @@ Le métal sera perçu comme plus froid que du bois avec la même température de Cette perception est donc distincte de la température physique du matériau, et dépend de la conductance thermique et de la capacité thermique du matériau, du volume de l'objet, de la différence de température initiale entre la surface et la peau, et de l'aire du contact~\cite{kappers2013haptic}. Par exemple, un objet plus volumineux ou une surface plus lisse, augmentant l'aire de contact, augmente la circulation thermique et rend une sensation de température plus intense~\cite{bergmanntiest2008thermosensory}. -Parce qu'elle est basée sur la circulation de la chaleur, la perception de la température est plus lente que les autres propriétés matérielles et demande un toucher statique (voir \figref{exploratory_procedures}) de plusieurs secondes pour que la température de la peau s'équilibre avec celle de l'objet. -La température $T(t)$ du doigt à l'instant $t$ et au contact avec une surface suit une loi décroissante exponentielle, où $T_s$ est la température initiale de la peau, $T_e$ est la température de la surface, $t$ est le temps et $\tau$ est la constante de temps: -\begin{equation} - \label{eq:temperature} - T(t) = (T_s - T_e) \, e^{-t / \tau} + T_e -\end{equation} -Le taux de transfert de chaleur, décrit par $\tau$, et l'écart de température $T_s - T_e$, sont les deux indices essentiels pour la perception de la température. -Dans des conditions de la vie de tous les jours, avec une température de la pièce de \qty{20}{\celsius}, une différence relative du taux de transfert de chaleur de \percent{43} ou un écart de \qty{2}{\celsius} est nécessaire pour percevoir une différence de température~\cite{bergmanntiest2009tactile}. +%Parce qu'elle est basée sur la circulation de la chaleur, la perception de la température est plus lente que les autres propriétés matérielles et demande un toucher statique (voir \figref{exploratory_procedures}) de plusieurs secondes pour que la température de la peau s'équilibre avec celle de l'objet. +%La température $T(t)$ du doigt à l'instant $t$ et au contact avec une surface suit une loi décroissante exponentielle, où $T_s$ est la température initiale de la peau, $T_e$ est la température de la surface, $t$ est le temps et $\tau$ est la constante de temps: +%\begin{equation} +% \label{eq:temperature} +% T(t) = (T_s - T_e) \, e^{-t / \tau} + T_e +%\end{equation} +%Le taux de transfert de chaleur, décrit par $\tau$, et l'écart de température $T_s - T_e$, sont les deux indices essentiels pour la perception de la température. +%Dans des conditions de la vie de tous les jours, avec une température de la pièce de \qty{20}{\celsius}, une différence relative du taux de transfert de chaleur de \percent{43} ou un écart de \qty{2}{\celsius} est nécessaire pour percevoir une différence de température~\cite{bergmanntiest2009tactile}. \subsubsection{Spatial Properties} +\label{spatial_properties} Le poids, la taille et la forme d'un objet sont des propriétés haptiques dites spatiales qui sont indépendantes des propriétés matérielles décrites précédemment. @@ -362,195 +364,11 @@ C'est pourquoi, l'exploration d'autres propriétés est alors privilégié pour \end{subfigs} -\subsubsection{Conclusion} - -La perception haptique des objets implique donc plusieurs mécanismes simultanés aux interactions complexes. -Ainsi, des mouvements exploratoires de la main et des doigts sont effectués au contact de l'objet selon la propriété explorée afin obtenir de multiples informations sensorielles venant de plusieurs capteurs cutanés et kinesthésiques. -Ces sensations traduisent des paramètres physiques de l'objet ou, plus difficilement mesurable, des interactions entre l'objet et la peau, mais qui sont influencée par de nombreux facteurs, comme la vitesse, la force et le temps d'exploration, mais aussi la sensibilité individuelle et le contexte de l'interaction. -Des indices perceptuels sont alors construit suivant des lois de discrimination et d'intensité perçue de ces sensations, et sont alors intégrés pour former une perception de la propriété explorée. -Un toucher statique peut suffire pour certaines propriétés, mais une action motrice est souvent cruciale pour la perception haptique. -Enfin, il est fréquent qu'un indice perceptuel soit particulièrement important dans la perception d'une propriété, mais une certaine constance perceptuelle semble possible en compensant son absence par d'autres, par exemple en touchant indirectement via un outil tenu en main. - - -\subsection{Wearable Haptics for the Hand} -\label{wearable_haptics} - -Un des rôles des systèmes haptiques est de recréer des interactions et sensations virtuelles \emph{similaires et comparables} à celles expérimentées par le sens du toucher avec des objets réels, en particulier dans des \v-\VE~\cite{maclean2008it,culbertson2018haptics}. -La complexité de la perception des propriétés haptiques des objets et la diversité des interactions possibles rendent donc particulièrement difficile de concevoir des dispositifs et rendus haptiques réalistes. -D'autant plus que le sens du toucher réparti sur l'ensemble de la main et du corps et que les sensations haptiques sont nécessairement produites par un contact direct de la peau avec l'objet, donc liées à un mouvement de la main sur l'objet. -Il n'existe donc pas de système haptique générique pouvant adresser tous les aspects du sens haptique, mais une grande variété de dispositifs et de rendus haptiques avec différents objectifs, contraintes et compromis. - -Cependant, une expérience numérique audio-visuelle peut être imparfaite et pourtant suffisante pour être utile et intéressante, comme peut l'être une visio-conférence, et transmettre des sensations comparables à celles réelles, comme regarder et écouter un concert sur un écran avec un casque. -Pourtant la qualité visuelle et sonore de telles expériences est très différente de celle d'une conversation "réelle" ou d'une vraie scène de tous les jours. -Ainsi, plus que recréer des expériences haptiques réalistes, il est plus important de rendre le stimulus sensoriel "au bon moment et à la bonne place"~\cite{hayward2007it}. - -% The quality of the illusory haptic experience is a function of the interplay between the user’s perceptual system and the intrinsic technical qualities of the interfaces - -\subsubsection{Wearable Haptic Devices} -\label{wearable_haptic_devices} - -Nous présentons ici seulement un survol des dispositifs haptiques portables pour la main et des rendus qu'ils permettent de générer. -En particulier, nous nous intéressons aux actuateurs portables stimulant les méchano-récepteurs de la peau (voir \secref{haptic_perception}) et n'empêchant pas de toucher et interagir avec l'environnement réel et aux rendus de propriétés haptiques d'objets virtuels ou augmentés. -%Pour une revue complète, voir \textcite{pacchierotti2017wearable}. - -\paragraph{Level of Wearability} - -Différents types de dispositifs haptiques peuvent être portés sur la main, mais seule une partie d'entre eux peut être considérée comme \emph{wearable}. \textcite{pacchierotti2017wearable} les classent en trois niveaux de portabilité, comme illustré sur la \figref{pacchierotti2017wearable}, l'augmentation de la portabilité ayant pour conséquence la perte de la capacité de retour kinesthésique du système. - -\begin{subfigs}{pacchierotti2017wearable}{ - Schematic level of wearability of haptic devices for the hand. Adapted from \textcite{pacchierotti2017wearable}. - }[ - \item World-grounded haptic devices are fixed on the environment to provide kinesthetic feedback to the user. - \item Exoskeletons are body-grounded kinesthetic devices. - \item Wearable haptic devices are grounded on the point of application of the tactile stimulus. - ] - \subfigsheight{35mm} - \subfig{pacchierotti2017wearable_1} - \subfig{pacchierotti2017wearable_2} - \subfig{pacchierotti2017wearable_3} -\end{subfigs} - -La recherche en haptique est historiquement liée à la robotique et à la téléopération menant à la conception de systèmes haptique \emph{grounded}, \ie fixés à un support dans l'environment, comme une table (voir \figref{pacchierotti2017wearable_1}). -Ce sont des bras robotiques dont l'effecteur est porté par le doigt ou la main de l'utilisateur et qui simulent des interactions avec un \VE en fournissant des retours kinesthésiques de forces et de torques (voir \figref{pacchierotti2015cutaneous}). -Ils sont cependant lourds, encombrants et limités à petit espace de travail~\cite{culbertson2018haptics}. - -Des dispositifs avec une conception plus portable ont donc été développés en rapprochant la partie mise à la terre sur le corps de l'utilisateur. -L'intégralité du système robotique est alors porté par l'utilisateur et forme un exosquelette également capable de fournir un retour kinesthésiques mais seulement aux doigts et non plus à la main entière, \eg in \figref{achibet2017flexifingers}. -Un effet indésirable de cette conception est que la force de réaction est alors également transmise à l'utilisateur à l'endroit du corps où le dispositif est grounded (voir \figref{pacchierotti2017wearable_2}). -Ils sont souvent lourds et encombrants, et ne peuvent pas être considérés comme wearable. - -\textcite{pacchierotti2017wearable} définit que : \enquote{A wearable haptic interface should also be small, easy to carry, comfortable, and it should not impair the motion of the wearer}. -Une approche consiste donc à déplacer le point de mise à la terre très proche de l'effecteur (voir \figref{pacchierotti2017wearable_3}) : l'interface est restreinte à un retour haptique cutané mais sa conception est plus compacte, légère et confortable, \eg in \figref{leonardis20173rsr}. %, comme un casque audio Bluetooth peut être parfaitement suffisant par rapport à un système Hi-Fi complet bien plus onéreux et encombrant. -De plus, comme détaillé en \secref{object_properties}, les sensations cutanées sont nécessaires et souvent suffisantes pour la perception des propriétés haptiques d'un objet exploré avec la main. - -\begin{subfigs}{grounded_to_wearable}{ - Examples of haptic devices for the hand with different levels of wearability. - }[ - \item Teleoperation of a virtual cube grasped with the thumb and index fingers each attached to a grounded haptic device~\cite{pacchierotti2015cutaneous}. - \item A passive exoskeleton for fingers simulating stiffness of a trumpet's pistons~\cite{achibet2017flexifingers}. - \item Manipulation of a virtual cube with the thumb and index fingers each attached with the 3-RSR wearable haptic device~\cite{leonardis20173rsr}. - ] - \subfig[.32]{pacchierotti2015cutaneous} - \subfig[.32]{achibet2017flexifingers} - \subfig[.32]{leonardis20173rsr} -\end{subfigs} - -% Tradeoff realistic and cost + analogy with sound, Hi-Fi costs a lot and is realistic, but 40$ BT headphone is more practical and enough, as cutaneous feedback without kinesthesic could be enough for wearable haptics and far more affordable and comfortable than world- or body-grounded haptics + cutaneous even better than kine for rendering surface curvature and fine manipulation - -Le rendu d'un dispositif haptique est déterminé par la nature des actuateurs employés, qui font interfaces entre le système haptique et la peau de l'utilisateur, et les types de stimulis qu'ils peuvent générer. Plusieurs types d'actuateurs sont souvent combinés pour obtenir des retours haptiques plus riches. Nous présentons brièvement ci-dessous les actuateurs wearables les plus représensatifs, suivant les catégories de \textcite{pacchierotti2017wearable}. - -\paragraph{Moving Platforms} - -Les plateformes mobiles se déplacent perpendiculairement sur la peau pour générer des sensations de contact, de pression et de bords~\cite{pacchierotti2017wearable}. -Placées sous le bout des doigts, elles peuvent venir au contact de la peau avec différentes forces, vitesses et orientations. -La plateforme est déplacée via des câbles, \eg in \figref{gabardi2016new}, ou des bras articulés, -\eg in \figref{perez2017optimizationbased}, qui sont activés par des moteurs grounded sur l'ongle~\cite{gabardi2016new,perez2017optimizationbased}. -Les moteurs allongent et raccourcissent les câbles ou orientent les bras pour déplacer la plateforme sur 3 \DoFs : deux pour l'orientation et un pour la force normale par rapport au doigt. -Cependant, les plateformes sont spécifiquement conçues donner un retour haptique pour le bout du doigt dans des \VE et empêchent donc d'interagir avec un \RE. - -\begin{subfigs}{normal_actuators}{ - Normal indentation actuators for the fingertip. - }[ - \item A moving platform actuated with cables~\cite{gabardi2016new}. - \item A moving platform actuated by articulated limbs~\cite{perez2017optimizationbased}. - \item Diagram of a pin-array of tactors~\cite{sarakoglou2012high}. - \item A pneumatic system composed of a \numproduct{12 x 10} array of air cylinders~\cite{ujitoko2020development}. - ] - \subfigsheight{35mm} - \subfig{gabardi2016new} - \subfig{perez2017optimizationbased} - \subfig{sarakoglou2012high} - \subfig{ujitoko2020development} -\end{subfigs} - -\paragraph{Pin and Pneumatic Arrays} - -Un pin-array est une surface composée de plusieurs petits pions rigides placés très proches sous forme de grille et qui peuvent être déplacés individuellement. Placée en contact avec le bout du doigt, elle peut générer des sensations de bord, de pression et de textures. -La \figref{sarakoglou2012high} montre un exemple de pin-array composé de \numproduct{4 x 4} tactors de \qty{1.5}{\mm} de diamètre et de \qty{2}{\mm} de hauteur, espacés de \qty{2}{\mm}~\cite{sarakoglou2012high}. -Les systèmes pneumatiques utilisent un fluide comme de l'air ou de l'eau pour venir gonfler des membranes sous la peau, générant des sensations de contact et de pression. Plusieurs membranes sont souvent utilisées sous forme de grille pour simuler des bords et des textures comme sur la \figref{ujitoko2020development}~\cite{ujitoko2020development}. -Même si ces deux types d'effecteurs peuvent être considérés comme wearable, leur actuation nécessite une grande complexité mécanique et électronique qui rend le système dans son ensemble peu portable. - -\paragraph{Tangential Motion Actuators} - -De conception similaire aux plateformes mobiles, les actuateurs qui fournissent des mouvements tangentiels activent un pion rigide ou une surface sous le doigt et génèrent de sensations de cisaillement de la peau. -Une structure de bras activées par des moteurs déplacent ainsi l'effecteur en contact avec la peau dans plusieurs directions sur 2 \DoFs parallèlement à la peau, \eg in \figref{leonardis2015wearable}~\cite{leonardis2015wearable}. -Certains actuateurs sont capables de rendre à la fois des mouvements normaux et tangentiels sur 3 \DoFs sur la peau ainsi qu'établir et cesser le contact avec le doigt, \eg in \figref{schorr2017fingertip}~\cite{schorr2017fingertip}. - -\paragraph{Compression Belts} - -Une approche alternative mécaniquement plus simple est de placer une ceinture sur le dessous du doigt et de l'activer sur 2 \DoFs par deux moteurs placés sur le dessus du doigt~\cite{minamizawa2007gravity}. -En tournant dans des directions opposées, les moteurs raccourcissent la ceinture qui génère une sensation de pression sur le doigt. -À l'inverse, en tournant simultanément dans la même direction, la ceinture tire la peau du doigt dans une sensation de cisaillement. -La simplicité de cette approche permet de placer la ceinture ailleurs sur la main, laissant libre le bout du doigt pour interagir avec le \RE, \eg le hRing sur la phalange proximale de \textcite{pacchierotti2016hring} (voir \figref{pezent2019tasbi}) ou Tasbi sur le poignet de \textcite{pezent2019tasbi} (voir \figref{pezent2019tasbi}). - -\begin{subfigs}{tangential_belts}{Tangential motion actuators and compression belts. }[ - \item A skin strech actuator for the fingertip~\cite{leonardis2015wearable}. - \item A 3 \DoF actuator capable of normal and tangential motion on the fingertip~\cite{schorr2017fingertip}. - %\item A shearing belt actuator for the fingertip~\cite{minamizawa2007gravity}. - \item The hRing, a shearing belt actuator for the proximal phalanx of the finger~\cite{pacchierotti2016hring}. - \item Tasbi, a wristband capable of pressure and vibrotactile feedback~\cite{pezent2019tasbi}. - ] - \subfigsheight{34mm} - \subfig{leonardis2015wearable} - \subfig{schorr2017fingertip} - \subfig{pacchierotti2016hring} - \subfig{pezent2019tasbi} -\end{subfigs} - -\paragraph{Vibrotactile Actuators} - -Vibrotactile actuators are the most common and simplest wearable haptic interfaces, and are available as consumer products. -They are small, lightweight and can be placed directly on any part of the hand. -\textcite{choi2013vibrotactile} provide a detailed review. -All vibrotactile actuators are based on the same principle: generating an oscillating motion from an electric current with a frequency and amplitude high enough to be perceived by cutaneous mechanoreceptors. -Several types of vibrotactile actuators are used in haptics, with different trade-offs between size, proposed \DoFs and application constraints: -\begin{itemize} - \item An \ERM is a \DC motor that rotates an off-center mass when a voltage or current is applied (see \figref{precisionmicrodrives_erm}). \ERMs are easy to control, inexpensive and can be encapsulated in a few millimeters cylinder or coin form factor. However, they have only one \DoF because both the frequency and amplitude of the vibration are coupled to the speed of the rotation, \eg low (high) frequencies output at low (high) amplitudes, as shown on \figref{precisionmicrodrives_erm_performances}. - \item A \LRA consists of a coil that creates a magnetic field from an \AC to oscillate a magnet attached to a spring, as an audio loudspeaker (see \figref{precisionmicrodrives_lra}). They are more complex to control and a bit larger than \ERMs. Each \LRA is designed to vibrate with maximum amplitude at a given frequency, but won't vibrate efficiently at other frequencies, \ie their bandwidth is narrow, as shown on \figref{azadi2014vibrotactile}. - \item A \VCA is a \LRA but capable of generating vibration at two \DoF, with an independent control of the frequency and amplitude of the vibration on a wide bandwidth. They are larger in size than \ERMs and \LRAs, but can generate more complex renderings. - \item Piezoelectric actuators deform a solid material when a voltage is applied. They are very small and thin, and allow two \DoFs of amplitude and frequency control. However, they require high voltages to operate thus limiting their use in wearable devices. -\end{itemize} - -\begin{subfigs}{vibrotactile_actuators}{Diagrams of vibrotactile acuators. }[ - \item Diagram of a cylindrical encapsulated \ERM. From Precision Microdrives.~\footnotemark[2] - \item Diagram of a \LRA. From Precision Microdrives.~\footnotemark[2] - \footnotetext[2]{\url{https://www.precisionmicrodrives.com/}} - ] - \subfigsheight{50mm} - \subfig{precisionmicrodrives_erm} - \subfig{precisionmicrodrives_lra} -\end{subfigs} - -\begin{subfigs}{vibrotactile_performances}{Performances of vibrotactile acuators. }[ - \item Amplitude and frequency output of an \ERM as a function of the input voltage. From Precision Microdrives.~\footnotemark[2] - \item Force generated by two \LRAs as a function of sine wave input with different frequencies~\cite{azadi2014vibrotactile}. - ] - \subfig[.58]{precisionmicrodrives_erm_performances} - \subfig[.38]{azadi2014vibrotactile} -\end{subfigs} - - -\subsubsection{Tactile Renderings of Object Properties} -\label{wearable_haptic_renderings} - -Le rendu tactile des propriétés haptiques consiste à modéliser et reproduire des sensations cutanées virtuelles comparables à celles perçues lors de l'interaction avec des objets réels. - -%, unlike most previous actuators that are designed specifically for fingertips and would require mechanical adaptation to be placed on other parts of the hand. -%thanks to the vibration propagation and the sensory capabilities distributed throughout the skin, they can be placed without adaption and on any part of the hand - -\paragraph{Contact} - -\paragraph{Hardness} - -\paragraph{Texture} - -%\subsubsection{Evaluating the Haptic Rendering} -%\label{wearable_haptics_evaluation} -% -%Les méthodes psychophysiques sont notamment utilisées pour étudier le sens du toucher avec des objets réels et sont ré-employées pour pour évaluer la perception par les utilisateurs des rendus haptiques virtuels. -%% -%\textcite{choi2013vibrotactile} présentent particulièrement bien les questions perceptuelles et les méthodes d'évaluations à considérer. -% - \subsection{Conclusion} -\label{wearable_haptics_conclusion} +\label{haptic_sense_conclusion} + +La perception haptique et la manipulation des objets avec la main implique donc plusieurs mécanismes simultanés aux interactions complexes. +Ainsi, des mouvements exploratoires de la main sont effectués au contact de l'objet afin obtenir de multiples informations sensorielles venant de plusieurs capteurs cutanés et kinesthésiques. +Ces sensations traduisent des paramètres physiques en indices perceptuels qui sont alors intégrés pour former une perception de la propriété explorée. +Il est fréquent qu'un indice perceptuel soit particulièrement important dans la perception d'une propriété, mais une certaine constance perceptuelle est possible en compensant son absence par d'autres. +Ces perceptions permettent en retour de guider la préhension et la manipulation de l'objet en adoptant avec la main des préhensions et forces adaptées à la forme de l'objet et à la tâche à réaliser. diff --git a/1-introduction/related-work/2-wearable-haptics.tex b/1-introduction/related-work/2-wearable-haptics.tex new file mode 100644 index 0000000..f2eca1c --- /dev/null +++ b/1-introduction/related-work/2-wearable-haptics.tex @@ -0,0 +1,204 @@ +\section{Rendering Objects with Wearable Haptics} +\label{wearable_haptics} + +Un des rôles des systèmes haptiques est de recréer des interactions et sensations virtuelles \emph{similaires et comparables} à celles expérimentées par le sens du toucher avec des objets réels, en particulier dans des \v-\VE~\cite{maclean2008it,culbertson2018haptics}. + + +\subsection{Level of Wearability} +\label{wearability_level} + +Différents types de dispositifs haptiques peuvent être portés sur la main, mais seule une partie d'entre eux peut être considérée comme \emph{wearable}. \textcite{pacchierotti2017wearable} les classent en trois niveaux de portabilité, comme illustré sur la \figref{pacchierotti2017wearable}, l'augmentation de la portabilité ayant pour conséquence la perte de la capacité de retour kinesthésique du système. + +\begin{subfigs}{pacchierotti2017wearable}{ + Schematic wearability level of haptic devices for the hand. Adapted from \textcite{pacchierotti2017wearable}. + }[ + \item World-grounded haptic devices are fixed on the environment to provide kinesthetic feedback to the user. + \item Exoskeletons are body-grounded kinesthetic devices. + \item Wearable haptic devices are grounded on the point of application of the tactile stimulus. + ] + \subfigsheight{35mm} + \subfig{pacchierotti2017wearable_1} + \subfig{pacchierotti2017wearable_2} + \subfig{pacchierotti2017wearable_3} +\end{subfigs} + +La recherche en haptique est historiquement liée à la robotique et à la téléopération menant à la conception de systèmes haptique \emph{grounded}, \ie fixés à un support dans l'environment, comme une table (voir \figref{pacchierotti2017wearable_1}). +Ce sont des bras robotiques dont l'effecteur est porté par le doigt ou la main de l'utilisateur et qui simulent des interactions avec un \VE en fournissant des retours kinesthésiques de forces et de torques (voir \figref{pacchierotti2015cutaneous}). +Ils fournissent un retour haptique de haute fidélité mais sont lourds, encombrants et limités à petit espace de travail~\cite{culbertson2018haptics}. + +Des dispositifs avec une conception plus portable ont donc été développés en rapprochant la partie mise à la terre sur le corps de l'utilisateur. +L'intégralité du système robotique est alors porté par l'utilisateur et forme un exosquelette également capable de fournir un retour kinesthésiques mais seulement aux doigts et non plus à la main entière, \eg in \figref{achibet2017flexifingers}. +Un effet indésirable de cette conception est que la force de réaction est alors également transmise à l'utilisateur à l'endroit du corps où le dispositif est grounded (voir \figref{pacchierotti2017wearable_2}). +Ils sont souvent lourds et encombrants, et ne peuvent pas être considérés comme wearable. + +\textcite{pacchierotti2017wearable} définit que : \enquote{A wearable haptic interface should also be small, easy to carry, comfortable, and it should not impair the motion of the wearer}. +Une approche consiste donc à déplacer le point de mise à la terre très proche de l'effecteur (voir \figref{pacchierotti2017wearable_3}) : l'interface est restreinte à un retour haptique cutané mais sa conception est plus compacte, légère et confortable, \eg in \figref{leonardis20173rsr}. %, comme un casque audio Bluetooth peut être parfaitement suffisant par rapport à un système Hi-Fi complet bien plus onéreux et encombrant. +De plus, comme détaillé en \secref{object_properties}, les sensations cutanées sont nécessaires et souvent suffisantes pour la perception des propriétés haptiques d'un objet exploré avec la main. + +\begin{subfigs}{grounded_to_wearable}{ + Examples of haptic devices for the hand with different levels of wearability. + }[ + \item Teleoperation of a virtual cube grasped with the thumb and index fingers each attached to a grounded haptic device~\cite{pacchierotti2015cutaneous}. + \item A passive exoskeleton for fingers simulating stiffness of a trumpet's pistons~\cite{achibet2017flexifingers}. + \item Manipulation of a virtual cube with the thumb and index fingers each attached with the 3-RSR wearable haptic device~\cite{leonardis20173rsr}. + ] + \subfig[.32]{pacchierotti2015cutaneous} + \subfig[.32]{achibet2017flexifingers} + \subfig[.32]{leonardis20173rsr} +\end{subfigs} + +% Tradeoff realistic and cost + analogy with sound, Hi-Fi costs a lot and is realistic, but 40$ BT headphone is more practical and enough, as cutaneous feedback without kinesthesic could be enough for wearable haptics and far more affordable and comfortable than world- or body-grounded haptics + cutaneous even better than kine for rendering surface curvature and fine manipulation + +Le rendu d'un dispositif haptique est déterminé par la nature des actuateurs employés, qui font interfaces entre le système haptique et la peau de l'utilisateur, et les types de stimulis qu'ils peuvent générer. Plusieurs types d'actuateurs sont souvent combinés pour obtenir des retours haptiques plus riches. + + +\subsection{Wearable Haptic Devices for the Hand} +\label{wearable_haptic_devices} + +Nous présentons d'abord un survol des dispositifs haptiques portables pour la main, suivant les catégories de \textcite{pacchierotti2017wearable}, car les caractéristiques et mécanismes de l'effecteur respectif conditionnent les retours haptiques qu'un dispositif peut fournir. + + +\subsubsection{Moving Platforms} +\label{normal_actuators} + +Les plateformes mobiles se déplacent perpendiculairement sur la peau pour générer des sensations de contact, de pression et de bords~\cite{pacchierotti2017wearable}. +Placées sous le bout des doigts, elles peuvent venir au contact de la peau avec différentes forces, vitesses et orientations. +La plateforme est déplacée via des câbles, \eg in \figref{gabardi2016new}, ou des bras articulés, +\eg in \figref{perez2017optimizationbased}, qui sont activés par des moteurs grounded sur l'ongle~\cite{gabardi2016new,perez2017optimizationbased}. +Les moteurs allongent et raccourcissent les câbles ou orientent les bras pour déplacer la plateforme sur 3 \DoFs : deux pour l'orientation et un pour la force normale par rapport au doigt. +Cependant, les plateformes sont spécifiquement conçues donner un retour haptique pour le bout du doigt dans des \VE et empêchent donc d'interagir avec un \RE. + +\begin{subfigs}{normal_actuators}{ + Normal indentation actuators for the fingertip. + }[ + \item A moving platform actuated with cables~\cite{gabardi2016new}. + \item A moving platform actuated by articulated limbs~\cite{perez2017optimizationbased}. + \item Diagram of a pin-array of tactors~\cite{sarakoglou2012high}. + \item A pneumatic system composed of a \numproduct{12 x 10} array of air cylinders~\cite{ujitoko2020development}. + ] + \subfigsheight{35mm} + \subfig{gabardi2016new} + \subfig{perez2017optimizationbased} + \subfig{sarakoglou2012high} + \subfig{ujitoko2020development} +\end{subfigs} + +\subsubsection{Pin and Pneumatic Arrays} +\label{array_actuators} + +Un pin-array est une surface composée de plusieurs petits pions rigides placés très proches sous forme de grille et qui peuvent être déplacés individuellement. Placée en contact avec le bout du doigt, elle peut générer des sensations de bord, de pression et de textures. +La \figref{sarakoglou2012high} montre un exemple de pin-array composé de \numproduct{4 x 4} tactors de \qty{1.5}{\mm} de diamètre et de \qty{2}{\mm} de hauteur, espacés de \qty{2}{\mm}~\cite{sarakoglou2012high}. +Les systèmes pneumatiques utilisent un fluide comme de l'air ou de l'eau pour venir gonfler des membranes sous la peau, générant des sensations de contact et de pression. Plusieurs membranes sont souvent utilisées sous forme de grille pour simuler des bords et des textures comme sur la \figref{ujitoko2020development}~\cite{ujitoko2020development}. +Même si ces deux types d'effecteurs peuvent être considérés comme wearable, leur actuation nécessite une grande complexité mécanique et électronique qui rend le système dans son ensemble peu portable. + +\subsubsection{Tangential Motion Actuators} +\label{tangential_actuators} + +De conception similaire aux plateformes mobiles, les actuateurs qui fournissent des mouvements tangentiels activent un pion rigide ou une surface sous le doigt et génèrent de sensations de cisaillement de la peau. +Une structure de bras activées par des moteurs déplacent ainsi l'effecteur en contact avec la peau dans plusieurs directions sur 2 \DoFs parallèlement à la peau, \eg in \figref{leonardis2015wearable}~\cite{leonardis2015wearable}. +Certains actuateurs sont capables de rendre à la fois des mouvements normaux et tangentiels sur 3 \DoFs sur la peau ainsi qu'établir et cesser le contact avec le doigt, \eg in \figref{schorr2017fingertip}~\cite{schorr2017fingertip}. + +\subsubsection{Compression Belts} +\label{belt_actuators} + +Une approche alternative mécaniquement plus simple est de placer une ceinture sur le dessous du doigt et de l'activer sur 2 \DoFs par deux moteurs placés sur le dessus du doigt~\cite{minamizawa2007gravity}. +En tournant dans des directions opposées, les moteurs raccourcissent la ceinture qui génère une sensation de pression sur le doigt. +À l'inverse, en tournant simultanément dans la même direction, la ceinture tire la peau du doigt dans une sensation de cisaillement. +La simplicité de cette approche permet de placer la ceinture ailleurs sur la main, laissant libre le bout du doigt pour interagir avec le \RE, \eg le hRing sur la phalange proximale de \textcite{pacchierotti2016hring} (voir \figref{pezent2019tasbi}) ou Tasbi sur le poignet de \textcite{pezent2019tasbi} (voir \figref{pezent2019tasbi}). + +\begin{subfigs}{tangential_belts}{Tangential motion actuators and compression belts. }[ + \item A skin strech actuator for the fingertip~\cite{leonardis2015wearable}. + \item A 3 \DoF actuator capable of normal and tangential motion on the fingertip~\cite{schorr2017fingertip}. + %\item A shearing belt actuator for the fingertip~\cite{minamizawa2007gravity}. + \item The hRing, a shearing belt actuator for the proximal phalanx of the finger~\cite{pacchierotti2016hring}. + \item Tasbi, a wristband capable of pressure and vibrotactile feedback~\cite{pezent2019tasbi}. + ] + \subfigsheight{34mm} + \subfig{leonardis2015wearable} + \subfig{schorr2017fingertip} + \subfig{pacchierotti2016hring} + \subfig{pezent2019tasbi} +\end{subfigs} + +\subsubsection{Vibrotactile Actuators} +\label{vibrotactile_actuators} + +Vibrotactile actuators are the most common and simplest wearable haptic interfaces, and are available as consumer products. +They are small, lightweight and can be placed directly on any part of the hand. +\textcite{choi2013vibrotactile} provide a detailed review. +All vibrotactile actuators are based on the same principle: generating an oscillating motion from an electric current with a frequency and amplitude high enough to be perceived by cutaneous mechanoreceptors. +Several types of vibrotactile actuators are used in haptics, with different trade-offs between size, proposed \DoFs and application constraints: +\begin{itemize} + \item An \ERM is a \DC motor that rotates an off-center mass when a voltage or current is applied (see \figref{precisionmicrodrives_erm}). \ERMs are easy to control, inexpensive and can be encapsulated in a few millimeters cylinder or coin form factor. However, they have only one \DoF because both the frequency and amplitude of the vibration are coupled to the speed of the rotation, \eg low (high) frequencies output at low (high) amplitudes, as shown on \figref{precisionmicrodrives_erm_performances}. + \item A \LRA consists of a coil that creates a magnetic field from an \AC to oscillate a magnet attached to a spring, as an audio loudspeaker (see \figref{precisionmicrodrives_lra}). They are more complex to control and a bit larger than \ERMs. Each \LRA is designed to vibrate with maximum amplitude at a given frequency, but won't vibrate efficiently at other frequencies, \ie their bandwidth is narrow, as shown on \figref{azadi2014vibrotactile}. + \item A \VCA is a \LRA but capable of generating vibration at two \DoF, with an independent control of the frequency and amplitude of the vibration on a wide bandwidth. They are larger in size than \ERMs and \LRAs, but can generate more complex renderings. + \item Piezoelectric actuators deform a solid material when a voltage is applied. They are very small and thin, and allow two \DoFs of amplitude and frequency control. However, they require high voltages to operate thus limiting their use in wearable devices. +\end{itemize} + +\begin{subfigs}{vibrotactile_actuators}{Diagrams of vibrotactile acuators. }[ + \item Diagram of a cylindrical encapsulated \ERM. From Precision Microdrives.~\footnotemark + \item Diagram of a \LRA. From Precision Microdrives.~\footnotemark[2] + ] + \subfigsheight{50mm} + \subfig{precisionmicrodrives_erm} + \subfig{precisionmicrodrives_lra} +\end{subfigs} + +\footnotetext{\url{https://www.precisionmicrodrives.com/}} + +\begin{subfigs}{vibrotactile_performances}{Performances of vibrotactile acuators. }[ + \item Amplitude and frequency output of an \ERM as a function of the input voltage. From Precision Microdrives.~\footnotemark[2] + \item Force generated by two \LRAs as a function of sine wave input with different frequencies: both their maximum force and frequency are different~\cite{azadi2014vibrotactile}. + ] + \subfig[.58]{precisionmicrodrives_erm_performances} + \subfig[.38]{azadi2014vibrotactile} +\end{subfigs} + + +\subsection{Tactile Renderings of Object Properties} +\label{tactile_rendering} + +Le rendu tactile des propriétés haptiques consiste à modéliser et reproduire des sensations cutanées virtuelles comparables à celles perçues lors de l'interaction avec des objets réels. + +En particulier, nous nous intéressons aux actuateurs portables stimulant les méchano-récepteurs de la peau (voir \secref{haptic_sense}) et n'empêchant pas de toucher et interagir avec l'environnement réel et aux rendus de propriétés haptiques d'objets virtuels ou augmentés. + +%, unlike most previous actuators that are designed specifically for fingertips and would require mechanical adaptation to be placed on other parts of the hand. +%thanks to the vibration propagation and the sensory capabilities distributed throughout the skin, they can be placed without adaption and on any part of the hand + +\subsubsection{Contact \& Hardness} +\label{contact_rendering} + +\subsubsection{Texture} +\label{texture_rendering} + +Several approaches have been proposed to render virtual haptic texture~\autocite{culbertson2018haptics}. +% +High-fidelity force feedback devices can reproduce patterned textures with great precision and provide similar perceptions to real textures, but they are expensive, have a limited workspace, and impose to hold a probe to explore the texture~\autocite{unger2011roughness}. +% +As more traditional force feedback systems are unable to accurately render such micro-details on a simulated surface, vibrotactile devices attached to the end effector instead generate vibrations to simulate interaction with the virtual texture~\autocite{culbertson2018haptics}. +% +In this way, physics-based models~\autocite{chan2021hasti,okamura1998vibration,guruswamy2011iir} and data-based models~\autocite{culbertson2015should,romano2010automatic} have been developed and evaluated, the former being simpler but more approximate to real textures, and the latter being more realistic but limited to the captured textures. +% +Notably, \textcite{okamura1998vibration} rendered grating textures with exponentially decaying sinudoids that simulated the strokes of the grooves and ridges of the surface, while \textcite{culbertson2014modeling} captured and modelled the roughness of real surfaces to render them using the speed and force of the user. +% +An effective approach to rendering virtual roughness is to generate vibrations to simulate interaction with the virtual texture~\autocite{culbertson2018haptics}, relying on the user's real-time measurements of position, velocity and force to modulate the frequencies and amplitudes of the vibrations, with position and velocity being the most important parameters~\autocite{culbertson2015should}. +% For example, when comparing the same virtual texture pairwise, but with different parameters, \textcite{culbertson2015should} showed that the roughness vibrations generated should vary with user speed, but not necessarily with user force. +% Virtual data-driven textures were perceived as similar to real textures, except for friction, which was not rendered properly. +% +The perceived roughness of real surfaces can be then modified when touched by a tool with a vibrotactile actuator attached~\autocite{culbertson2014modeling,ujitoko2019modulating} or directly with the finger wearing the vibrotactile actuator~\autocite{asano2015vibrotactile}, creating a haptic texture augmentation. +% +The objective is not just to render a virtual texture, but to alter the perception of a real, tangible surface, usually with wearable haptic devices, in what is known as haptic augmented reality (HAR)~\autocite{bhatia2024augmenting,jeon2009haptic}. + +One additional challenge of augmenting the finger touch is to keep the fingertip free to touch the real environment, thus delocalizing the actuator elsewhere on the hand~\autocite{ando2007fingernailmounted,friesen2024perceived,normand2024visuohaptic,teng2021touch}. +% +Of course, the fingertip skin is not deformed by the virtual texture and only vibrations are felt, but it has been shown that the vibrations produced on the fingertip skin running over a real surface are texture specific and similar between individuals~\autocite{manfredi2014natural}. +% +A common method vibrotactile rendering of texture is to use a sinusoidal signal whose frequency is modulated by the finger position or velocity~\autocite{asano2015vibrotactile,friesen2024perceived,strohmeier2017generating,ujitoko2019modulating}. +% +It remains unclear whether such vibrotactile texture augmentation is perceived the same when integrated into visual AR or VR environments or touched with a virtual hand instead of the real hand. +% +%We also add a phase adjustment to this sinusoidal signal to allow free exploration movements of the finger with a simple camera-based tracking system. + + +\subsection{Conclusion} +\label{wearable_haptics_conclusion} diff --git a/1-introduction/related-work/2-augmented-reality.tex b/1-introduction/related-work/3-augmented-reality.tex similarity index 66% rename from 1-introduction/related-work/2-augmented-reality.tex rename to 1-introduction/related-work/3-augmented-reality.tex index 7c41f2c..3cb8c99 100644 --- a/1-introduction/related-work/2-augmented-reality.tex +++ b/1-introduction/related-work/3-augmented-reality.tex @@ -1,50 +1,59 @@ -\section{Hand Interaction in Augmented Reality} +\section{Principles and Capabilities of AR} \label{augmented_reality} -%Based on the interaction loop presented in \figref[introduction]{interaction-loop}, we briefly detail the fundamental main components that compose any AR application: tracking, rendering and display. - -\subsection{Principles and Capabilities of AR} -\label{ar_intro} - -\subsubsection{What is Augmented Reality?} - -The first \AR \HMD was invented by \textcite{sutherland1968headmounted}: With the technology available at the time, it was already capable of displaying virtual objects at a fixed point in space in real time, giving the user the illusion that the content was present in the room (see \figref{sutherland1970computer3}). -% +The first \AR \HMD was invented by \textcite{sutherland1968headmounted}: With the technology available at the time, it was already capable of displaying virtual objects at a fixed point in space in real time, giving the user the illusion that the content was present in the room (see \figref{sutherland1968headmounted}). Fixed to the ceiling, the headset displayed a stereoscopic (one image per eye) perspective projection of the virtual content on a transparent screen, taking into account the user's position, and thus already following the interaction loop presented in \figref[introduction]{interaction-loop}. -This system also already fulfilled the first formal definition of \AR, proposed by \textcite{azuma1997survey} in the first survey of the domain: (1) \emph{combine real and virtual}, (2) \emph{be interactive in real time} and (3) \emph{register real and virtual}\footnote{This third characteristic has been slightly adapted to use the version of \textcite{marchand2016pose}, the original definition was: \enquote{registered in \ThreeD}.}. -% +\begin{subfigs}{sutherland1968headmounted}{Photos of the first \AR system~\cite{sutherland1968headmounted}. }[ + \item The \AR \HMD displaying wireframe \ThreeD virtual objects registered in the real environment. + \item The \HMD displayed wireframe \ThreeD virtual objects registered in the real environment. + ] + \subfigsheight{45mm} + \subfig{sutherland1970computer3} + \subfig{sutherland1970computer2} +\end{subfigs} + + +\subsection{What is Augmented Reality?} +\label{ar_definition_applications} + + +\paragraph{A Definition} + +The system of \cite{sutherland1968headmounted} already fulfilled the first formal definition of \AR, proposed by \textcite{azuma1997survey} in the first survey of the domain: +\begin{enumerate}[label=(\arabic*)] + \item \emph{combine real and virtual}, + \item \emph{be interactive in real time}, and + \item \emph{register real and virtual}\footnotemark. +\end{enumerate} + +%\footnotetext{There quite confusion in the literature and in (because of) the industry about the terms \AR and \MR. The term \MR is very often used as a synonym of \AR, or a version of \AR that enables an interaction with the virtual content. The title of this section refers to the title of the highly cited paper by \textcite{speicher2019what} that examines this debate.} + +\footnotetext{This third characteristic has been slightly adapted to use the version of \textcite{marchand2016pose}, the original definition was: \enquote{registered in \ThreeD}.} + Each of these characteristics is essential: the real-virtual combination distinguishes \AR from \VR, a movie with integrated digital content is not interactive and a \TwoD overlay like an image filter is not registered. -% There are also two key aspects to this definition: it does not focus on technology or method, but on the user's perspective of the system experience, and it does not specify a particular human sense, \ie it can be auditory~\cite{yang2022audio}, haptic~\cite{bhatia2024augmenting}, or even olfactory~\cite{brooks2021stereosmell} or gustatory~\cite{brooks2023taste}. -% Yet, most of the research have focused on visual augmentations, and the term \AR (without a prefix) is almost always understood as \v-\AR. %For example, \textcite{milgram1994taxonomy} proposed a taxonomy of \MR experiences based on the degree of mixing real and virtual environments, and \textcite{skarbez2021revisiting} revisited this taxonomy to include the user's perception of the experience. -% debate on the definition of AR -% taxonomy of Milgram/Skarbez -\subsubsection{Applications} -% +\paragraph{Applications} + Advances in technology, research and development have enabled many usages of \AR, including medicine, education, industrial, navigation, collaboration and entertainment applications~\cite{dey2018systematic}. -% For example, \AR can help surgeons to visualize \ThreeD images of the brain overlaid on the patient's head prior or during surgery (see \figref{watanabe2016transvisible}) or improve the learning of students with complex concepts and phenomena such as optics or chemistry (see \figref{bousquet2024reconfigurable}). -% It can also guide workers in complex tasks, such as assembly, maintenance or verification (see \figref{hartl2013mobile}), or can create complete new forms of gaming or tourism experiences (see \figref{roo2017inner}). -% -Most of \AR/\VR experience can now be implemented with commercially available hardware and software solutions, in particular for tracking, rendering and display. +Most of (visual) \AR/\VR experience can now be implemented with commercially available hardware and software solutions, in particular for tracking, rendering and display. +Yet, the user experience in \AR is still highly dependent on the display used. -\begin{subfigs}{augmented-reality}{Examples of \AR applications. }[ - \item The first \AR \HMD displaying wireframe \ThreeD virtual objects registered in the real environment~\cite{sutherland1968headmounted}. +\begin{subfigs}{ar_applications}{Examples of \AR applications. }[ \item Neurosurgery visualization of the brain on a patient's head~\cite{watanabe2016transvisible}. \item HOBIT is a spatial, tangible \AR table simulating an optical bench for educational experimentations~\cite{bousquet2024reconfigurable}. \item \AR can interactively guide in document verification tasks by recognizing and comparing with virtual references ~\cite{hartl2013mobile}. \item Inner Garden is a visually augmented zen garden for relaxation and meditation~\cite{roo2017inner}. ] - \subfigsheight{36mm} - \subfig{sutherland1970computer3} + \subfigsheight{45mm} \subfig{watanabe2016transvisible} \subfig{bousquet2024reconfigurable} \subfig{hartl2013mobile} @@ -52,53 +61,38 @@ Most of \AR/\VR experience can now be implemented with commercially available ha \end{subfigs} -\subsubsection{Displays} +\subsection{Displays and Perception} +\label{ar_displays} % Bimber and types of AR % State of current HMD -\subsubsection{On Presence and Embodiment} +\subsection{On Presence and Embodiment} +\label{ar_presence} -Despite this clear and acknowledged definition and the viewpoint of this thesis that \AR and \VR are two type of \MR experience with different levels of mixing real and virtual environments, as presented in \secref[introduction]{visuo_haptic_augmentations}, there is still a debate on defining \AR and \MR as well as how to characterize and categorized such experiences~\cite{speicher2019what,skarbez2021revisiting}. +Despite the clear and acknowledged definition presented in \secref{ar_definition} and the viewpoint of this thesis that \AR and \VR are two type of \MR experience with different levels of mixing real and virtual environments, as presented in \secref[introduction]{visuo_haptic_augmentations}, there is still a debate on defining \AR and \MR as well as how to characterize and categorized such experiences~\cite{speicher2019what,skarbez2021revisiting}. -\emph{Presence} is one of the key concept to characterize a \VR experience. -% +\paragraph{Presence} + +Presence is one of the key concept to characterize a \VR experience. \AR and \VR are both essentially illusions as the virtual content does not physically exist but is just digitally simulated and rendered to the user's perception through a user interface and the user's senses. -% Such experience of disbelief suspension in \VR is what is called presence, and it can be decomposed into two dimensions: \PI and \PSI~\cite{slater2009place}. -% \PI is the sense of the user of \enquote{being there} in the \VE, and it emerges from the real time rendering of the \VE from the user's perspective, the displayed content conforming and being consistent with the proprioception and actions of the user. -% \PSI is the illusion that the virtual events are really happening, even if the user knows that they are not real. -% It doesn't mean that the virtual events are realistic, but that they are plausible and coherent with the user's expectations. -% A third strong illusion in \VR is the \SoE, which is the illusion that the virtual body is one's own~\cite{slater2022separate,guy2023sense}. The \AR presence is far less defined and studied than for \VR~\cite{tran2024survey}, but it will be useful to design, evaluate and discuss our contributions in the next chapters. -% Thereby, \textcite{slater2022separate} proposed to invert \PI as bring the virtual into the physical world, \ie \enquote{place it here}. -% As with VR, \VOs must be able to be seen from different angles by moving the head but also, this is more difficult, be consistent with the \RE, \eg occlude or be occluded by real objects~\cite{macedo2023occlusion}, cast shadows or reflect lights. -% The \PSI can be applied to \AR as is, but the \VOs must additionally have knowledge of the \RE and react accordingly to it. -% \textcite{skarbez2021revisiting} also named \PI for \AR as \enquote{immersion} and \PSI as \enquote{coherence}, and these terms will be used in the remainder of this thesis. +\paragraph{Embodiment} + As presence, \SoE in \AR is a recent topic and little is known about its perception on the user experience~\cite{genay2021virtual}. -\subsection{How Virtual is Perceived in AR} -\label{ar_perception} - - -\subsection{Interacting with Virtual and Augmented Content} -\label{ar_interaction} - -\subsubsection{Virtual Hands in AR} -\label{ar_interaction_hands} - - \subsection{Conclusion} -\label{ar_conclusion} \ No newline at end of file +\label{ar_conclusion} diff --git a/1-introduction/related-work/3-visuo-haptic.tex b/1-introduction/related-work/3-visuo-haptic.tex deleted file mode 100644 index e943414..0000000 --- a/1-introduction/related-work/3-visuo-haptic.tex +++ /dev/null @@ -1,22 +0,0 @@ -\section{Visuo-Haptic Hand-Object Interactions in Augmented Reality} -\label{vhar} - -% Answer the following four questions: “Who else has done work with relevance to this work of yours? What did they do? What did they find? And how is your work here different?” - -\subsection{Altering the Perceptions} -\label{vhar_perception} - -% In 2010, they were research interest on building haptics (dynamic tactile feedback) for touch-based systems. [@Bau2010Teslatouch] created a touch-based surface rendering textures using electrovibration and friction feedback between the surface and the user's finger. -% They extended this prototype to in [@Bau2012REVEL] to alter the texture of touched real objects using reverse electrovibration. They call this kind of haptic devices that can alter the touch perception of any object without any setup as *intrinsic haptic displays*. They said [@Azuma1997Survey] as envisioned this kind of AR experience. - -\subsubsection{Texture Augmentations} - -\subsubsection{Stiffness Augmentations} - - -\subsection{Improving the Interactions} -\label{vhar_interaction} - - -\subsection{Conclusion} -\label{vhar_conclusion} diff --git a/1-introduction/related-work/4-visuo-haptic-ar.tex b/1-introduction/related-work/4-visuo-haptic-ar.tex new file mode 100644 index 0000000..157e034 --- /dev/null +++ b/1-introduction/related-work/4-visuo-haptic-ar.tex @@ -0,0 +1,47 @@ +\section{Hand-Object Interactions in Visuo-Haptic Augmented Reality} +\label{visuo_haptic_ar} + +% Answer the following four questions: “Who else has done work with relevance to this work of yours? What did they do? What did they find? And how is your work here different?” + +\subsection{Altering the Perceptions} +\label{vhar_perception} + +\subsubsection{Influence of Visual Rendering on Haptic Perception} +\label{vhar_influences} + +When the same object property is sensed simultaneously by vision and touch, the two modalities are integrated into a single perception. +% +The phychophysical model of \textcite{ernst2002humans} established that the sense with the least variability dominates perception. + + +\subsubsection{Contact \& Hardness Augmentations} +\label{vhar_hardness} + + +\subsubsection{Texture Augmentations} +\label{vhar_texture} + +Particularly for real textures, it is known that both touch and sight individually perceive textures equally well and similarly~\autocite{bergmanntiest2007haptic,baumgartner2013visual,vardar2019fingertip}. +% +Thus, the overall perception can be modified by changing one of the modalities, as shown by \textcite{yanagisawa2015effects}, who altered the perception of roughness, stiffness and friction of some real tactile textures touched by the finger by superimposing different real visual textures using a half-mirror. + +In 2010, they were research interest on building haptics (dynamic tactile feedback) for touch-based systems. [@Bau2010Teslatouch] created a touch-based surface rendering textures using electrovibration and friction feedback between the surface and the user's finger. +They extended this prototype to in [@Bau2012REVEL] to alter the texture of touched real objects using reverse electrovibration. They call this kind of haptic devices that can alter the touch perception of any object without any setup as *intrinsic haptic displays*. They said [@Azuma1997Survey] as envisioned this kind of AR experience. + +Similarly but in VR, \textcite{degraen2019enhancing} combined visual textures with different passive haptic hair-like structure that were touched with the finger to induce a larger set of visuo-haptic materials perception. +\textcite{gunther2022smooth} studied in a complementary way how the visual rendering of a virtual object touching the arm with a tangible object influenced the perception of roughness. +Likewise, visual textures were combined in VR with various tangible objects to induce a larger set of visuo-haptic material perceptions, in both active touch~\autocite{degraen2019enhancing} and passive touch~\autocite{gunther2022smooth} contexts. +A common finding of these studies is that haptic sensations seem to dominate the perception of roughness, suggesting that a smaller set of haptic textures can support a larger set of visual textures. + + +\subsection{Improving the Interactions} +\label{vhar_interaction} + +Conversely, virtual hand rendering is also known to influence how an object is grasped in VR~\autocite{prachyabrued2014visual,blaga2020too} and AR, or even how real bumps and holes are perceived in VR~\autocite{schwind2018touch}, but its effect on the perception of a haptic texture augmentation has not yet been investigated. + +\subsubsection{Virtual Hands in Augmented Reality} +\label{vhar_hands} + + +\subsubsection{Wearable Haptics for Augmented Reality} +\label{vhar_haptics} diff --git a/1-introduction/related-work/4-conclusion.tex b/1-introduction/related-work/5-conclusion.tex similarity index 59% rename from 1-introduction/related-work/4-conclusion.tex rename to 1-introduction/related-work/5-conclusion.tex index 07bda30..1e33aba 100644 --- a/1-introduction/related-work/4-conclusion.tex +++ b/1-introduction/related-work/5-conclusion.tex @@ -1,6 +1,17 @@ \section{Conclusion} \label{conclusion} + +La complexité de la perception des propriétés haptiques des objets et la diversité des interactions possibles rendent donc particulièrement difficile de concevoir des dispositifs et rendus haptiques réalistes. +D'autant plus que le sens du toucher réparti sur l'ensemble de la main et du corps et que les sensations haptiques sont nécessairement produites par un contact direct de la peau avec l'objet, donc liées à un mouvement de la main sur l'objet. +Il n'existe donc pas de système haptique générique pouvant adresser tous les aspects du sens haptique, mais une grande variété de dispositifs et de rendus haptiques avec différents objectifs, contraintes et compromis. + +Cependant, une expérience numérique audio-visuelle peut être imparfaite et pourtant suffisante pour être utile et intéressante, comme peut l'être une visio-conférence, et transmettre des sensations comparables à celles réelles, comme regarder et écouter un concert sur un écran avec un casque. +Pourtant la qualité visuelle et sonore de telles expériences est très différente de celle d'une conversation "réelle" ou d'une vraie scène de tous les jours. +Ainsi, plus que recréer des expériences haptiques réalistes, il est plus important de rendre le stimulus sensoriel "au bon moment et à la bonne place"~\cite{hayward2007it}. + +% The quality of the illusory haptic experience is a function of the interplay between the user’s perceptual system and the intrinsic technical qualities of the interfaces + De façon intéressante, les deux sections précédentes, présentant l'haptique portable pour la \secref{wearable_haptics} et la RA pour la \secref{augmented_reality}, suivent un cheminement assez opposé : la première commence avec le sens haptique et la main pour décrire les dispositifs haptiques portables et les interactions qu'ils permettent, tandis que la seconde débute sur une description technologique de RA pour ensuite détailler sa perception et son usage. % C'est de cette manière que chacun des deux domaines est souvent introduit dans la littérature, par exemple avec les travaux de \textcite{choi2013vibrotactile,culbertson2018haptics} pour l'haptique et de \textcite{bimber2005spatial,kim2018revisiting} pour la RA. diff --git a/1-introduction/related-work/figures/pacchierotti2016hring.jpg b/1-introduction/related-work/figures/pacchierotti2016hring.jpg index 425e833..bd68547 100644 Binary files a/1-introduction/related-work/figures/pacchierotti2016hring.jpg and b/1-introduction/related-work/figures/pacchierotti2016hring.jpg differ diff --git a/1-introduction/related-work/related-work.tex b/1-introduction/related-work/related-work.tex index 1cdf25c..ac239e9 100644 --- a/1-introduction/related-work/related-work.tex +++ b/1-introduction/related-work/related-work.tex @@ -4,16 +4,15 @@ \chaptertoc This chapter reviews previous work on the perception and manipulation directly with the hand of \AEs using \WHs, \AR and their combination. -% Experiencing a visual, haptic, or visuo-haptic \AE relies on one to many interaction loops between a user and the environment, as shown in \figref[introduction]{interaction-loop}, and each main step must be addressed and understood: the tracking and modelling of the \RE into a \VE, the interaction techniques to act on the \VE, the rendering of the \VE to the user through visual and haptic user interfaces, and, finally, the user's perception and actions on the overall \AE. -To achieve this, this chapter first gives an overview of the haptic sense, and how \WH devices and renderings have been used to provide tactile feedback and enhance the touch interaction with virtual and augmented objects, with a focus on vibrotactile feedback and haptic textures. -% -Secondly, it introduces the principles and user perception of \AR, and describes the interaction techniques used in \AR and \VR environments to interact with virtual and augmented objects, in particular using the visual rendering of the user's hand. -% -Finally, it presents how multimodal visual and haptic feedback have been combined in \AR to modify the user perception, notably when touching a tangible, and to improve the user interaction with the augmented environment, especially when manipulating \VOs. +To achieve this, we first describe how the hand senses and acts on its environment to perceive the haptic properties of real everyday objects. +Secondly, we present how \WH devices and renderings have been used to provide tactile feedback and enhance the touch interaction with virtual and augmented objects, with a focus on vibrotactile feedback and haptic textures. +Thirdly, we introduce the principles, implementations and user perception of \AR, and overview the main interaction techniques used to manipulate virtual and augmented objects. +Finally, we present how multimodal visual and haptic feedback have been combined in \AR to modify the user perception of tangible objects, and to improve the user interaction with \VOs. -\input{1-wearable-haptics} -\input{2-augmented-reality} -\input{3-visuo-haptic} -\input{4-conclusion} +\input{1-haptic-hand} +\input{2-wearable-haptics} +\input{3-augmented-reality} +\input{4-visuo-haptic-ar} +\input{5-conclusion} diff --git a/references.bib b/references.bib index ba48392..93f07db 100644 --- a/references.bib +++ b/references.bib @@ -2762,3 +2762,14 @@ pages = {8}, doi = {10/grmtv8} } + +@article{guruswamy2011iir, + title = {{{IIR Filter Models}} of {{Haptic Vibration Textures}}}, + author = {Guruswamy, Vijaya Lakshmi and Lang, Jochen and Lee, Won-Sook}, + date = {2011}, + journaltitle = {IEEE Trans. Instrum. Meas.}, + volume = {60}, + number = {1}, + pages = {93--103}, + doi = {10/b7rbf7} +}