\section{Rendering Objects with Wearable Haptics}
\label{wearable_haptics_hand}

To understand how wearable haptics have been used to render haptic properties of virtual and augmented objects, we first need to describe how the hand senses and acts on its environment to perceive the haptic properties of real everyday objects.


\subsection{The Haptic Sense}
\label{haptic_sense}

The haptic sense has specific characteristics that make it unique in regard to other senses.
It enables us to perceive a large diversity of properties in the surrounding objects, through to a complex combination of sensations produced by numerous sensory receptors distributed throughout the body.
But it also allows us to act on these objects, to come into contact with them, to grasp them, to manipulate them and to actively explore them.
This implies that the haptic perception is localised at the points of contact between the body and the environment, \ie we cannot haptically perceive an object without actively touching it.
These two mechanisms, \emph{perception and action}, are therefore closely associated and both essential to form the haptic experience of interacting with the environment~\cite{lederman2009haptic}.


\subsubsection{Haptic Perception}
\label{haptic_perception}

Perceiving the properties of an object involves numerous sensory receptors embedded in the skin, but also in the muscles and joints of the hand, and distributed across the body. They are divided into two main modalities: \emph{cutaneous and kinesthetic}.


\paragraph{Cutaneous Sensitivity}

Cutaneous haptic receptors are specialised nerve endings implanted in the skin that respond differently to the various stimuli applied to the skin. \figref{blausen2014medical_skin} shows the location in the skin of the four main cutaneous receptors that respond to mechanical deformation of the skin.

Adaptation rate and receptor size are the two key characteristics that respectively determine the temporal and spatial resolution of these mechanoreceptors, as summarized in \tabref{cutaneous_receptors}.
The \emph{adaptation rate} is the speed and duration of the response to a stimulus.
Meissner and Pacinian receptors, known as fast-adapting (FA), respond rapidly to a stimulus but stop quickly even though the stimulus is still present, allowing the detection of high-frequency changes.
In contrast, Merkel and Ruffini receptors, known as slow-adapting (SA), have a slower but continuous response to a static, prolonged stimulus.
The \emph{size of the receptor} determines the area of skin that can be sensed by a single nerve ending.
Meissner and Merkel receptors have a small detection area (named Type I) and are sensitive to fine skin deformations, while Ruffini and Pacinian receptors have a larger detection area (named Type II).

\fig[0.6]{blausen2014medical_skin}{Schema of cutaneous mechanoreceptors in a section of the skin~\cite{blausen2014medical}.}

The density of mechanoreceptors varies according to skin type and body region.
\emph{Glabrous skin}, especially on the face, feet, hands, and more importantly, the fingers, is particularly rich in cutaneous receptors, giving these regions great tactile sensitivity.
The density of the Meissner and Merkel receptors, which are the most sensitive, is notably high in the fingertips~\cite{johansson2009coding}.
Conversely, \emph{hairy skin} is less sensitive and does not contain Meissner receptors, but has additional receptors at the base of the hairs, as well as receptors known as C-tactile, which are involved in pleasantness and affective touch~\cite{ackerley2014touch}.

There are also two types of thermal receptors implanted in the skin, which respond to increases or decreases in skin temperature, respectively, providing sensations of warmth or cold~\cite{lederman2009haptic}.
Finally, free nerve endings (without specialized receptors) provide information about pain~\cite{mcglone2007discriminative}.

\begin{tab}{cutaneous_receptors}{Characteristics of the cutaneous mechanoreceptors.}[
        Adaptation rate is the speed and duration of the receptor's response to a stimulus. Receptive size is the area of skin detectable by a single receptor. Sensitivities are the stimuli detected by the receptor. Adapted from \textcite{mcglone2007discriminative} and \textcite{johansson2009coding}.
    ]
    \begin{tabularx}{\linewidth}{p{1.7cm} p{2cm} p{2cm} X}
        \toprule
        \textbf{Receptor} & \textbf{Adaptation Rate} & \textbf{Receptive Size} & \textbf{Sensitivities}                                                          \\
        \midrule
        Meissner          & Fast                     & Small                   & Discontinuities (\eg edges), medium-frequency vibration (\qtyrange{5}{50}{\Hz}) \\
        Merkel            & Slow                     & Small                   & Pressure, low-frequency vibration (\qtyrange{0}{5}{\Hz})                        \\
        Pacinian          & Fast                     & Large                   & High-frequency vibration (\qtyrange{40}{400}{\Hz})                              \\
        Ruffini           & Slow                     & Large                   & Skin stretch                                                                    \\
        \bottomrule
    \end{tabularx}
\end{tab}


\paragraph{Kinesthetic Sensitivity}

Kinesthetic receptors are also mechanoreceptors but are located in the muscles, tendons and joints~\cite{jones2006human}.
Les fuseaux musculaires, situés dans les muscles, répondent à la longueur des muscles, à la vitesse de l'étirement et à la contraction musculaire.
Les organes tendineux de Golgi, situés à la jonction entre les muscles et les tendons, répondent à la force développée par les muscles.
Enfin, des récepteurs de Ruffini et de Pacini sont présent dans les articulations et répondent au mouvement articulaire.
Ces trois types de récepteurs donnent donc, ensemble, un retour sensoriel sur le déplacement, la vitesse et la force des muscles ainsi que la rotation des articulations lors d'un mouvement.
Ils permettent donc également de sentir les forces et les couples extérieurs appliqués sur le corps.

Les récepteurs kinesthésiques sont donc fortement liés au contrôle moteur du corps.
En fournissant un retour sensoriel en réponse à la position et aux mouvements des membres, ils permettent une perception de notre corps dans l'espace, appelée \emph{proprioception}.
Ainsi, même les yeux fermés, nous sommes capable de planifier et effectuer des mouvements précis pour toucher ou saisir une cible.
Cependant, les mecanorécepteurs cutanées sont partie intégrante de cette perception, car tout mouvement du corps ainsi que les contacts avec l'environment déforme nécessairement la peau~\cite{johansson2009coding}.


\subsubsection{Hand-Object Interactions}
\label{hand_object_interactions}

La perception haptique est donc complexe, riche et construite à partir des multiples récepteurs sensoriels d'entrée cutanées et kinesthésiques.
Particulièrement présents dans la main, ils lui donne une grande sensibilité haptique mais aussi une grande dextérité dans ses mouvements.
En effet, en fournissant un retour sensoriel en réponse aux mouvements de la main et des doigts, cela forme une \emph{boucle sensorimotrice} qui permet d'ajuster les mouvements en fonction des sensations.


\paragraph{Sensorimotor Continuum of the Hand}

La contribution de ces deux types de sensations varie cependant selon les mouvements demandés par l'activité qu'effectue la main.
\textcite{jones2006human} ont proposé ainsi un continuum sensorimoteur des fonctions de la main, allant d'activités principalement sensorielles à des activités avec une composante motrice plus importante.
Comme illustré sur la \figref{sensorimotor_continuum}, \textcite{jones2006human} proposent de délimiter quatre catégories de fonctions de la main sur ce continuum:
%
\begin{itemize}
    \item La \emph{détection tactile} est la capacité de la main à percevoir un objet avec qui elle est en contact statique à partir des sensations cutanées. L'objet peut cependant être en mouvement, mais la main reste immobile. Aussi appelé \emph{toucher passif}, cela permet une assez bonne perception de la surface, par exemple \textcite{gunther2022smooth}.
    \item La \emph{détection haptique active} est l'exploration manuelle et volontaire d'un objet avec la main, impliquant l'ensemble des sensations cutanées et kinesthésiques. Cela permet une perception plus précise que le toucher passif~\cite{lederman2009haptic}.
    \item La \emph{préhension} est l'action de saisir un objet avec la main, et de le maintenir. Cela implique une coordination fine entre les mouvements de la main et des doigt avec les sensations haptiques en retour.
    \item Les \emph{gestes}, appelé non-prehensible skilled movements par \textcite{jones2006human}, sont des activités essentiellement motrices et sans contact continu avec un objet. Ce sont par exemple pointer une cible, frapper un clavier, accompagner un discours de gestes ou signer en langue des signes~\cite{yoon2020evaluating}
\end{itemize}

\fig[0.65]{sensorimotor_continuum}{The sensorimotor continuum of the hand function proposed by and adapted from \textcite{jones2006human}. Functions of the hand are classified into four categories based on the relative importance of sensory and motor components.}

L'ensemble des interactions possible de la main avec un objet est vaste et varié, \textcite{bullock2013handcentric} ont proposé une classification plus détaillée en 15 catégories.
Dans cette thèse, nous nous intéressons aux détections haptiques actives (\ie à l'exploration) d'augmentations visuo-haptiques (voir \partref{perception}) et à la préhension d'objets virtuels (voir \partref{manipulation}) dans le contexte de la RA et des wearable haptics.


\paragraph{Hand Anatomy and Motion}

Avant de comprendre comment la main est utilisée pour l'exploration et la préhension d'objets, il faut décrire brièvement son anatomie. En effet, sous la peau, la mise en action des muscles et des tendons est possible car ils prennent appuis sur les os.

Comme illustré sur la \figref{blausen2014medical_hand}, le squelette de la main est composée de 27 os articulés. Le poignet, constitué de 8 os carpiens, relie la main au bras, et est à la base des 5 os métacarpiens de la paume, un pour chaque doigt.
Chaque doigt est composé d'une chaîne de 3 phalanges, proximale, moyenne et distale, à l'exception du pouce qui n'a que deux phalanges proximale et distale.
Les articulations à la base de chaque phalange permettent des mouvements de flexions et extensions, i.e. des mouvements de pliage et de dépliage, par rapport à l'os précédent.
Les phalanges proximales peuvent également effectuer des mouvements d'adduction et d'abduction, i.e. des mouvements de rapprochement et d'éloignement des doigts.
Enfin, la métacarpe du pouce est capable de mouvements de flexion/extension et d'adduction/abduction, ce qui permet au pouce de venir s'opposer aux autres doigts.
Ces axes de mouvements sont appelés degrés de libertés et peuvent être représentés par un \emph{modèle kinématique} de la main à 27 DDL comme illustrés sur la \figref{blausen2014medical_hand}.
Ainsi, le pouce a 5 DDL, chaque des quatre autres doigts a 4 DDL, et le poignet 6 DDL en pouvant prendre n'importe quelle position (3 DDL) ou orientation (3 DDL) dans l'espace~\cite{erol2007visionbased}.

Cette structure complexe permet à la main de nombreux mouvements et gestes. Cependant la façon dont nous explorons et saisissons les objets suit des modèles plus simples, qui dépendent de l'objet touché et de l'objectif de l'interaction.

\begin{subfigs}{hand}{Anatomy and motion of the hand. }[
        \item Schema of the hand skeleton. Adapted from \textcite{blausen2014medical}.
        \item Kinematic model of the hand with 27 degrees of freedom~\cite{erol2007visionbased}.
    ]
    \subfigsheight{58mm}
    \subfig{blausen2014medical_hand}
    \subfig{kinematic_hand_model}
\end{subfigs}


\paragraph{Exploratory Procedures}

L'exploration d'un objet par la main suit des modèles de mouvements stéréotypés, appelés procédures exploratoires~\cite{lederman1987hand}.
Comme illustré sur la \figref{exploratory_procedures}, selon la propriété de l'objet explorée (décrites \secref{object_properties}), va être associé un mouvement spécifique et optimal de la main pour acquérir les information sensorielles les plus pertinentes pour cette propriété.
Par exemple, réaliser un \emph{mouvement latéral} des doigts sur la surface pour identifier sa texture, une \emph{pression} avec doigt pour percevoir sa rigidité, ou \emph{suivre les contours} de l'objet pour connaitre sa forme précise.
Ces trois procédures impliquent seulement les bouts des doigts et, en particulier, l'index~\cite{gonzalez2014analysis}.
L'ensemble de la main est utilisée pour les autres procédures: par exemple, en approchant voire posant la paume pour sentir la température de la surface (\emph{static contact}), ou en prenant l'objet dans la main pour estimer son poids (\emph{unsupported holding}).
L'\emph{enclosure}, en fermant la main sur l'objet, permet d'evaluer sa forme globale et sa taille.

\fig{exploratory_procedures}{Exploratory procedures and their associated object properties (in parentheses). Adapted from \textcite{lederman2009haptic}.}

Le sens haptique seul (sans la vision) nous permet ainsi de reconnaitre les objets familiers avec une grande précision.
La reconnaissance des propriété matérielles, \ie la surface et sa texture, rigidité et température est meilleure qu'avec le sens visuel seul.
Mais la reconnaissance des propriétés spatiales, la forme et la taille de l'objet, est moins bonne avec l'haptique qu'avec la vision~\cite{lederman2009haptic}.
Quelques secondes (\qtyrange{2}{3}{\s}) suffisent pour effectuer ces procédures, à l'exception du suivi de contour qui peut prendre une dizaine de secondes~\cite{jones2006human}.


\paragraph{Grasp Types}

La préhension d'un objet par la main est possible car celle-ci peut prendre de nombreuses postures grâce aux degrés de liberté de son squelette.
En venant opposer le pouce ou la paume aux autres doigts (pad or palm grasps), ou encore les doigts entre eux comme pour tenir une cigarette (side grasp), la main peut tenir en sécurité l'objet~\cite{iberall1997human}.
La préhension varie donc selon la forme de l'objet et la tâche a réaliser, par exemple saisir un stylo du bout des doigts puis le tenir pour écrire avec ou bien prendre une tasse par le corps pour la remplir et par l'anse pour la boire~\cite{cutkosky1986modeling}.
Trois types de préhensions sont distingués selon leur degré de force et de précision: Dans les préhensions de force, l'objet est tenu fermement et suit les mouvements de la main de façon rigide, tandis que dans les préhensions de précision, les doigts peuvent bouger l'objet à l'intérieur de la main mais sans bouger le bras. Les préhensions mixtes combinent force et précision en proportions égales~\cite{feix2016grasp}.

\fig{gonzalez2014analysis}{Taxonomy of grap types of~\textcite{gonzalez2014analysis}}[, classified according to their type (power, precision or intermediate) and the shape of the grasped objet. Each grasp show the area of the palm and fingers in contact with the object and the grasp with an example of object.]

Indépendamment de l'objet et de la tâche, le nombre de types de préhension peut être réduit à 34 types et classifié comme la taxonomie sur la \figref{gonzalez2014analysis}~\cite{gonzalez2014analysis}.
Une taxonomie plus complète a ensuite été proposée par \textcite{feix2016grasp}.
Avec des objets de la vie de tous les jours, ce nombre est même plus restreint, entre 5 et 10 types de préhension selon l'activité~\cite{bullock2013grasp}.
En outre, les bouts des doigts sont les zones de la main les plus impliquées, en terme de fréquence d'usage.
En particulier, le pouce est pratiquement toujours utilisé, ainsi que l'index et le majeur, mais les autres doigts sont moins sollicités~\cite{gonzalez2014analysis}.
Cela s'explique par la sensibilité des bouts des doigts (voir \secref{haptic_perception}) et par la plus grande facilité d'opposer le pouce à l'index et au majeur que les autres doigts.


\subsection{Perceiving the Haptic Properties of Real Objects}
\label{object_properties}

Toucher activement un objet implique donc une action sensorimotrice de la main: Les mouvements exploratoires utilisés guident la recherche d'informations sensorielles et permettent de construire une perception haptique des propriétés de l'objet.
On distingue, d'une part, les \emph{propriétés matérielles}, qui sont la perception la rugosité, dureté, température et friction de la surface de l'objet~\cite{bergmanntiest2010tactual}.
D'autre part, les \emph{propriétés spatiales} sont la perception de la forme et de la taille de l'objet~\cite{lederman2009haptic}.

Chacune de ces propriétés est fortement liée à une caractéristique physique de l'objet, définie et mesurable, mais comme la perception est une expérience subjective, elle peut différer de cette mesure physique, \eg \textcite{bergmanntiest2007haptic,bergmanntiest2009cues}.
La perception dépend aussi de nombreux autres facteurs, comme les mouvements effectués et le temps d'exploration, mais aussi de la personne, \eg sa sensibilité~\cite{hollins2000individual} ou son âge~\cite{jones2006human}, et du contexte de l'interaction~\cite{kahrimanovic2009context,kappers2013haptic}.
Ces propriétés sont décrites (et évaluées\footnotemark) avec des échelles opposant deux adjectifs comme "rugueux/lisse" ou "chaud/froid"~\cite{okamoto2013psychophysical}.
\footnotetext{Toutes les mesures de perception haptique décrites dans ce chapitre ont été effectuées par des participants avec les yeux bandés, pour contrôler l'influence de la vision.}


\subsubsection{Roughness}

La rugosité (ou la smoothness) est la perception de la \emph{micro-géométrie} d'une surface, \ie des aspérités à la surface avec des différences de hauteur de l'ordre du millimètre au micromètre~\cite{bergmanntiest2010tactual}.
C'est, par exemple, la perception de la fibre d'un tissu ou du bois et la texture du papier de verre ou d'une peinture.
La rugosité est donc ce qui caractérise principalement la perception de \emph{texture} de la surfaceq~\cite{hollins1993perceptual,baumgartner2013visual}.

En touchant la surface, ces aspérités déforment la peau et provoquent des pressions et, en passant le doigt sur la surface, les contacts avec les aspérités causent des vibrations également~\cite{bensmaia2005pacinian}.
Ainsi, si un toucher statique, où seul les indices de pression sont présent, permet de relativement bien percevoir la rugosité, c'est un mouvement latéral en toucher actif (voir \figref{exploratory_procedures}), intégrant les indices de vibrations, qui permet la meilleure précision.
En particulier, quand les aspérités sont plus petites que \qty{0.1}{mm}, par exemple comme les fibres du papier, les indices de pressions ne sont plus captés et seul le mouvement donc les vibrations permet de détecter la rugosité~\cite{hollins2000evidence}.
Cette limite distingue la \emph{macro-rugosité} de la \emph{micro-rugosité}.

Les caractéristiques physiques de la surface déterminent donc la perception haptique de la rugosité.
La plus importante est la densité des éléments de la surface, \ie par l'\emph{espace entre les éléments}: L'intensité perçue (subjective) de rugosité augmente avec l'espacement, pour la macro-rugosité~\cite{klatzky2003feeling,lawrence2007haptic} et la micro-rugosité~\cite{bensmaia2003vibrations}.
Pour les macro-textures, la taille des éléments, la force appliquée et la vitesse d'exploration ont des effets limités sur l'intensité perçue~\cite{klatzky2010multisensory}: la macro-rugosité est dite une \emph{perception spatiale}.
Cette caractéristique nous permet de lire le braille, par exemple~\cite{lederman2009haptic}.
Cependant, la vitesse d'exploration affecte l'intensité perçue de la micro-rugosité~\cite{bensmaia2003vibrations}.

Pour établir la relation entre espacement et intensité pour la macro-rugosité, des surfaces texturées ont été fabriquées: sous forme d'une grille linéaire (sur un axe) composée de rainures et de crêtes~\cite{lederman1972fingertip,lawrence2007haptic}, illustré \figref{lawrence2007haptic_1}, ou de surface composée d'éléments coniques sur deux axes~\cite{klatzky2003feeling}, illustré \figref{klatzky2003feeling_1}.
Comme montré sur la \figref{lawrence2007haptic_2}, il y a une \emph{relation quadratique} du log de l'intensité perçue de la rugosité $R$ avec le log de l'espace entre les éléments $s$~\cite{klatzky2003feeling}: $log(R) = a \, log(s)^2 + b \, s + c$ où $a$, $b$ et $c$ sont des paramètres empiriques à estimer.
Un plus grand espace entre les éléments augmente la rugosité perçue, mais atteint un plateau à partir \qty{\sim 5}{\mm} pour la grille linéaire tandis que la rugosité diminue pour les éléments coniques à partir de \qty{\sim 2.5}{\mm}.

Agrandir l'espace entre les éléments augmente ainsi très rapidement la rugosité perçue jusqu'à atteindre un plateau à partir \qty{\sim 5}{mm} pour la grille linéaire~\cite{lawrence2007haptic} tandis que la rugosité atteint très rapidement un pic vers {\sim 2.5}{mm} puis diminue lentement pour les éléments coniques~\cite{klatzky2003feeling}.

\begin{subfigs}{lawrence2007hapti}{Estimation de la rugosité haptique d'une surface de grille linéaire par exploration active~\cite{lawrence2007haptic}. }[
        \item Schéma d'une surface de grille linéaire, constituée de rainures et de crêtes.
        \item Intensité perçue de la rugosité (axe vertical)de la surface en fonction de la taille des rainures (axe horizontal, intervalle de \qtyrange{0.125}{4.5}{mm}), de la taille des crêtes (RW, ronds et carrés) et du mode d'exploration (avec le doigt en blanc et via une sonde rigide tenue en main en noir).
    ]
    \subfigsheight{56mm}
    \subfig{lawrence2007haptic_1}
    \subfig{lawrence2007haptic_2}
\end{subfigs}

Il est également possible possible de percevoir la rugosité d'une surface en la \emph{touchant indirectement}, avec un outil tenu en main, par exemple en écrivant avec un stylo sur du papier~\cite{klatzky2003feeling}.
La peau n'est alors plus déformée et seules les vibrations sont transmises par l'outil, mais cette information est suffisante pour percevoir la rugosité.
%La discrimination de la rugosité est cependant un peu moins bonne.
L'intensité perçue suit la même loi quadratique mais le pic de rugosité perçu varie avec la taille de la zone de contact de l'outil: un petit outil permettra de percevoir des espaces entre les éléments plus fins qu'avec le doigt (voir \figref{klatzky2003feeling_2}).
Cependant, la vitesse d'exploration changeant les vibrations transmises, une vitesse plus rapide décale le pic de rugosité à droite d'une part et, d'autre part, entraine une rugosité plus faible pour les espacements fins et plus forte pour les espacements larges~\cite{klatzky2003feeling}.

\begin{subfigs}{klatzky2003feeling}{Estimation de la rugosité haptique d'une surface de de micro-éléments coniques par exploration active~\cite{klatzky2003feeling}. }[
        \item Micrographie électronique de la surface.
        \item Intensité perçue de la rugosité (axe vertical) de la surface en fonction de l'espacement moyen des éléments (axe horizontal, intervalle de \qtyrange{0.8}{4.5}{mm}) et du mode d'exploration (avec le doigt en noir et via une sonde rigide tenue en main en blanc).
    ]
    \subfig[.25]{klatzky2003feeling_1}
    \subfig[.5]{klatzky2003feeling_2}
\end{subfigs}

Même quand les bouts de doigts sont déafférentés (absence de sensations donc d'indices de pression), la perception de la rugosité se maintient, justement grâce à la propagation des vibrations dans le doigt, la main et le poignet, que ce soit pour les textures de grilles et les textures naturelles~\cite{delhaye2012textureinduced}.
Le spectre des vibrations se décale vers de plus hautes fréquences quand la vitesse d'exploration augmente, mais le cerveau intègre ce changement avec la proprioception pour garder la \emph{perception constante} de la teture.
Par exemple, pour les textures de grilles, comme illustré \figref{delhaye2012textureinduced}, le ratio de la vitesse du doigt $v$ sur la fréquence fréquence du pic d'intensité de la vibration $f_p$ est mesuré la majorité du temps égal à la période $\lambda$ de l'espacement des éléments:
\begin{equation}
    \label{eq:grating_vibrations}
    \lambda \sim \frac{v}{f_p}
\end{equation}
De même, les vibrations générées par l'exploration des textures naturelles sont très spécifiques à chaque texture et similaires entre les individus, ce qui les rendent également identifiables aux seules vibrations~\cite{greenspon2020effect}.
Cela montre l'importance des indices de vibrations même pour les macro-textures et la possibilité générer des sensations de textures virtuelles avec des rendus vibrotactiles.

\fig[0.55]{delhaye2012textureinduced}{Mesures de la vitesse d'exploration du doigt (axe horizontal) sur des textures de grille avec différentes périodes $\lambda$ d'espacement (en couleur) et de la fréquence du pic d'intensité $f_p$ de la vibration propagée dans le poignet (axe vertical)~\cite{delhaye2012textureinduced}.}

Étudier la perception de rugosité de textures dites "naturelles", \ie de la vie de tous jours, est plus complexe car elles sont composées de multiples éléments de tailles et d'espacements différents.
Les deux perceptions de micro et macro rugosité se recouvrent en partie et peuvent donc être difficile à distinguer~\cite{okamoto2013psychophysical}.
Les individus vont avoir une définition subjective de la rugosité, certains prêtant plus d'attention aux plus gros éléments et d'autres aux plus petits~\cite{bergmanntiest2007haptic}, et inclure d'autres propriétés comme la dureté ou la friction~\cite{bergmanntiest2010tactual}.


\subsubsection{Hardness}

La dureté (ou la softness) est la perception de la \emph{résistance à la déformation} d'un objet quand il est pressé ou tapé~\cite{bergmanntiest2010tactual}.
La softness perçue d'un fruit permet de juger sa maturité, alors que la céramique sera perçue comme dure.
En tapant une surface, du métal sera perçu comme plus dur que du bois.
Si la surface revient à sa forme initiale après avoir été déformée, l'objet est élastique (comme un ressort), sinon il est plastique (comme de l'argile).

Avec un mouvement de pression sur l'objet avec le doigt (voir \figref{exploratory_procedures}), sa surface va se déplacer et se déformer avec une certaine résistance, et la zone de contact de la peau va également s'élargir, changeant la distribution de la pression.
Au contact de la surface, ou en la tapant, des vibrations sont également transmises à la peau.
Un toucher passif (sans mouvements volontaire de la main) ainsi que le tapping permettent une aussi bonne perception de la dureté que le toucher actif~\cite{friedman2008magnitude}: les indices cutanés de pression et de vibrations sont suffisants et nécessaires pour percevoir la dureté.

Deux caractéristiques physiques de l'objet déterminent ainsi la perception haptique de dureté: sa raideur et son élasticité~\cite{bergmanntiest2010tactual}.
La raideur $k$ est le ratio entre la force appliquée $F$ et le \emph{déplacement} résultant $\Delta l$ de la surface:
\begin{equation}
    \label{eq:stiffness}
    k = \frac{F}{\Delta l}
\end{equation}
L'élasticité est exprimée par le module de Young $Y$ qui est le ratio entre la pression appliquée (la force $F$ par unité de surface $A$) et la \emph{déformation} résultante $\Delta l / l$ (càd le déplacement relatif) de l'objet:
\begin{equation}
    \label{eq:young_modulus}
    Y = \frac{F / A}{\Delta l / l}
\end{equation}
La \figref{hardness} illustre ces deux caractéristiques.

\begin{subfigs}{stiffness_young}{Perception de la dureté haptique d'un objet en pressant avec le doigt. }[
        \item Schéma d'un objet avec un coefficient de raideur $k$ et de longueur $l$ compressé sur une distance $\Delta l$ par une force $F$ sur une surface d'aire $A$.
        \item Correspondance de l'intensité perçue de la dureté entre le module de Young (axe horizontal) et la raideur (axe vertical). Les lignes en pointillées et en tiret indiquent les objets testés, les flèches les correspondances faites entre ces objets, et les lignes grises les prédictions de la relation quadratique~\cite{bergmanntiest2009cues}.
    ]
    \subfig[.3]{hardness}
    \subfig[.45]{bergmanntiest2009cues}
\end{subfigs}

\textcite{bergmanntiest2009cues} ont montré le rôle de ces deux caractéristiques dans la perception de la dureté.
En pressant du doigt, une différence relative (la \emph{fraction de Weber}) de \percent{\sim 15} est nécessaire pour discriminer deux objets de raideurs ou d'élasticités différentes.
Cependant, en l'absence de sensations de pression (en plaçant un disque fin entre le doigt et l'objet), la différence relative nécessaire devient beaucoup plus importante (fraction de Weber de \percent{\sim 50}).
Ainsi, la perception de dureté s'appuie à \percent{90} sur les indices de déformation de la surface et à \percent{10} sur les indices de déplacement.

En pressant du doigt, l'intensité perçue (subjective) de dureté suit avec la raideur une relation selon une loi de puissance avec un exposant de \num{0.8}~\cite{harper1964subjective}, \ie quand la raideur double, la dureté perçue augmente de \num{1.7}.
Un objet avec une faible raideur mais une grand module de Young (et vice-versa) peut être perçu aussi dur qu'un objet avec une grande raideur mais un petit module de Young.
\textcite{bergmanntiest2009cues} ont ainsi observé une relation quadratique d'égale intensité perçue de dureté, comme illustré sur la \figref{bergmanntiest2009cues}.


\subsubsection{Friction}

La friction (ou la slipperiness/stickiness) est la perception de la \emph{résistance au mouvement} sur une surface~\cite{bergmanntiest2010tactual}.
Le papier de verre, en opposant une forte résistance au glissement à sa surface, est typiquement perçu comme adhésif, alors que du verre est glissant.
Cette propriété est perceptuellement étroitement liée à celle de la rugosité~\cite{hollins1993perceptual,baumgartner2013visual}.

En passant le doigt sur la surface avec un mouvement latéral (voir \figref{exploratory_procedures}), des frottements vont générer des forces qui vont dans le sens opposé au mouvement, donnant des indices kinesthésiques, et qui vont également étirer la peau, donnant des indices cutanés.
Comme illustré sur la \figref{smith1996subjective_1}, un phénomène de stick-slip peut également se produire, où le doigt va par intermittence être freiné par les frottements avant de continuer son mouvement, autant sur des surfaces rugueuses que lisses~\cite{derler2013stick}.
L'amplitude de la force de frottement $F_s$ est proportionnelle à la force normale du doigt $F_n$, \ie la force perpendiculaire à la surface, selon un coefficient de frottement $\mu$:
\begin{equation}
    \label{eq:friction}
    F_s = \mu \, F_n
\end{equation}
Comme sur la \figref{smith1996subjective_2}, l'intensité perçue (subjective) des frottements est proportionnelle au coefficient de friction~\cite{smith1996subjective}.

\begin{subfigs}{smith1996subjective}{Perception des frottements haptique de plusieurs matériaux par exploration active avec le doigt~\cite{smith1996subjective}. }[
        \item Mesures des forces normales $F_n$ et tangentielles $F_t$ lors de l'exploration de deux surfaces : une lisse (le verre) et une rugueuse (le nyloprint). Les fluctuations de la force tangentielle sont dues au phénomène de stick-slip. Le coefficient de frottement $\mu$ peut être estimé par la pente de la relation entre les forces normales et tangentielle.
        \item Intensité perçue des frottements (axe vertical) en fonction du coefficient de frottement $\mu$ estimé de l'exploration (axe horizontal) pour quatre matériaux (formes et couleurs).
    ]
    \subfigsheight{55mm}
    \subfig{smith1996subjective_1}
    \subfig{smith1996subjective_2}
\end{subfigs}

Mais la perception de la friction est complexe car ce n'est pas seulement une propriété haptique de la surface.
Elle est, en effet, déterminée par les interactions à l'échelle micro entre la surface et la peau, et dépend donc de la force normale appliquée, de la vitesse du mouvement, de l'aire du contact et de l'humidité de la peau et de la surface~\cite{adams2013finger,messaoud2016relation}.
En ce sens, la perception de cette propriété est encore mal comprise~\cite{okamoto2013psychophysical}.

C'est pourtant une perception fondamentale pour la saisie et la manipulation d'objets : les forces de frottements permettent de tenir fermement l'objet en main pour éviter qu'il ne glisse, et la perception de la friction permet également d'ajuster automatiquement et très rapidement la force à appliquer à l'objet pour le saisir~\cite{johansson1984roles}.
Si le doigt est anesthésié, l'absence de sensations cutanées empêche d'ajuster efficacement la force de préhension: Les forces de l'objet sur le doigt ne sont plus correctement perçues et les doigts appuient alors plus fermement sur l'objet en compensation mais sans réaliser une bonne opposition des doigts~\cite{witney2004cutaneous}.


\subsubsection{Temperature}

La température (ou coldness/warmness) est la perception du \emph{transfert de chaleur} entre la surface touchée et la peau~\cite{bergmanntiest2010tactual}:
Si de la chaleur est extraite de (apportée à) la peau, la surface est perçue comme froide (chaude).
Le métal sera perçu comme plus froid que du bois avec la même température de la pièce ; c'est une propriété importante pour discriminer les matériaux~\cite{ho2006contribution}.
Cette perception est donc distincte de la température physique du matériau, et dépend de la conductance thermique et de la capacité thermique du matériau, du volume de l'objet, de la différence de température initiale entre la surface et la peau, et de l'aire du contact~\cite{kappers2013haptic}.
Par exemple, un objet plus volumineux ou une surface plus lisse, augmentant l'aire de contact, augmente la circulation thermique et rend une sensation de température plus intense~\cite{bergmanntiest2008thermosensory}.

Parce qu'elle est basée sur la circulation de la chaleur, la perception de la température est plus lente que les autres propriétés matérielles et demande un toucher statique (voir \figref{exploratory_procedures}) de plusieurs secondes pour que la température de la peau s'équilibre avec celle de l'objet.
La température $T(t)$ du doigt à l'instant $t$ et au contact avec une surface suit une loi décroissante exponentielle, où $T_s$ est la température initiale de la peau, $T_e$ est la température de la surface, $t$ est le temps et $\tau$ est la constante de temps:
\begin{equation}
    \label{eq:temperature}
    T(t) = (T_s - T_e) \, e^{-t / \tau} + T_e
\end{equation}
Le taux de transfert de chaleur, décrit par $\tau$, et l'écart de température $T_s - T_e$, sont les deux indices essentiels pour la perception de la température.
Dans des conditions de la vie de tous les jours, avec une température de la pièce de \qty{20}{\celsius}, une différence relative du taux de transfert de chaleur de \percent{43} ou un écart de \qty{2}{\celsius} est nécessaire pour percevoir une différence de température~\cite{bergmanntiest2009tactile}.


\subsubsection{Spatial Properties}

Le poids, la taille et la forme d'un objet sont des propriétés haptiques dites spatiales qui sont indépendantes des propriétés matérielles décrites précédemment.

Le poids (ou heaviness/lightness) est la perception de la \emph{masse} de l'objet~\cite{bergmanntiest2010haptic}.
Elle est typiquement estimé en tenant l'objet dans la paume de la main de façon statique, an \enquote{unsupported holding} (voir \figref{exploratory_procedures}).
Une différence relative de poids de \percent{8} est alors nécessaire être perceptible~\cite{brodie1985jiggling}.
En soulevant l'objet, il est possible de sentir en plus la force d'inertie de l'objet, \ie la résistance à la vitesse. Cela donne un indice perceptuel supplémentaire de sa masse et permet d'améliorer légèrement la discrimination de poids~\cite{brodie1985jiggling}.
Dans les deux cas, les indices kinesthésiques de force sont beaucoup plus importants que les indices cutanés de pression~\cite{bergmanntiest2012investigating}.
%Le lien entre le poids physique et l'intensité perçue est variable selon les individus~\cite{kappers2013haptic}.

La taille peut être la perception de la \emph{longueur} de l'objet (sur une dimension) ou de son \emph{volume} (en trois dimensions)~\cite{kappers2013haptic}.
Dans les deux cas et si l'objet est assez petit, un grip de précision (voir \figref{gonzalez2014analysis}) entre le pouce et l'index permet de discriminer des tailles avec une précision de \qty{1}{\mm} mais une sur-estimation de la longueur (loi de puissance avec un exposant \qty{1.3}).
Sinon, il est nécessaire de suivre les contours de l'objet avec les doigts pour estimer sa longueur (voir \figref{exploratory_procedures}), mais avec une précision dix fois moins bonne et une sous-estimation de la longueur (loi de puissance avec un exposant \qty{0.9})~\cite{bergmanntiest2011cutaneous}.
La perception du volume d'un objet qui n'est pas petit se fait typiquement par une enclosure de la main, mais l'estimation est fortement influencée par la taille, la forme et la masse de l'objet, pour un volume identique~\cite{kahrimanovic2010haptic}.

La forme de l'objet peut-être définie comme la perception de sa \emph{géométrie globale}, \ie de sa forme et de ses contours.
C'est par exemple quand on cherche une clé dans une poche.
L'exploration de contours et l'enclosure sont alors employés, comme pour l'estimation des longueur et du volume.
Si l'objet est non connu a priori, son identification objet est alors plutôt lente prends plusieurs secondes~\cite{norman2004visual}.
C'est pourquoi, l'exploration d'autres propriétés est alors privilégié pour reconnaitre l'objet plus rapidement, en particulier des bords marqués~\cite{klatzky1987there}, \eg une vis parmi des clous (voir \figref{plaisier2009salient_2}), ou des propriétés matérielles particulières~\cite{lakatos1999haptic,plaisier2009salient}, \eg un objet en métal parmi des objets en plastique.

\begin{subfigs}{plaisier2009salient}{Identification d'une sphère parmi des cubes~\cite{plaisier2009salient}. }[
        \item La forme a un effet important sur la perception du volume d'un objet, \eg une sphère est perçue plus petite qu'un cube de même volume.
        \item L'absence de bord marqué sur la sphère la rend facile à identifier parmi des cubes.
    ]
    \subfigsheight{40mm}
    \subfig{plaisier2009salient_1}
    \subfig{plaisier2009salient_2}
\end{subfigs}


\subsubsection{Conclusion}

La perception haptique des objets implique donc plusieurs mécanismes simultanés aux interactions complexes.
Ainsi, des mouvements exploratoires de la main et des doigts sont effectués au contact de l'objet selon la propriété explorée afin obtenir de multiples informations sensorielles venant de plusieurs capteurs cutanés et kinesthésiques.
Ces sensations traduisent des paramètres physiques de l'objet ou, plus difficilement mesurable, des interactions entre l'objet et la peau, mais qui sont influencée par de nombreux facteurs, comme la vitesse, la force et le temps d'exploration, mais aussi la sensibilité individuelle et le contexte de l'interaction.
Des indices perceptuels sont alors construit suivant des lois de discrimination et d'intensité perçue de ces sensations, et sont alors intégrés pour former une perception de la propriété explorée.
Un toucher statique peut suffire pour certaines propriétés, mais une action motrice est souvent cruciale pour la perception haptique.
Enfin, il est fréquent qu'un indice perceptuel soit particulièrement important dans la perception d'une propriété, mais une certaine constance perceptuelle semble possible en compensant son absence par d'autres, par exemple en touchant indirectement via un outil tenu en main.


\subsection{Wearable Haptics for the Hand}
\label{wearable_haptics}

Nous présentons ici seulement un survol des dispositifs haptiques portables pour la main et des rendus qu'ils permettent de générer.
En particulier, nous nous intéressons aux actuateurs portables qui n'empêchent pas de toucher et interagir avec l'environnement réel et aux rendus de propriétés haptiques d'objets virtuels ou augmentés.
Pour une revue complète, voir \textcite{pacchierotti2017wearable}.

\subsubsection{Wearable Haptic Devices}
\label{wearable_haptic_devices}

\paragraph{Level of Wearability}

% Tradeoff realistic and cost + analogy with sound, Hi-Fi costs a lot and is realistic, but 40$ BT headphone is more practical and enough, as cutaneous feedback without kinesthesic could be enough for wearable haptics and far more affordable and comfortable than world- or body-grounded haptics + cutaneous even better than kine for rendering surface curvature and fine manipulation

% Level of wearability is inverse of kinesthetic feedback capability

\paragraph{Moving Platforms}

\paragraph{Shearing and Compression Belts}

\paragraph{Vibrotactile Actuators}

Vibrotactile actuators are the most common and simplest wearable haptic interfaces, and are available as consumer products.
\textcite{choi2013vibrotactile} provide a detailed review.
All vibrotactile actuators are based on the same principle: generating an oscillating motion from an electric current with a frequency and amplitude high enough to be perceived by cutaneous mechanoreceptors.
Several types of vibrotactile actuators are used in haptics, with different trade-offs between size, proposed \DoFs and application constraints:
\begin{itemize}
    \item An \ERM is a \DC motor that rotates an off-center mass when a voltage or current is applied. \ERMs are easy to control, inexpensive and can be encapsulated in a few millimeters cylinder or coin form factor. They are widely used in many applications and consumer devices. However, they have only one \DoF because both the frequency and amplitude of the vibration are coupled to the speed of the rotation, \eg low (high) frequencies output at low (high) amplitudes.
    \item A \LRA consists of a coil that creates a magnetic field from an \AC to oscillate a magnet attached to a spring, as an audio loudspeaker. They are more complex to control than \ERMs. Each \LRA is designed to vibrate with maximum amplitude at a given frequency, but won't vibrate efficiently at other frequencies.
    \item A \VCA is a \LRA but capable of generating vibration at two \DoF, with an independent control of the frequency and amplitude of the vibration. However, they are larger in size than \ERMs and \LRAs.
    \item Piezoelectric actuators deform a solid material when a voltage is applied. They are very small and thin, and allow two \DoFs of amplitude and frequency control. However, they require high voltages to operate and are difficult to control.
\end{itemize}

\subsubsection{Tactile Renderings of Object Properties}
\label{wearable_haptic_renderings}

Le rendu tactile des propriétés haptiques consiste à modéliser et reproduire des sensations cutanées virtuelles comparables à celles perçues lors de l'interaction avec des objets réels.

\paragraph{Contact}

\paragraph{Texture}

\paragraph{Hardness}

\paragraph{Temperature}

\paragraph{Shape}


\subsubsection{Evaluating the Haptic Rendering}
\label{wearable_haptics_evaluation}

Les nombreuses interfaces et rendus des dispositifs haptiques portables développés tendent à reproduire des expérience perceptuelles similaires, voire réalistes, à celles des interactions haptiques avec des objets réels.
%
Les méthodes psychophysiques sont notamment utilisées pour étudier le sens du toucher avec des objets réels et sont ré-employées pour pour évaluer la perception par les utilisateurs des rendus haptiques virtuels.
%
\textcite{choi2013vibrotactile} présentent particulièrement bien les questions perceptuelles et les méthodes d'évaluations à considérer.


\subsection{Conclusion}
\label{wearable_haptics_conclusion}
