\section{Rendering Objects with Wearable Haptics}
\label{wearable_haptics}

Un des rôles des systèmes haptiques est de recréer des interactions et sensations virtuelles \emph{similaires et comparables} à celles expérimentées par le sens du toucher avec des objets réels, en particulier dans des \v-\VE~\cite{maclean2008it,culbertson2018haptics}.


\subsection{Level of Wearability}
\label{wearability_level}

Différents types de dispositifs haptiques peuvent être portés sur la main, mais seule une partie d'entre eux peut être considérée comme \emph{wearable}. \textcite{pacchierotti2017wearable} les classent en trois niveaux de portabilité, comme illustré sur la \figref{pacchierotti2017wearable}, l'augmentation de la portabilité ayant pour conséquence la perte de la capacité de retour kinesthésique du système.

\begin{subfigs}{pacchierotti2017wearable}{
        Schematic wearability level of haptic devices for the hand. Adapted from \textcite{pacchierotti2017wearable}.
    }[
        \item World-grounded haptic devices are fixed on the environment to provide kinesthetic feedback to the user.
        \item Exoskeletons are body-grounded kinesthetic devices.
        \item Wearable haptic devices are grounded on the point of application of the tactile stimulus.
    ]
    \subfigsheight{35mm}
    \subfig{pacchierotti2017wearable_1}
    \subfig{pacchierotti2017wearable_2}
    \subfig{pacchierotti2017wearable_3}
\end{subfigs}

La recherche en haptique est historiquement liée à la robotique et à la téléopération menant à la conception de systèmes haptique \emph{grounded}, \ie fixés à un support dans l'environment, comme une table (voir \figref{pacchierotti2017wearable_1}).
Ce sont des bras robotiques dont l'effecteur est porté par le doigt ou la main de l'utilisateur et qui simulent des interactions avec un \VE en fournissant des retours kinesthésiques de forces et de torques (voir \figref{pacchierotti2015cutaneous}).
Ils fournissent un retour haptique de haute fidélité mais sont lourds, encombrants et limités à petit espace de travail~\cite{culbertson2018haptics}.

Des dispositifs avec une conception plus portable ont donc été développés en rapprochant la partie mise à la terre sur le corps de l'utilisateur.
L'intégralité du système robotique est alors porté par l'utilisateur et forme un exosquelette également capable de fournir un retour kinesthésiques mais seulement aux doigts et non plus à la main entière, \eg in \figref{achibet2017flexifingers}.
Un effet indésirable de cette conception est que la force de réaction est alors également transmise à l'utilisateur à l'endroit du corps où le dispositif est grounded (voir \figref{pacchierotti2017wearable_2}).
Ils sont souvent lourds et encombrants, et ne peuvent pas être considérés comme wearable.

\textcite{pacchierotti2017wearable} définit que : \enquote{A wearable haptic interface should also be small, easy to carry, comfortable, and it should not impair the motion of the wearer}.
Une approche consiste donc à déplacer le point de mise à la terre très proche de l'effecteur (voir \figref{pacchierotti2017wearable_3}) : l'interface est restreinte à un retour haptique cutané mais sa conception est plus compacte, légère et confortable, \eg in \figref{leonardis20173rsr}. %, comme un casque audio Bluetooth peut être parfaitement suffisant par rapport à un système Hi-Fi complet bien plus onéreux et encombrant.
De plus, comme détaillé en \secref{object_properties}, les sensations cutanées sont nécessaires et souvent suffisantes pour la perception des propriétés haptiques d'un objet exploré avec la main.

\begin{subfigs}{grounded_to_wearable}{
        Examples of haptic devices for the hand with different levels of wearability.
    }[
        \item Teleoperation of a virtual cube grasped with the thumb and index fingers each attached to a grounded haptic device~\cite{pacchierotti2015cutaneous}.
        \item A passive exoskeleton for fingers simulating stiffness of a trumpet's pistons~\cite{achibet2017flexifingers}.
        \item Manipulation of a virtual cube with the thumb and index fingers each attached with the 3-RSR wearable haptic device~\cite{leonardis20173rsr}.
    ]
    \subfig[.32]{pacchierotti2015cutaneous}
    \subfig[.32]{achibet2017flexifingers}
    \subfig[.32]{leonardis20173rsr}
\end{subfigs}

% Tradeoff realistic and cost + analogy with sound, Hi-Fi costs a lot and is realistic, but 40$ BT headphone is more practical and enough, as cutaneous feedback without kinesthesic could be enough for wearable haptics and far more affordable and comfortable than world- or body-grounded haptics + cutaneous even better than kine for rendering surface curvature and fine manipulation

Le rendu d'un dispositif haptique est déterminé par la nature des actuateurs employés, qui font interfaces entre le système haptique et la peau de l'utilisateur, et les types de stimulis qu'ils peuvent générer. Plusieurs types d'actuateurs sont souvent combinés pour obtenir des retours haptiques plus riches.


\subsection{Wearable Haptic Devices for the Hand}
\label{wearable_haptic_devices}

Nous présentons d'abord un survol des dispositifs haptiques portables pour la main, suivant les catégories de \textcite{pacchierotti2017wearable}, car les caractéristiques et mécanismes de l'effecteur respectif conditionnent les retours haptiques qu'un dispositif peut fournir.


\subsubsection{Moving Platforms}
\label{normal_actuators}

Les plateformes mobiles se déplacent perpendiculairement sur la peau pour générer des sensations de contact, de pression et de bords~\cite{pacchierotti2017wearable}.
Placées sous le bout des doigts, elles peuvent venir au contact de la peau avec différentes forces, vitesses et orientations.
La plateforme est déplacée via des câbles, \eg in \figref{gabardi2016new}, ou des bras articulés,
\eg in \figref{perez2017optimizationbased}, qui sont activés par des moteurs grounded sur l'ongle~\cite{gabardi2016new,perez2017optimizationbased}.
Les moteurs allongent et raccourcissent les câbles ou orientent les bras pour déplacer la plateforme sur 3 \DoFs : deux pour l'orientation et un pour la force normale par rapport au doigt.
Cependant, les plateformes sont spécifiquement conçues donner un retour haptique pour le bout du doigt dans des \VE et empêchent donc d'interagir avec un \RE.

\begin{subfigs}{normal_actuators}{
        Normal indentation actuators for the fingertip.
    }[
        \item A moving platform actuated with cables~\cite{gabardi2016new}.
        \item A moving platform actuated by articulated limbs~\cite{perez2017optimizationbased}.
        \item Diagram of a pin-array of tactors~\cite{sarakoglou2012high}.
        \item A pneumatic system composed of a \numproduct{12 x 10} array of air cylinders~\cite{ujitoko2020development}.
    ]
    \subfigsheight{35mm}
    \subfig{gabardi2016new}
    \subfig{perez2017optimizationbased}
    \subfig{sarakoglou2012high}
    \subfig{ujitoko2020development}
\end{subfigs}

\subsubsection{Pin and Pneumatic Arrays}
\label{array_actuators}

Un pin-array est une surface composée de plusieurs petits pions rigides placés très proches sous forme de grille et qui peuvent être déplacés individuellement. Placée en contact avec le bout du doigt, elle peut générer des sensations de bord, de pression et de textures.
La \figref{sarakoglou2012high} montre un exemple de pin-array composé de \numproduct{4 x 4} tactors de \qty{1.5}{\mm} de diamètre et de \qty{2}{\mm} de hauteur, espacés de \qty{2}{\mm}~\cite{sarakoglou2012high}.
Les systèmes pneumatiques utilisent un fluide comme de l'air ou de l'eau pour venir gonfler des membranes sous la peau, générant des sensations de contact et de pression. Plusieurs membranes sont souvent utilisées sous forme de grille pour simuler des bords et des textures comme sur la \figref{ujitoko2020development}~\cite{ujitoko2020development}.
Même si ces deux types d'effecteurs peuvent être considérés comme wearable, leur actuation nécessite une grande complexité mécanique et électronique qui rend le système dans son ensemble peu portable.

\subsubsection{Tangential Motion Actuators}
\label{tangential_actuators}

De conception similaire aux plateformes mobiles, les actuateurs qui fournissent des mouvements tangentiels activent un pion rigide ou une surface sous le doigt et génèrent de sensations de cisaillement de la peau.
Une structure de bras activées par des moteurs déplacent ainsi l'effecteur en contact avec la peau dans plusieurs directions sur 2 \DoFs parallèlement à la peau, \eg in \figref{leonardis2015wearable}~\cite{leonardis2015wearable}.
Certains actuateurs sont capables de rendre à la fois des mouvements normaux et tangentiels sur 3 \DoFs sur la peau ainsi qu'établir et cesser le contact avec le doigt, \eg in \figref{schorr2017fingertip}~\cite{schorr2017fingertip}.

\subsubsection{Compression Belts}
\label{belt_actuators}

Une approche alternative mécaniquement plus simple est de placer une ceinture sur le dessous du doigt et de l'activer sur 2 \DoFs par deux moteurs placés sur le dessus du doigt~\cite{minamizawa2007gravity}.
En tournant dans des directions opposées, les moteurs raccourcissent la ceinture qui génère une sensation de pression sur le doigt.
À l'inverse, en tournant simultanément dans la même direction, la ceinture tire la peau du doigt dans une sensation de cisaillement.
La simplicité de cette approche permet de placer la ceinture ailleurs sur la main, laissant libre le bout du doigt pour interagir avec le \RE, \eg le hRing sur la phalange proximale de \textcite{pacchierotti2016hring} (voir \figref{pezent2019tasbi}) ou Tasbi sur le poignet de \textcite{pezent2019tasbi} (voir \figref{pezent2019tasbi}).

\begin{subfigs}{tangential_belts}{Tangential motion actuators and compression belts. }[
        \item A skin strech actuator for the fingertip~\cite{leonardis2015wearable}.
        \item A 3 \DoF actuator capable of normal and tangential motion on the fingertip~\cite{schorr2017fingertip}.
        %\item A shearing belt actuator for the fingertip~\cite{minamizawa2007gravity}.
        \item The hRing, a shearing belt actuator for the proximal phalanx of the finger~\cite{pacchierotti2016hring}.
        \item Tasbi, a wristband capable of pressure and vibrotactile feedback~\cite{pezent2019tasbi}.
    ]
    \subfigsheight{34mm}
    \subfig{leonardis2015wearable}
    \subfig{schorr2017fingertip}
    \subfig{pacchierotti2016hring}
    \subfig{pezent2019tasbi}
\end{subfigs}

\subsubsection{Vibrotactile Actuators}
\label{vibrotactile_actuators}

Vibrotactile actuators are the most common and simplest wearable haptic interfaces, and are available as consumer products.
They are small, lightweight and can be placed directly on any part of the hand.
\textcite{choi2013vibrotactile} provide a detailed review.
All vibrotactile actuators are based on the same principle: generating an oscillating motion from an electric current with a frequency and amplitude high enough to be perceived by cutaneous mechanoreceptors.
Several types of vibrotactile actuators are used in haptics, with different trade-offs between size, proposed \DoFs and application constraints:
\begin{itemize}
    \item An \ERM is a \DC motor that rotates an off-center mass when a voltage or current is applied (see \figref{precisionmicrodrives_erm}). \ERMs are easy to control, inexpensive and can be encapsulated in a few millimeters cylinder or coin form factor. However, they have only one \DoF because both the frequency and amplitude of the vibration are coupled to the speed of the rotation, \eg low (high) frequencies output at low (high) amplitudes, as shown on \figref{precisionmicrodrives_erm_performances}.
    \item A \LRA consists of a coil that creates a magnetic field from an \AC to oscillate a magnet attached to a spring, as an audio loudspeaker (see \figref{precisionmicrodrives_lra}). They are more complex to control and a bit larger than \ERMs. Each \LRA is designed to vibrate with maximum amplitude at a given frequency, but won't vibrate efficiently at other frequencies, \ie their bandwidth is narrow, as shown on \figref{azadi2014vibrotactile}.
    \item A \VCA is a \LRA but capable of generating vibration at two \DoF, with an independent control of the frequency and amplitude of the vibration on a wide bandwidth. They are larger in size than \ERMs and \LRAs, but can generate more complex renderings.
    \item Piezoelectric actuators deform a solid material when a voltage is applied. They are very small and thin, and allow two \DoFs of amplitude and frequency control. However, they require high voltages to operate thus limiting their use in wearable devices.
\end{itemize}

\begin{subfigs}{vibrotactile_actuators}{Diagrams of vibrotactile acuators. }[
        \item Diagram of a cylindrical encapsulated \ERM. From Precision Microdrives.~\footnotemark
        \item Diagram of a \LRA. From Precision Microdrives.~\footnotemark[2]
    ]
    \subfigsheight{50mm}
    \subfig{precisionmicrodrives_erm}
    \subfig{precisionmicrodrives_lra}
\end{subfigs}

\footnotetext{\url{https://www.precisionmicrodrives.com/}}

\begin{subfigs}{vibrotactile_performances}{Performances of vibrotactile acuators. }[
        \item Amplitude and frequency output of an \ERM as a function of the input voltage. From Precision Microdrives.~\footnotemark[2]
        \item Force generated by two \LRAs as a function of sine wave input with different frequencies: both their maximum force and frequency are different~\cite{azadi2014vibrotactile}.
    ]
    \subfig[.58]{precisionmicrodrives_erm_performances}
    \subfig[.38]{azadi2014vibrotactile}
\end{subfigs}


\subsection{Tactile Renderings of Object Properties}
\label{tactile_rendering}

Le rendu tactile des propriétés haptiques consiste à modéliser et reproduire des sensations cutanées virtuelles comparables à celles perçues lors de l'interaction avec des objets réels.

En particulier, nous nous intéressons aux actuateurs portables stimulant les méchano-récepteurs de la peau (voir \secref{haptic_sense}) et n'empêchant pas de toucher et interagir avec l'environnement réel et aux rendus de propriétés haptiques d'objets virtuels ou augmentés.

%, unlike most previous actuators that are designed specifically for fingertips and would require mechanical adaptation to be placed on other parts of the hand.
%thanks to the vibration propagation and the sensory capabilities distributed throughout the skin, they can be placed without adaption and on any part of the hand

\subsubsection{Contact \& Hardness}
\label{contact_rendering}

\subsubsection{Texture}
\label{texture_rendering}

Several approaches have been proposed to render virtual haptic texture~\cite{culbertson2018haptics}.
%
High-fidelity force feedback devices can reproduce patterned textures with great precision and provide similar perceptions to real textures, but they are expensive, have a limited workspace, and impose to hold a probe to explore the texture~\cite{unger2011roughness}.
%
As more traditional force feedback systems are unable to accurately render such micro-details on a simulated surface, vibrotactile devices attached to the end effector instead generate vibrations to simulate interaction with the virtual texture~\cite{culbertson2018haptics}.
%
In this way, physics-based models~\cite{chan2021hasti,okamura1998vibration,guruswamy2011iir} and data-based models~\cite{culbertson2015should,romano2010automatic} have been developed and evaluated, the former being simpler but more approximate to real textures, and the latter being more realistic but limited to the captured textures.
%
Notably, \textcite{okamura1998vibration} rendered grating textures with exponentially decaying sinudoids that simulated the strokes of the grooves and ridges of the surface, while \textcite{culbertson2014modeling} captured and modelled the roughness of real surfaces to render them using the speed and force of the user.
%
An effective approach to rendering virtual roughness is to generate vibrations to simulate interaction with the virtual texture~\cite{culbertson2018haptics}, relying on the user's real-time measurements of position, velocity and force to modulate the frequencies and amplitudes of the vibrations, with position and velocity being the most important parameters~\cite{culbertson2015should}.
% For example, when comparing the same virtual texture pairwise, but with different parameters, \textcite{culbertson2015should} showed that the roughness vibrations generated should vary with user speed, but not necessarily with user force.
% Virtual data-driven textures were perceived as similar to real textures, except for friction, which was not rendered properly.
%
The perceived roughness of real surfaces can be then modified when touched by a tool with a vibrotactile actuator attached~\cite{culbertson2014modeling,ujitoko2019modulating} or directly with the finger wearing the vibrotactile actuator~\cite{asano2015vibrotactile}, creating a haptic texture augmentation.
%
The objective is not just to render a virtual texture, but to alter the perception of a real, tangible surface, usually with wearable haptic devices, in what is known as haptic augmented reality (HAR)~\cite{bhatia2024augmenting,jeon2009haptic}.

One additional challenge of augmenting the finger touch is to keep the fingertip free to touch the real environment, thus delocalizing the actuator elsewhere on the hand~\cite{ando2007fingernailmounted,friesen2024perceived,normand2024visuohaptic,teng2021touch}.
%
Of course, the fingertip skin is not deformed by the virtual texture and only vibrations are felt, but it has been shown that the vibrations produced on the fingertip skin running over a real surface are texture specific and similar between individuals~\cite{manfredi2014natural}.
%
A common method vibrotactile rendering of texture is to use a sinusoidal signal whose frequency is modulated by the finger position or velocity~\cite{asano2015vibrotactile,friesen2024perceived,strohmeier2017generating,ujitoko2019modulating}.
%
It remains unclear whether such vibrotactile texture augmentation is perceived the same when integrated into visual AR or VR environments or touched with a virtual hand instead of the real hand.
%
%We also add a phase adjustment to this sinusoidal signal to allow free exploration movements of the finger with a simple camera-based tracking system.


\subsection{Conclusion}
\label{wearable_haptics_conclusion}