erwan/phd-thesis
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

To English

Browse Source
This commit is contained in:
Erwan Normand
2024-09-08 21:58:10 +02:00
parent c3a8ae70ec
commit 9d8cd2a195
3 changed files with 144 additions and 116 deletions
Download Patch File Download Diff File Expand all files Collapse all files

89
1-introduction/related-work/2-wearable-haptics.tex
View File

@@ -1,72 +1,84 @@
\section{Rendering Objects with Wearable Haptics}
\label{wearable_haptics}
Un des rôles des systèmes haptiques est de recréer des interactions et sensations virtuelles \emph{similaires et comparables} à celles expérimentées par le sens du toucher avec des objets réels, en particulier dans des \v-\VE~\cite{maclean2008it,culbertson2018haptics}.
One of the roles of haptic systems is to render virtual interactions and sensations that are \emph{similar and comparable} to those experienced by the haptic sense with real objects, particularly in \v-\VE~\cite{maclean2008it,culbertson2018haptics}.
\subsection{Level of Wearability}
\label{wearability_level}
Différents types de dispositifs haptiques peuvent être portés sur la main, mais seule une partie d'entre eux peut être considérée comme \emph{wearable}. \textcite{pacchierotti2017wearable} les classent en trois niveaux de portabilité, comme illustré sur la \figref{pacchierotti2017wearable}, l'augmentation de la portabilité ayant pour conséquence la perte de la capacité de retour kinesthésique du système.
Different types of haptic devices can be worn on the hand, but only some of them can be considered \emph{wearable}.
\textcite{pacchierotti2017wearable} classify them into three levels of wearability, as illustrated in the \figref{pacchierotti2017wearable}.
An increasing \emph{wearability} resulting in the loss of the system's kinesthetic feedback capability.
\begin{subfigs}{pacchierotti2017wearable}{
Schematic wearability level of haptic devices for the hand. Adapted from \textcite{pacchierotti2017wearable}.
Schematic wearability level of haptic devices for the hand~\cite{pacchierotti2017wearable}.
}[
\item World-grounded haptic devices are fixed on the environment to provide kinesthetic feedback to the user.
\item Exoskeletons are body-grounded kinesthetic devices.
\item Wearable haptic devices are grounded on the point of application of the tactile stimulus.
]
\subfigsheight{35mm}
\subfigsheight{38mm}
\subfig{pacchierotti2017wearable_1}
\subfig{pacchierotti2017wearable_2}
\subfig{pacchierotti2017wearable_3}
\end{subfigs}
La recherche en haptique est historiquement liée à la robotique et à la téléopération menant à la conception de systèmes haptique \emph{grounded}, \ie fixés à un support dans l'environment, comme une table (voir \figref{pacchierotti2017wearable_1}).
Ce sont des bras robotiques dont l'effecteur est porté par le doigt ou la main de l'utilisateur et qui simulent des interactions avec un \VE en fournissant des retours kinesthésiques de forces et de torques (voir \figref{pacchierotti2015cutaneous}).
Ils fournissent un retour haptique de haute fidélité mais sont lourds, encombrants et limités à petit espace de travail~\cite{culbertson2018haptics}.
Haptic research comes from robotics and teleoperation, and historically led to the design of haptic systems that are \emph{grounded} to an external support in the environment, such as a table (see \figref{pacchierotti2017wearable_1}).
These are robotic arms whose end-effector is either held in the hand or worn on a finger and which simulate interactions with a \VE by providing kinesthetic forces and torques feedback (see \figref{pacchierotti2015cutaneous}).
They provide high fidelity haptic feedback but are heavy, bulky and limited to small workspaces~\cite{culbertson2018haptics}.
Des dispositifs avec une conception plus portable ont donc été développés en rapprochant la partie mise à la terre sur le corps de l'utilisateur.
L'intégralité du système robotique est alors porté par l'utilisateur et forme un exosquelette également capable de fournir un retour kinesthésiques mais seulement aux doigts et non plus à la main entière, \eg in \figref{achibet2017flexifingers}.
Un effet indésirable de cette conception est que la force de réaction est alors également transmise à l'utilisateur à l'endroit du corps où le dispositif est grounded (voir \figref{pacchierotti2017wearable_2}).
Ils sont souvent lourds et encombrants, et ne peuvent pas être considérés comme wearable.
More portable designs have been developed by moving the grounded part to the user's body.
The entire robotic system is thus mounted on the user, forming an exoskeleton capable of providing kinesthetic feedback to the finger, \eg in \figref{achibet2017flexifingers}.
However, it cannot constrain the movements of the wrist and the reaction force is transmitted to the user where the device is grounded (see \figref{pacchierotti2017wearable_2}).
They are often heavy and bulky and cannot be considered wearable.
\textcite{pacchierotti2017wearable} définit que : \enquote{A wearable haptic interface should also be small, easy to carry, comfortable, and it should not impair the motion of the wearer}.
Une approche consiste donc à déplacer le point de mise à la terre très proche de l'effecteur (voir \figref{pacchierotti2017wearable_3}) : l'interface est restreinte à un retour haptique cutané mais sa conception est plus compacte, légère et confortable, \eg in \figref{leonardis20173rsr}. %, comme un casque audio Bluetooth peut être parfaitement suffisant par rapport à un système Hi-Fi complet bien plus onéreux et encombrant.
De plus, comme détaillé en \secref{object_properties}, les sensations cutanées sont nécessaires et souvent suffisantes pour la perception des propriétés haptiques d'un objet exploré avec la main.
\textcite{pacchierotti2017wearable} defined that : \enquote{A wearable haptic interface should also be small, easy to carry, comfortable, and it should not impair the motion of the wearer}.
An approach is then to move the grounding point very close to the end-effector (see \figref{pacchierotti2017wearable_3}): the interface is limited to cutaneous haptic feedback, but its design is more compact, lightweight and comfortable, \eg in \figref{leonardis20173rsr}, and the system is wearable.
Moreover, as detailed in \secref{object_properties}, cutaneous sensations are necessary and often sufficient for the perception of the haptic properties of an object explored with the hand, as also argued by \textcite{pacchierotti2017wearable}.
\begin{subfigs}{grounded_to_wearable}{
Examples of haptic devices for the hand with different levels of wearability.
Haptic devices for the hand with different wearability levels.
}[
\item Teleoperation of a virtual cube grasped with the thumb and index fingers each attached to a grounded haptic device~\cite{pacchierotti2015cutaneous}.
\item A passive exoskeleton for fingers simulating stiffness of a trumpet's pistons~\cite{achibet2017flexifingers}.
\item Manipulation of a virtual cube with the thumb and index fingers each attached with the 3-RSR wearable haptic device~\cite{leonardis20173rsr}.
]
\subfig[.32]{pacchierotti2015cutaneous}
\subfig[.32]{achibet2017flexifingers}
\subfig[.32]{leonardis20173rsr}
\subfigsheight{38mm}
\subfig{pacchierotti2015cutaneous}
\subfig{achibet2017flexifingers}
\subfig{leonardis20173rsr}
\end{subfigs}
% Tradeoff realistic and cost + analogy with sound, Hi-Fi costs a lot and is realistic, but 40$ BT headphone is more practical and enough, as cutaneous feedback without kinesthesic could be enough for wearable haptics and far more affordable and comfortable than world- or body-grounded haptics + cutaneous even better than kine for rendering surface curvature and fine manipulation
Le rendu d'un dispositif haptique est déterminé par la nature des actuateurs employés, qui font interfaces entre le système haptique et la peau de l'utilisateur, et les types de stimulis qu'ils peuvent générer. Plusieurs types d'actuateurs sont souvent combinés pour obtenir des retours haptiques plus riches.
\subsection{Wearable Haptic Devices for the Hand}
\label{wearable_haptic_devices}
Nous présentons d'abord un survol des dispositifs haptiques portables pour la main, suivant les catégories de \textcite{pacchierotti2017wearable}, car les caractéristiques et mécanismes de l'effecteur respectif conditionnent les retours haptiques qu'un dispositif peut fournir.
We present an overview of wearable haptic devices for the hand, following the categories of \textcite{pacchierotti2017wearable}.
The rendering of a haptic device is indeed determined by the nature of the actuators employed, which form the interface between the haptic system and the user's skin, and therefore the types of mechanical stimuli they can generate.
Several actuators are often combined in a haptic device to obtain richer haptic feedback.
\subsubsection{Moving Platforms}
\label{normal_actuators}
Les plateformes mobiles se déplacent perpendiculairement sur la peau pour générer des sensations de contact, de pression et de bords~\cite{pacchierotti2017wearable}.
Placées sous le bout des doigts, elles peuvent venir au contact de la peau avec différentes forces, vitesses et orientations.
La plateforme est déplacée via des câbles, \eg in \figref{gabardi2016new}, ou des bras articulés,
\eg in \figref{perez2017optimizationbased}, qui sont activés par des moteurs grounded sur l'ongle~\cite{gabardi2016new,perez2017optimizationbased}.
Les moteurs allongent et raccourcissent les câbles ou orientent les bras pour déplacer la plateforme sur 3 \DoFs : deux pour l'orientation et un pour la force normale par rapport au doigt.
Cependant, les plateformes sont spécifiquement conçues donner un retour haptique pour le bout du doigt dans des \VE et empêchent donc d'interagir avec un \RE.
The moving platforms translate perpendicularly on the skin to create sensations of contact, pressure and edges~\cite{pacchierotti2017wearable}.
Placed under the fingertips, they can come into contact with the skin with different forces, speeds and orientations.
The platform is moved by means of cables, \eg in \figref{gabardi2016new}, or articulated arms, \eg in \figref{perez2017optimizationbased}, activated by motors grounded to the nail~\cite{gabardi2016new,perez2017optimizationbased}.
The motors lengthen and shorten the cables or orient the arms to move the platform over 3 \DoFs: two for orientation and one for normal force relative to the finger.
However, these platforms are specifically designed to provide haptic feedback to the fingertip in \VEs, preventing interaction with a \RE.
\subsubsection{Pin and Pneumatic Arrays}
\label{array_actuators}
A pin-array is a surface made up of small, rigid pins arranged very close together in a grid and that can be moved individually.
When placed in contact with the fingertip, it can create sensations of edge, pressure and texture.
The \figref{sarakoglou2012high} shows an example of a pin-array consisting of \numproduct{4 x 4} pins of \qty{1.5}{\mm} diameter and \qty{2}{\mm} height, spaced at \qty{2}{\mm}~\cite{sarakoglou2012high}.
Pneumatic systems use a fluid such as air or water to inflate membranes under the skin, creating sensations of contact and pressure~\cite{raza2024pneumatically}.
Multiple membranes are often used in a grid to simulate edges and textures, as in the \figref{ujitoko2020development}~\cite{ujitoko2020development}.
Although these two types of effector can be considered wearable, their actuation requires a high level of mechanical and electronic complexity that makes the system as a whole not portable.
\begin{subfigs}{normal_actuators}{
Normal indentation actuators for the fingertip.
@@ -76,21 +88,13 @@ Cependant, les plateformes sont spécifiquement conçues donner un retour haptiq
\item Diagram of a pin-array of tactors~\cite{sarakoglou2012high}.
\item A pneumatic system composed of a \numproduct{12 x 10} array of air cylinders~\cite{ujitoko2020development}.
]
\subfigsheight{35mm}
\subfigsheight{37mm}
\subfig{gabardi2016new}
\subfig{perez2017optimizationbased}
\subfig{sarakoglou2012high}
\subfig{ujitoko2020development}
\end{subfigs}
\subsubsection{Pin and Pneumatic Arrays}
\label{array_actuators}
Un pin-array est une surface composée de plusieurs petits pions rigides placés très proches sous forme de grille et qui peuvent être déplacés individuellement. Placée en contact avec le bout du doigt, elle peut générer des sensations de bord, de pression et de textures.
La \figref{sarakoglou2012high} montre un exemple de pin-array composé de \numproduct{4 x 4} tactors de \qty{1.5}{\mm} de diamètre et de \qty{2}{\mm} de hauteur, espacés de \qty{2}{\mm}~\cite{sarakoglou2012high}.
Les systèmes pneumatiques utilisent un fluide comme de l'air ou de l'eau pour venir gonfler des membranes sous la peau, générant des sensations de contact et de pression. Plusieurs membranes sont souvent utilisées sous forme de grille pour simuler des bords et des textures comme sur la \figref{ujitoko2020development}~\cite{ujitoko2020development}.
Même si ces deux types d'effecteurs peuvent être considérés comme wearable, leur actuation nécessite une grande complexité mécanique et électronique qui rend le système dans son ensemble peu portable.
\subsubsection{Tangential Motion Actuators}
\label{tangential_actuators}
@@ -113,7 +117,7 @@ La simplicité de cette approche permet de placer la ceinture ailleurs sur la ma
\item The hRing, a shearing belt actuator for the proximal phalanx of the finger~\cite{pacchierotti2016hring}.
\item Tasbi, a wristband capable of pressure and vibrotactile feedback~\cite{pezent2019tasbi}.
]
\subfigsheight{34mm}
\subfigsheight{33.5mm}
\subfig{leonardis2015wearable}
\subfig{schorr2017fingertip}
\subfig{pacchierotti2016hring}
@@ -135,9 +139,10 @@ Several types of vibrotactile actuators are used in haptics, with different trad
\item Piezoelectric actuators deform a solid material when a voltage is applied. They are very small and thin, and allow two \DoFs of amplitude and frequency control. However, they require high voltages to operate thus limiting their use in wearable devices.
\end{itemize}
\begin{subfigs}{vibrotactile_actuators}{Diagrams of vibrotactile acuators. }[
\item Diagram of a cylindrical encapsulated \ERM. From Precision Microdrives.~\footnotemark
\item Diagram of a \LRA. From Precision Microdrives.~\footnotemark[2]
\item Diagram of a \LRA. From Precision Microdrives.~\footnotemarkrepeat
]
\subfigsheight{50mm}
\subfig{precisionmicrodrives_erm}
@@ -147,7 +152,7 @@ Several types of vibrotactile actuators are used in haptics, with different trad
\footnotetext{\url{https://www.precisionmicrodrives.com/}}
\begin{subfigs}{vibrotactile_performances}{Performances of vibrotactile acuators. }[
\item Amplitude and frequency output of an \ERM as a function of the input voltage. From Precision Microdrives.~\footnotemark[2]
\item Amplitude and frequency output of an \ERM as a function of the input voltage. From Precision Microdrives.~\footnotemarkrepeat
\item Force generated by two \LRAs as a function of sine wave input with different frequencies: both their maximum force and frequency are different~\cite{azadi2014vibrotactile}.
]
\subfig[.58]{precisionmicrodrives_erm_performances}
@@ -165,7 +170,9 @@ En particulier, nous nous intéressons aux actuateurs portables stimulant les m
%, unlike most previous actuators that are designed specifically for fingertips and would require mechanical adaptation to be placed on other parts of the hand.
%thanks to the vibration propagation and the sensory capabilities distributed throughout the skin, they can be placed without adaption and on any part of the hand
\subsubsection{Contact \& Hardness}
\subsubsection{Contact}
\subsubsection{Hardness}
\label{contact_rendering}
\subsubsection{Texture}