diff --git a/1-introduction/related-work/1-haptic-hand.tex b/1-introduction/related-work/1-haptic-hand.tex index 9e91ea0..e46ae5f 100644 --- a/1-introduction/related-work/1-haptic-hand.tex +++ b/1-introduction/related-work/1-haptic-hand.tex @@ -18,7 +18,7 @@ Perceiving the properties of an object involves numerous sensory receptors embed \subsubsection{Cutaneous Sensitivity} \label{cutaneous_sensitivity} -Cutaneous haptic receptors are specialized nerve endings implanted in the skin that respond differently to the various stimuli applied to the skin. \figref{blausen2014medical_skin} shows the location in the skin of the four main cutaneous receptors that respond to mechanical deformation of the skin. +Cutaneous haptic receptors are specialized nerve endings implanted in the skin that respond differently to the various stimuli applied to the skin. \figref{blausen2014medical_skin} shows the location of the four main cutaneous receptors that respond to mechanical deformation of the skin. \fig[0.6]{blausen2014medical_skin}{Schema of cutaneous mechanoreceptors in a section of the skin~\cite{blausen2014medical}.} @@ -56,38 +56,34 @@ Finally, free nerve endings (without specialized receptors) provide information \label{kinesthetic_sensitivity} Kinesthetic receptors are also mechanoreceptors but are located in the muscles, tendons and joints~\cite{jones2006human}. -Les fuseaux musculaires, situés dans les muscles, répondent à la longueur des muscles, à la vitesse de l'étirement et à la contraction musculaire. -Les organes tendineux de Golgi, situés à la jonction entre les muscles et les tendons, répondent à la force développée par les muscles. -Enfin, des récepteurs de Ruffini et de Pacini sont présent dans les articulations et répondent au mouvement articulaire. -Ces trois types de récepteurs donnent donc, ensemble, un retour sensoriel sur le déplacement, la vitesse et la force des muscles ainsi que la rotation des articulations lors d'un mouvement. -Ils permettent donc également de sentir les forces et les couples extérieurs appliqués sur le corps. +The muscle spindles respond to the length and the rate of stretch/contraction of the muscles. +Golgi tendon organs, located at the junction of muscles and tendons, respond to the force developed by the muscles. +Ruffini and Pacini receptors are found in the joints and respond to joint movement. +Together, these receptors provide sensory feedback about the movement, speed and strength of the muscles and the rotation of the joints during a movement. +They can also sense external forces and torques applied to the body. -Les récepteurs kinesthésiques sont donc fortement liés au contrôle moteur du corps. -En fournissant un retour sensoriel en réponse à la position et aux mouvements des membres, ils permettent une perception de notre corps dans l'espace, appelée \emph{proprioception}. -Ainsi, même les yeux fermés, nous sommes capable de planifier et effectuer des mouvements précis pour toucher ou saisir une cible. -Cependant, les mecanorécepteurs cutanées sont partie intégrante de cette perception, car tout mouvement du corps ainsi que les contacts avec l'environment déforme nécessairement la peau~\cite{johansson2009coding}. +Kinesthetic receptors are therefore closely linked to the motor control of the body. +By providing sensory feedback in response to the position and movement of our limbs, they enable us to perceive our body in space, a perception called \emph{proprioception}. +This allows us to plan and execute precise movements to touch or grasp a target, even with our eyes closed. +Cutaneous mechanoreceptors are essential for this perception because any movement of the body or contact with the environment necessarily deforms the skin~\cite{johansson2009coding}. \subsection{Hand-Object Interactions} \label{hand_object_interactions} -Le sens haptique est donc composé d'un ensemble riche et complexe de multiples récepteurs sensoriels cutanées et kinesthésiques sous la peau, dans les muscles et articulations. -Particulièrement présents dans la main, ces récepteurs lui donne une grande sensibilité haptique mais aussi une grande dextérité dans ses mouvements. -En effet, en fournissant un retour sensoriel en réponse aux mouvements de la main et des doigts, cela forme une \emph{boucle sensorimotrice} qui permet d'ajuster les mouvements en fonction des sensations. - +The sense of touch is thus composed of a rich and complex set of various cutaneous and kinesthetic receptors under the skin, in the muscles and in the joints. +These receptors give the hand its great tactile sensitivity and great dexterity in its movements. \subsubsection{Sensorimotor Continuum of the Hand} \label{sensorimotor_continuum} -La contribution de ces deux types de sensations varie cependant selon les mouvements demandés par l'activité qu'effectue la main. -\textcite{jones2006human} ont proposé ainsi un continuum sensorimoteur des fonctions de la main, allant d'activités principalement sensorielles à des activités avec une composante motrice plus importante. -Comme illustré sur la \figref{sensorimotor_continuum}, \textcite{jones2006human} proposent de délimiter quatre catégories de fonctions de la main sur ce continuum: -% +\textcite{jones2006human} have proposed a sensorimotor continuum of hand functions, from mainly sensory activities to activities with a more important motor component. +As illustrated in the \figref{sensorimotor_continuum}, \Citeauthor{jones2006human} propose to delineate four categories of hand function on this continuum: \begin{itemize} - \item La \emph{détection tactile} est la capacité de la main à percevoir un objet avec qui elle est en contact statique à partir des sensations cutanées. L'objet peut cependant être en mouvement, mais la main reste immobile. Aussi appelé \emph{toucher passif}, cela permet une assez bonne perception de la surface, par exemple \textcite{gunther2022smooth}. - \item La \emph{détection haptique active} est l'exploration manuelle et volontaire d'un objet avec la main, impliquant l'ensemble des sensations cutanées et kinesthésiques. Cela permet une perception plus précise que le toucher passif~\cite{lederman2009haptic}. - \item La \emph{préhension} est l'action de saisir un objet avec la main, et de le maintenir. Cela implique une coordination fine entre les mouvements de la main et des doigt avec les sensations haptiques en retour. - \item Les \emph{gestes}, appelé non-prehensible skilled movements par \textcite{jones2006human}, sont des activités essentiellement motrices et sans contact continu avec un objet. Ce sont par exemple pointer une cible, frapper un clavier, accompagner un discours de gestes ou signer en langue des signes~\cite{yoon2020evaluating} + \item \emph{Passive touch}, or tactile sensing, is the ability to perceive an object through cutaneous sensations with a static hand contact. The object may be moving, but the hand remains static. It allows for relatively good surface perception, \eg in \textcite{gunther2022smooth}. + \item \emph{Exploration}, or active haptic sensing, is the manual and voluntary exploration of an object with the hand, involving all cutaneous and kinesthetic sensations. It enables a more precise perception than passive touch~\cite{lederman2009haptic}. + \item \emph{Prehension} is the action of grasping and holding an object with the hand. It involves fine coordination between hand and finger movements and the haptic sensations produced. + \item \emph{Gestures}, or non-prehensible skilled movements, are motor activities without constant contact with an object. Examples include pointing at a target, typing on a keyboard, accompanying speech with gestures, or signing in sign language, \eg in \textcite{yoon2020evaluating}. \end{itemize} \fig[0.65]{sensorimotor_continuum}{ @@ -97,92 +93,97 @@ Comme illustré sur la \figref{sensorimotor_continuum}, \textcite{jones2006human Icons are from \href{https://thenounproject.com/creator/leremy/}{Gan Khoon Lay} / \href{https://creativecommons.org/licenses/by/3.0/}{CC BY}. ] -L'ensemble des interactions possible de la main avec un objet est vaste et varié, \textcite{bullock2013handcentric} ont proposé une classification plus détaillée en 15 catégories. -Dans cette thèse, nous nous intéressons aux détections haptiques actives (\ie à l'exploration) d'augmentations visuo-haptiques (voir \partref{perception}) et à la préhension d'objets virtuels (voir \partref{manipulation}) dans le contexte de la RA et des wearable haptics. - +This classification has been further refined by \textcite{bullock2013handcentric} into 15 categories of possible hand interactions with an object. +In this thesis, we are interested in exploring visuo-haptic augmentations (see \partref{perception}) and grasping of virtual objects (see \partref{manipulation}) in the context of AR and wearable haptics. \subsubsection{Hand Anatomy and Motion} +\label{hand_anatomy} -Avant de comprendre comment la main est utilisée pour l'exploration et la préhension d'objets, il faut décrire brièvement son anatomie. En effet, sous la peau, la mise en action des muscles et des tendons est possible car ils prennent appuis sur les os. +Before we describe how the hand is used to explore and grasp objects, we need to look at its anatomy. +Underneath the skin, muscles and tendons can actually move because they are anchored to the bones. -Comme illustré sur la \figref{blausen2014medical_hand}, le squelette de la main est composée de 27 os articulés. Le poignet, constitué de 8 os carpiens, relie la main au bras, et est à la base des 5 os métacarpiens de la paume, un pour chaque doigt. -Chaque doigt est composé d'une chaîne de 3 phalanges, proximale, moyenne et distale, à l'exception du pouce qui n'a que deux phalanges proximale et distale. -Les articulations à la base de chaque phalange permettent des mouvements de flexions et extensions, i.e. des mouvements de pliage et de dépliage, par rapport à l'os précédent. -Les phalanges proximales peuvent également effectuer des mouvements d'adduction et d'abduction, i.e. des mouvements de rapprochement et d'éloignement des doigts. -Enfin, la métacarpe du pouce est capable de mouvements de flexion/extension et d'adduction/abduction, ce qui permet au pouce de venir s'opposer aux autres doigts. -Ces axes de mouvements sont appelés degrés de libertés et peuvent être représentés par un \emph{modèle kinématique} de la main à 27 DDL comme illustrés sur la \figref{blausen2014medical_hand}. -Ainsi, le pouce a 5 DDL, chaque des quatre autres doigts a 4 DDL, et le poignet 6 DDL en pouvant prendre n'importe quelle position (3 DDL) ou orientation (3 DDL) dans l'espace~\cite{erol2007visionbased}. +As shown in the \figref{blausen2014medical_hand}, the skeleton of the hand is formed of 27 articulated bones. +The wrist, comprising 8 carpal bones, connects the hand to the arm and is the base for the 5 metacarpal bones of the palm, one for each finger. +Each finger is formed by a chain of 3 phalanges, proximal, middle and distal, except for the thumb which has only two phalanges, proximal and distal. +The joints at the base of each phalanx allow flexion and extension, \ie folding and unfolding movements relative to the preceding bone. +The proximal phalanges can also adduct and abduct, \ie move the fingers towards and away from each other. +Finally, the metacarpal of the thumb is capable of flexion/extension and adduction/abduction, which allows the thumb to oppose the other fingers. +These axes of movement are called DoFs and can be represented by a \emph{kinematic model} of the hand with 27 DoFs as shown in the \figref{blausen2014medical_hand}. +Thus the thumb has 5 DoFs, each of the other four fingers has 4 DoFs and the wrist has 6 DoFs and can take any position (3 DoFs) or orientation (3 DoFs) in space~\cite{erol2007visionbased}. -Cette structure complexe permet à la main de nombreux mouvements et gestes. Cependant la façon dont nous explorons et saisissons les objets suit des modèles plus simples, qui dépendent de l'objet touché et de l'objectif de l'interaction. +This complex structure enables the hand to perform a wide range of movements and gestures. However, the way we explore and grasp objects follows simpler patterns, depending on the object being touched and the aim of the interaction. \begin{subfigs}{hand}{Anatomy and motion of the hand. }[ \item Schema of the hand skeleton. Adapted from \textcite{blausen2014medical}. - \item Kinematic model of the hand with 27 degrees of freedom~\cite{erol2007visionbased}. + \item Kinematic model of the hand with 27 \DoFs~\cite{erol2007visionbased}. ] \subfigsheight{58mm} \subfig{blausen2014medical_hand} \subfig{kinematic_hand_model} \end{subfigs} - \subsubsection{Exploratory Procedures} +\label{exploratory_procedures} -L'exploration d'un objet par la main suit des modèles de mouvements stéréotypés, appelés procédures exploratoires~\cite{lederman1987hand}. -Comme illustré sur la \figref{exploratory_procedures}, selon la propriété de l'objet explorée (décrites \secref{object_properties}), va être associé un mouvement spécifique et optimal de la main pour acquérir les information sensorielles les plus pertinentes pour cette propriété. -Par exemple, réaliser un \emph{mouvement latéral} des doigts sur la surface pour identifier sa texture, une \emph{pression} avec doigt pour percevoir sa rigidité, ou \emph{suivre les contours} de l'objet pour connaitre sa forme précise. -Ces trois procédures impliquent seulement les bouts des doigts et, en particulier, l'index~\cite{gonzalez2014analysis}. -L'ensemble de la main est utilisée pour les autres procédures: par exemple, en approchant voire posant la paume pour sentir la température de la surface (\emph{static contact}), ou en prenant l'objet dans la main pour estimer son poids (\emph{unsupported holding}). -L'\emph{enclosure}, en fermant la main sur l'objet, permet d'evaluer sa forme globale et sa taille. +The exploration of an object by the hand follows patterns of movement, called exploratory procedures~\cite{lederman1987hand}. +As illustrated in the \figref{exploratory_procedures}, a specific and optimal movement of the hand is performed for a given property of the object being explored to acquire the most relevant sensory information for that property. +For example, a \emph{lateral movement} of the fingers on the surface to identify its texture, a \emph{pressure} with the finger to perceive its hardness, or a \emph{contour following} of the object to infer its shape. +These three procedures involve only the fingertips and in particular the index finger~\cite{gonzalez2014analysis}. +For the other procedures, the whole hand is used: for example, approaching or posing the palm to feel the temperature (\emph{static contact}), holding the object in the hand to estimate its weight (\emph{unsupported holding}). +The \emph{enclosure} with the hand makes it possible to judge the general shape and size of the object. +It takes only \qtyrange{2}{3}{\s} to perform these procedures, except for contour following, which can take about ten seconds~\cite{jones2006human}. \fig{exploratory_procedures}{Exploratory procedures and their associated object properties (in parentheses). Adapted from \textcite{lederman2009haptic}.} -Le sens haptique seul (sans la vision) nous permet ainsi de reconnaitre les objets familiers avec une grande précision. -La reconnaissance des propriété matérielles, \ie la surface et sa texture, rigidité et température est meilleure qu'avec le sens visuel seul. -Mais la reconnaissance des propriétés spatiales, la forme et la taille de l'objet, est moins bonne avec l'haptique qu'avec la vision~\cite{lederman2009haptic}. -Quelques secondes (\qtyrange{2}{3}{\s}) suffisent pour effectuer ces procédures, à l'exception du suivi de contour qui peut prendre une dizaine de secondes~\cite{jones2006human}. - +%Le sens haptique seul (sans la vision) nous permet ainsi de reconnaitre les objets et matériaux avec une grande précision. +%La reconnaissance des propriété matérielles, \ie la surface et sa texture, rigidité et température est meilleure qu'avec le sens visuel seul. +%Mais la reconnaissance des propriétés spatiales, la forme et la taille de l'objet, est moins bonne avec l'haptique qu'avec la vision~\cite{lederman2009haptic}. +%Quelques secondes (\qtyrange{2}{3}{\s}) suffisent pour effectuer ces procédures, à l'exception du suivi de contour qui peut prendre une dizaine de secondes~\cite{jones2006human}. \subsubsection{Grasp Types} +\label{grasp_types} -La préhension d'un objet par la main est possible car celle-ci peut prendre de nombreuses postures grâce aux degrés de liberté de son squelette. -En venant opposer le pouce ou la paume aux autres doigts (pad or palm grasps), ou encore les doigts entre eux comme pour tenir une cigarette (side grasp), la main peut tenir en sécurité l'objet~\cite{iberall1997human}. -La préhension varie donc selon la forme de l'objet et la tâche a réaliser, par exemple saisir un stylo du bout des doigts puis le tenir pour écrire avec ou bien prendre une tasse par le corps pour la remplir et par l'anse pour la boire~\cite{cutkosky1986modeling}. -Trois types de préhensions sont distingués selon leur degré de force et de précision: Dans les préhensions de force, l'objet est tenu fermement et suit les mouvements de la main de façon rigide, tandis que dans les préhensions de précision, les doigts peuvent bouger l'objet à l'intérieur de la main mais sans bouger le bras. Les préhensions mixtes combinent force et précision en proportions égales~\cite{feix2016grasp}. +Thanks to the degrees of freedom of its skeleton, the hand can take many postures to grasp an object (see \secref{hand_anatomy}). +By placing the thumb or palm against the other fingers (pad or palm grasps respectively), or by placing the fingers against each other as if holding a cigarette (side grasp), the hand can hold the object securely. +Grasping adapts to the shape of the object and the task to be performed, \eg grasping a pen with the fingertips then holding it to write, or taking a mug by the body to fill it and by the handle to drink it~\cite{cutkosky1986modeling}. +Three types of grasp are differentiated according to their degree of strength and precision. +In \emph{power grasps}, the object is held firmly and follows the movements of the hand rigidly. +In \emph{precision grasps}, the fingers can move the object within the hand but without moving the arm. +\emph{Intermediate grasps} combine strength and precision in equal proportions~\cite{feix2016grasp}. -\fig{gonzalez2014analysis}{Taxonomy of grap types of~\textcite{gonzalez2014analysis}}[, classified according to their type (power, precision or intermediate) and the shape of the grasped objet. Each grasp show the area of the palm and fingers in contact with the object and the grasp with an example of object.] +For all possible objects and tasks, the number of grasp types can be reduced to 34 and classified as the taxonomy on \figref{gonzalez2014analysis}~\cite{gonzalez2014analysis}.\footnote{An updated taxonomy was then proposed by \textcite{feix2016grasp}: it is more complete but harder to present.} +For everyday objects, this number is even smaller, with between 5 and 10 grasp types depending on the activity~\cite{bullock2013grasp}. +Furthermore, the fingertips are the most involved areas of the hand, both in terms of frequency of use and time spent in contact: In particular, the thumb is almost always used, as well as the index and middle fingers, but the other fingers are used less frequently~\cite{gonzalez2014analysis}. +This can be explained by the sensitivity of the fingertips (see \secref{haptic_sense}) and the ease with which the thumb can be opposed to the index and middle fingers compared to the other fingers. -Indépendamment de l'objet et de la tâche, le nombre de types de préhension peut être réduit à 34 types et classifié comme la taxonomie sur la \figref{gonzalez2014analysis}~\cite{gonzalez2014analysis}. -Une taxonomie plus complète a ensuite été proposée par \textcite{feix2016grasp}. -Avec des objets de la vie de tous les jours, ce nombre est même plus restreint, entre 5 et 10 types de préhension selon l'activité~\cite{bullock2013grasp}. -En outre, les bouts des doigts sont les zones de la main les plus impliquées, en terme de fréquence d'usage. -En particulier, le pouce est pratiquement toujours utilisé, ainsi que l'index et le majeur, mais les autres doigts sont moins sollicités~\cite{gonzalez2014analysis}. -Cela s'explique par la sensibilité des bouts des doigts (voir \secref{haptic_perception}) et par la plus grande facilité d'opposer le pouce à l'index et au majeur que les autres doigts. +\fig{gonzalez2014analysis}{Taxonomy of grasp types of~\textcite{gonzalez2014analysis}}[, classified according to their type (power, precision or intermediate) and the shape of the grasped object. Each grasp shows the area of the palm and fingers in contact with the object and the grasp with an example of object.] \subsection{Haptic Perception of Object Properties} \label{object_properties} -Toucher activement un objet implique donc une action sensorimotrice de la main: Les mouvements exploratoires utilisés guident la recherche d'informations sensorielles et permettent de construire une perception haptique des propriétés de l'objet. -On distingue, d'une part, les \emph{propriétés matérielles}, qui sont la perception la rugosité, dureté, température et friction de la surface de l'objet~\cite{bergmanntiest2010tactual}. -D'autre part, les \emph{propriétés spatiales} sont la perception de la forme et de la taille de l'objet~\cite{lederman2009haptic}. +The active exploration of an object with the hand is performed as a sensorimotor loop: The exploratory movements guide the search for and adapt to sensory information, allowing to construct a haptic perception of the object's properties. +There are two main types of \emph{perceptual properties}. +The \emph{material properties} are the perception of the roughness, hardness, temperature and friction of the surface of the object~\cite{bergmanntiest2010tactual}. +The \emph{spatial properties} are the perception of the weight, shape and size of the object~\cite{lederman2009haptic}. -Chacune de ces propriétés est fortement liée à une caractéristique physique de l'objet, définie et mesurable, mais comme la perception est une expérience subjective, elle peut différer de cette mesure physique, \eg \textcite{bergmanntiest2007haptic,bergmanntiest2009cues}. -La perception dépend aussi de nombreux autres facteurs, comme les mouvements effectués et le temps d'exploration, mais aussi de la personne, \eg sa sensibilité~\cite{hollins2000individual} ou son âge~\cite{jones2006human}, et du contexte de l'interaction~\cite{kahrimanovic2009context,kappers2013haptic}. -Ces propriétés sont décrites (et évaluées\footnotemark) avec des échelles opposant deux adjectifs comme "rugueux/lisse" ou "chaud/froid"~\cite{okamoto2013psychophysical}. -\footnotetext{Toutes les mesures de perception haptique décrites dans ce chapitre ont été effectuées par des participants avec les yeux bandés, pour contrôler l'influence de la vision.} +Each of these properties is closely related to a physical property of the object, which is defined and measurable, but perception is a subjective experience and often differs from this physical measurement. +Perception also depends on many other factors, such as the movements made and the exploration time, but also on the person, their sensitivity~\cite{hollins2000individual} or age~\cite{jones2006human}, and the context of the interaction~\cite{kahrimanovic2009context,kappers2013haptic}. +These properties are described and rated\footnotemark using scales opposing two adjectives such as \enquote{rough/smooth} or \enquote{hot/cold}~\cite{okamoto2013psychophysical}. +\footnotetext{All the haptic perception measurements described in this chapter were performed by blindfolded participants, to control for the influence of vision.} \subsubsection{Roughness} \label{roughness} -La rugosité (ou la smoothness) est la perception de la \emph{micro-géométrie} d'une surface, \ie des aspérités à la surface avec des différences de hauteur de l'ordre du millimètre au micromètre~\cite{bergmanntiest2010tactual}. -C'est, par exemple, la perception de la fibre d'un tissu ou du bois et la texture du papier de verre ou d'une peinture. -La rugosité est donc ce qui caractérise principalement la perception de \emph{texture} de la surfaceq~\cite{hollins1993perceptual,baumgartner2013visual}. +Roughness (or smoothness) is the perception of the \emph{micro-geometry} of a surface, \ie asperities with differences in height on the order of millimeters to micrometers~\cite{bergmanntiest2010tactual}. +It is, for example, the perception of the fibers of fabric or wood and the texture of sandpaper or paint. +Roughness is what essentially characterises the perception of the \emph{texture} of the surface~\cite{hollins1993perceptual,baumgartner2013visual}. -En touchant la surface, ces aspérités déforment la peau et provoquent des pressions et, en passant le doigt sur la surface, les contacts avec les aspérités causent des vibrations également~\cite{bensmaia2005pacinian}. -Ainsi, si un toucher statique, où seul les indices de pression sont présent, permet de relativement bien percevoir la rugosité, c'est un mouvement latéral en toucher actif (voir \figref{exploratory_procedures}), intégrant les indices de vibrations, qui permet la meilleure précision. -En particulier, quand les aspérités sont plus petites que \qty{0.1}{mm}, par exemple comme les fibres du papier, les indices de pressions ne sont plus captés et seul le mouvement donc les vibrations permet de détecter la rugosité~\cite{hollins2000evidence}. -Cette limite distingue la \emph{macro-rugosité} de la \emph{micro-rugosité}. +When touching a surface in static touch, the asperities deform the skin and cause pressure sensations that allow a good perception of coarse roughness. +But when running the finger over the surface with a lateral movement (see \secref{exploratory_procedures}), vibrations are alos caused which give a better discrimination range and precision of roughness~\cite{bensmaia2005pacinian}. +In particular, when the asperities are smaller than \qty{0.1}{mm}, such as paper fibers, the pressure cues are no longer captured and only the movement, \ie the vibrations, can be used to detect the roughness~\cite{hollins2000evidence}. +This limit distinguishes \emph{macro-roughness} from \emph{micro-roughness}. Les caractéristiques physiques de la surface déterminent donc la perception haptique de la rugosité. La plus importante est la densité des éléments de la surface, \ie par l'\emph{espace entre les éléments}: L'intensité perçue (subjective) de rugosité augmente avec l'espacement, pour la macro-rugosité~\cite{klatzky2003feeling,lawrence2007haptic} et la micro-rugosité~\cite{bensmaia2003vibrations}. @@ -192,9 +193,7 @@ Cependant, la vitesse d'exploration affecte l'intensité perçue de la micro-rug Pour établir la relation entre espacement et intensité pour la macro-rugosité, des surfaces texturées ont été fabriquées: sous forme d'une grille linéaire (sur un axe) composée de rainures et de crêtes~\cite{lederman1972fingertip,lawrence2007haptic}, illustré \figref{lawrence2007haptic_1}, ou de surface composée d'éléments coniques sur deux axes~\cite{klatzky2003feeling}, illustré \figref{klatzky2003feeling_1}. Comme montré sur la \figref{lawrence2007haptic_2}, il y a une \emph{relation quadratique} du log de l'intensité perçue de la rugosité $R$ avec le log de l'espace entre les éléments $s$~\cite{klatzky2003feeling}: $log(R) = a \, log(s)^2 + b \, s + c$ où $a$, $b$ et $c$ sont des paramètres empiriques à estimer. -Un plus grand espace entre les éléments augmente la rugosité perçue, mais atteint un plateau à partir \qty{\sim 5}{\mm} pour la grille linéaire tandis que la rugosité diminue pour les éléments coniques à partir de \qty{\sim 2.5}{\mm}. - -Agrandir l'espace entre les éléments augmente ainsi très rapidement la rugosité perçue jusqu'à atteindre un plateau à partir \qty{\sim 5}{mm} pour la grille linéaire~\cite{lawrence2007haptic} tandis que la rugosité atteint très rapidement un pic vers {\sim 2.5}{mm} puis diminue lentement pour les éléments coniques~\cite{klatzky2003feeling}. +Un plus grand espace entre les éléments augmente la rugosité perçue, mais atteint un plateau à partir \qty{\sim 5}{\mm} pour la grille linéaire~\cite{lawrence2007haptic} tandis que la rugosité diminue pour les éléments coniques à partir de \qty{\sim 2.5}{\mm}~\cite{klatzky2003feeling}. \begin{subfigs}{lawrence2007hapti}{Estimation de la rugosité haptique d'une surface de grille linéaire par exploration active~\cite{lawrence2007haptic}. }[ \item Schéma d'une surface de grille linéaire, constituée de rainures et de crêtes. diff --git a/1-introduction/related-work/2-wearable-haptics.tex b/1-introduction/related-work/2-wearable-haptics.tex index c303b4e..f18f5b0 100644 --- a/1-introduction/related-work/2-wearable-haptics.tex +++ b/1-introduction/related-work/2-wearable-haptics.tex @@ -1,72 +1,84 @@ \section{Rendering Objects with Wearable Haptics} \label{wearable_haptics} -Un des rôles des systèmes haptiques est de recréer des interactions et sensations virtuelles \emph{similaires et comparables} à celles expérimentées par le sens du toucher avec des objets réels, en particulier dans des \v-\VE~\cite{maclean2008it,culbertson2018haptics}. +One of the roles of haptic systems is to render virtual interactions and sensations that are \emph{similar and comparable} to those experienced by the haptic sense with real objects, particularly in \v-\VE~\cite{maclean2008it,culbertson2018haptics}. \subsection{Level of Wearability} \label{wearability_level} -Différents types de dispositifs haptiques peuvent être portés sur la main, mais seule une partie d'entre eux peut être considérée comme \emph{wearable}. \textcite{pacchierotti2017wearable} les classent en trois niveaux de portabilité, comme illustré sur la \figref{pacchierotti2017wearable}, l'augmentation de la portabilité ayant pour conséquence la perte de la capacité de retour kinesthésique du système. +Different types of haptic devices can be worn on the hand, but only some of them can be considered \emph{wearable}. +\textcite{pacchierotti2017wearable} classify them into three levels of wearability, as illustrated in the \figref{pacchierotti2017wearable}. +An increasing \emph{wearability} resulting in the loss of the system's kinesthetic feedback capability. \begin{subfigs}{pacchierotti2017wearable}{ - Schematic wearability level of haptic devices for the hand. Adapted from \textcite{pacchierotti2017wearable}. + Schematic wearability level of haptic devices for the hand~\cite{pacchierotti2017wearable}. }[ \item World-grounded haptic devices are fixed on the environment to provide kinesthetic feedback to the user. \item Exoskeletons are body-grounded kinesthetic devices. \item Wearable haptic devices are grounded on the point of application of the tactile stimulus. ] - \subfigsheight{35mm} + \subfigsheight{38mm} \subfig{pacchierotti2017wearable_1} \subfig{pacchierotti2017wearable_2} \subfig{pacchierotti2017wearable_3} \end{subfigs} -La recherche en haptique est historiquement liée à la robotique et à la téléopération menant à la conception de systèmes haptique \emph{grounded}, \ie fixés à un support dans l'environment, comme une table (voir \figref{pacchierotti2017wearable_1}). -Ce sont des bras robotiques dont l'effecteur est porté par le doigt ou la main de l'utilisateur et qui simulent des interactions avec un \VE en fournissant des retours kinesthésiques de forces et de torques (voir \figref{pacchierotti2015cutaneous}). -Ils fournissent un retour haptique de haute fidélité mais sont lourds, encombrants et limités à petit espace de travail~\cite{culbertson2018haptics}. +Haptic research comes from robotics and teleoperation, and historically led to the design of haptic systems that are \emph{grounded} to an external support in the environment, such as a table (see \figref{pacchierotti2017wearable_1}). +These are robotic arms whose end-effector is either held in the hand or worn on a finger and which simulate interactions with a \VE by providing kinesthetic forces and torques feedback (see \figref{pacchierotti2015cutaneous}). +They provide high fidelity haptic feedback but are heavy, bulky and limited to small workspaces~\cite{culbertson2018haptics}. -Des dispositifs avec une conception plus portable ont donc été développés en rapprochant la partie mise à la terre sur le corps de l'utilisateur. -L'intégralité du système robotique est alors porté par l'utilisateur et forme un exosquelette également capable de fournir un retour kinesthésiques mais seulement aux doigts et non plus à la main entière, \eg in \figref{achibet2017flexifingers}. -Un effet indésirable de cette conception est que la force de réaction est alors également transmise à l'utilisateur à l'endroit du corps où le dispositif est grounded (voir \figref{pacchierotti2017wearable_2}). -Ils sont souvent lourds et encombrants, et ne peuvent pas être considérés comme wearable. +More portable designs have been developed by moving the grounded part to the user's body. +The entire robotic system is thus mounted on the user, forming an exoskeleton capable of providing kinesthetic feedback to the finger, \eg in \figref{achibet2017flexifingers}. +However, it cannot constrain the movements of the wrist and the reaction force is transmitted to the user where the device is grounded (see \figref{pacchierotti2017wearable_2}). +They are often heavy and bulky and cannot be considered wearable. -\textcite{pacchierotti2017wearable} définit que : \enquote{A wearable haptic interface should also be small, easy to carry, comfortable, and it should not impair the motion of the wearer}. -Une approche consiste donc à déplacer le point de mise à la terre très proche de l'effecteur (voir \figref{pacchierotti2017wearable_3}) : l'interface est restreinte à un retour haptique cutané mais sa conception est plus compacte, légère et confortable, \eg in \figref{leonardis20173rsr}. %, comme un casque audio Bluetooth peut être parfaitement suffisant par rapport à un système Hi-Fi complet bien plus onéreux et encombrant. -De plus, comme détaillé en \secref{object_properties}, les sensations cutanées sont nécessaires et souvent suffisantes pour la perception des propriétés haptiques d'un objet exploré avec la main. +\textcite{pacchierotti2017wearable} defined that : \enquote{A wearable haptic interface should also be small, easy to carry, comfortable, and it should not impair the motion of the wearer}. +An approach is then to move the grounding point very close to the end-effector (see \figref{pacchierotti2017wearable_3}): the interface is limited to cutaneous haptic feedback, but its design is more compact, lightweight and comfortable, \eg in \figref{leonardis20173rsr}, and the system is wearable. +Moreover, as detailed in \secref{object_properties}, cutaneous sensations are necessary and often sufficient for the perception of the haptic properties of an object explored with the hand, as also argued by \textcite{pacchierotti2017wearable}. \begin{subfigs}{grounded_to_wearable}{ - Examples of haptic devices for the hand with different levels of wearability. + Haptic devices for the hand with different wearability levels. }[ \item Teleoperation of a virtual cube grasped with the thumb and index fingers each attached to a grounded haptic device~\cite{pacchierotti2015cutaneous}. \item A passive exoskeleton for fingers simulating stiffness of a trumpet's pistons~\cite{achibet2017flexifingers}. \item Manipulation of a virtual cube with the thumb and index fingers each attached with the 3-RSR wearable haptic device~\cite{leonardis20173rsr}. ] - \subfig[.32]{pacchierotti2015cutaneous} - \subfig[.32]{achibet2017flexifingers} - \subfig[.32]{leonardis20173rsr} + \subfigsheight{38mm} + \subfig{pacchierotti2015cutaneous} + \subfig{achibet2017flexifingers} + \subfig{leonardis20173rsr} \end{subfigs} % Tradeoff realistic and cost + analogy with sound, Hi-Fi costs a lot and is realistic, but 40$ BT headphone is more practical and enough, as cutaneous feedback without kinesthesic could be enough for wearable haptics and far more affordable and comfortable than world- or body-grounded haptics + cutaneous even better than kine for rendering surface curvature and fine manipulation -Le rendu d'un dispositif haptique est déterminé par la nature des actuateurs employés, qui font interfaces entre le système haptique et la peau de l'utilisateur, et les types de stimulis qu'ils peuvent générer. Plusieurs types d'actuateurs sont souvent combinés pour obtenir des retours haptiques plus riches. - \subsection{Wearable Haptic Devices for the Hand} \label{wearable_haptic_devices} -Nous présentons d'abord un survol des dispositifs haptiques portables pour la main, suivant les catégories de \textcite{pacchierotti2017wearable}, car les caractéristiques et mécanismes de l'effecteur respectif conditionnent les retours haptiques qu'un dispositif peut fournir. - +We present an overview of wearable haptic devices for the hand, following the categories of \textcite{pacchierotti2017wearable}. +The rendering of a haptic device is indeed determined by the nature of the actuators employed, which form the interface between the haptic system and the user's skin, and therefore the types of mechanical stimuli they can generate. +Several actuators are often combined in a haptic device to obtain richer haptic feedback. \subsubsection{Moving Platforms} \label{normal_actuators} -Les plateformes mobiles se déplacent perpendiculairement sur la peau pour générer des sensations de contact, de pression et de bords~\cite{pacchierotti2017wearable}. -Placées sous le bout des doigts, elles peuvent venir au contact de la peau avec différentes forces, vitesses et orientations. -La plateforme est déplacée via des câbles, \eg in \figref{gabardi2016new}, ou des bras articulés, -\eg in \figref{perez2017optimizationbased}, qui sont activés par des moteurs grounded sur l'ongle~\cite{gabardi2016new,perez2017optimizationbased}. -Les moteurs allongent et raccourcissent les câbles ou orientent les bras pour déplacer la plateforme sur 3 \DoFs : deux pour l'orientation et un pour la force normale par rapport au doigt. -Cependant, les plateformes sont spécifiquement conçues donner un retour haptique pour le bout du doigt dans des \VE et empêchent donc d'interagir avec un \RE. +The moving platforms translate perpendicularly on the skin to create sensations of contact, pressure and edges~\cite{pacchierotti2017wearable}. +Placed under the fingertips, they can come into contact with the skin with different forces, speeds and orientations. +The platform is moved by means of cables, \eg in \figref{gabardi2016new}, or articulated arms, \eg in \figref{perez2017optimizationbased}, activated by motors grounded to the nail~\cite{gabardi2016new,perez2017optimizationbased}. +The motors lengthen and shorten the cables or orient the arms to move the platform over 3 \DoFs: two for orientation and one for normal force relative to the finger. +However, these platforms are specifically designed to provide haptic feedback to the fingertip in \VEs, preventing interaction with a \RE. + +\subsubsection{Pin and Pneumatic Arrays} +\label{array_actuators} + +A pin-array is a surface made up of small, rigid pins arranged very close together in a grid and that can be moved individually. +When placed in contact with the fingertip, it can create sensations of edge, pressure and texture. +The \figref{sarakoglou2012high} shows an example of a pin-array consisting of \numproduct{4 x 4} pins of \qty{1.5}{\mm} diameter and \qty{2}{\mm} height, spaced at \qty{2}{\mm}~\cite{sarakoglou2012high}. +Pneumatic systems use a fluid such as air or water to inflate membranes under the skin, creating sensations of contact and pressure~\cite{raza2024pneumatically}. +Multiple membranes are often used in a grid to simulate edges and textures, as in the \figref{ujitoko2020development}~\cite{ujitoko2020development}. +Although these two types of effector can be considered wearable, their actuation requires a high level of mechanical and electronic complexity that makes the system as a whole not portable. + \begin{subfigs}{normal_actuators}{ Normal indentation actuators for the fingertip. @@ -76,21 +88,13 @@ Cependant, les plateformes sont spécifiquement conçues donner un retour haptiq \item Diagram of a pin-array of tactors~\cite{sarakoglou2012high}. \item A pneumatic system composed of a \numproduct{12 x 10} array of air cylinders~\cite{ujitoko2020development}. ] - \subfigsheight{35mm} + \subfigsheight{37mm} \subfig{gabardi2016new} \subfig{perez2017optimizationbased} \subfig{sarakoglou2012high} \subfig{ujitoko2020development} \end{subfigs} -\subsubsection{Pin and Pneumatic Arrays} -\label{array_actuators} - -Un pin-array est une surface composée de plusieurs petits pions rigides placés très proches sous forme de grille et qui peuvent être déplacés individuellement. Placée en contact avec le bout du doigt, elle peut générer des sensations de bord, de pression et de textures. -La \figref{sarakoglou2012high} montre un exemple de pin-array composé de \numproduct{4 x 4} tactors de \qty{1.5}{\mm} de diamètre et de \qty{2}{\mm} de hauteur, espacés de \qty{2}{\mm}~\cite{sarakoglou2012high}. -Les systèmes pneumatiques utilisent un fluide comme de l'air ou de l'eau pour venir gonfler des membranes sous la peau, générant des sensations de contact et de pression. Plusieurs membranes sont souvent utilisées sous forme de grille pour simuler des bords et des textures comme sur la \figref{ujitoko2020development}~\cite{ujitoko2020development}. -Même si ces deux types d'effecteurs peuvent être considérés comme wearable, leur actuation nécessite une grande complexité mécanique et électronique qui rend le système dans son ensemble peu portable. - \subsubsection{Tangential Motion Actuators} \label{tangential_actuators} @@ -113,7 +117,7 @@ La simplicité de cette approche permet de placer la ceinture ailleurs sur la ma \item The hRing, a shearing belt actuator for the proximal phalanx of the finger~\cite{pacchierotti2016hring}. \item Tasbi, a wristband capable of pressure and vibrotactile feedback~\cite{pezent2019tasbi}. ] - \subfigsheight{34mm} + \subfigsheight{33.5mm} \subfig{leonardis2015wearable} \subfig{schorr2017fingertip} \subfig{pacchierotti2016hring} @@ -135,9 +139,10 @@ Several types of vibrotactile actuators are used in haptics, with different trad \item Piezoelectric actuators deform a solid material when a voltage is applied. They are very small and thin, and allow two \DoFs of amplitude and frequency control. However, they require high voltages to operate thus limiting their use in wearable devices. \end{itemize} + \begin{subfigs}{vibrotactile_actuators}{Diagrams of vibrotactile acuators. }[ \item Diagram of a cylindrical encapsulated \ERM. From Precision Microdrives.~\footnotemark - \item Diagram of a \LRA. From Precision Microdrives.~\footnotemark[2] + \item Diagram of a \LRA. From Precision Microdrives.~\footnotemarkrepeat ] \subfigsheight{50mm} \subfig{precisionmicrodrives_erm} @@ -147,7 +152,7 @@ Several types of vibrotactile actuators are used in haptics, with different trad \footnotetext{\url{https://www.precisionmicrodrives.com/}} \begin{subfigs}{vibrotactile_performances}{Performances of vibrotactile acuators. }[ - \item Amplitude and frequency output of an \ERM as a function of the input voltage. From Precision Microdrives.~\footnotemark[2] + \item Amplitude and frequency output of an \ERM as a function of the input voltage. From Precision Microdrives.~\footnotemarkrepeat \item Force generated by two \LRAs as a function of sine wave input with different frequencies: both their maximum force and frequency are different~\cite{azadi2014vibrotactile}. ] \subfig[.58]{precisionmicrodrives_erm_performances} @@ -165,7 +170,9 @@ En particulier, nous nous intéressons aux actuateurs portables stimulant les m %, unlike most previous actuators that are designed specifically for fingertips and would require mechanical adaptation to be placed on other parts of the hand. %thanks to the vibration propagation and the sensory capabilities distributed throughout the skin, they can be placed without adaption and on any part of the hand -\subsubsection{Contact \& Hardness} +\subsubsection{Contact} + +\subsubsection{Hardness} \label{contact_rendering} \subsubsection{Texture} diff --git a/references.bib b/references.bib index 93f07db..4286e63 100644 --- a/references.bib +++ b/references.bib @@ -2773,3 +2773,25 @@ pages = {93--103}, doi = {10/b7rbf7} } + +@article{stevens2002putting, + title = {Putting the {{Virtual}} into {{Reality}}: {{Assessing Object-Presence}} with {{Projection-Augmented Models}}}, + shorttitle = {Putting the {{Virtual}} into {{Reality}}}, + author = {Stevens, Brett and Jerrams-Smith, Jennifer and Heathcote, David and Callear, David}, + date = {2002}, + journaltitle = {Presence Teleoperators Virtual Environ.}, + volume = {11}, + number = {1}, + pages = {79--92}, + doi = {10/ddzk4b} +} + +@article{raza2024pneumatically, + title = {Pneumatically {{Controlled Wearable Tactile Actuator}} for {{Multi-Modal Haptic Feedback}}}, + author = {Raza, Ahsan and Hassan, Waseem and Jeon, Seokhee}, + date = {2024}, + journaltitle = {IEEE Access}, + volume = {12}, + pages = {59485--59499}, + doi = {10/gvddck} +}