Empirical grasping analysis for prosthetic hands

Die Entwicklung von Handprothesen schreitet immer weiter voran, dabei werden viele verschiedene Ansätze verfolgt und es gibt sehr unterschiedliche Einsatzgebiete für Handprothesen. Aus diesem Grund wird ein einheitlicher Bewertungsansatz benötigt, der eine quantitative Aussage zur Bewertung einer Handprothese liefert. Dabei soll eine Vielzahl von externen Einflüssen und Kriterien berücksichtigt werden und auf eine einheitliche und überschaubare Menge beschränkt werden.

Um unterschiedliche Handprothesen unter gleichen Bedingungen bewerten zu können, wird ein passendes Testverfahren benötigt, sowie ein Testprotokoll und Bewertungsverfahren. Dieses muss stark genug eingegrenzt sein, um mögliche subjektiven Einflüsse zu vermeiden aber dennoch generisch genug sein um unterschiedliche Handtypen zu berücksichtigen.

Handprothesen können in drei verschiedene Arten unterteilt werden: Zum einen gibt es cosmetic hands. Der Hauptzweck dieser Handprothesenart ist ein realistisches Aussehen. Zum anderen existieren body powered hands, die an einem Menschen angebracht sind und von diesem geführt werden. Des Weiteren gibt es myoelektrische Hände: “Myoelektrisch” ist die Bezeichnung für die elektrischen Eigenschaften von Muskeln. Eine myoelektrisch gesteuerte Prothese ist eine extern angetriebene Prothese, die mit elektrischen Signalen gesteuert wird. Diese Signale von den Muskeln des Prothesenträgers erzeugt [4]. Die von uns evaluierte Handprothese ist eine myoelektrische Prothese.

Die Hardware der zu evaluierenden Handprothese besteht aus mehreren Komponenten, die im Folgenden beschrieben werden. Die Finger der Handprothese können unabhängig vom Daumen angesteuert werden. Beide Komponenten werden mittels Motoren und einem Seilsystem im Handinnern aktuiert. Die Finger der Prothese sind flexibel gestaltet. Das bedeutet, dass bei einem auftretenden Widerstand, beispielsweise beim Schließen der Hand, die blockierten Finger sich nicht weiter schließen, sondern in ihrer Position verbleiben. Zudem befindet sich auf der Innenseite der Handfläche eine Kamera. Das Kamerabild wird auf einem Display auf der Handaußenfläche gezeigt. Dieses dient dazu eine Bilderkennung von zu greifenden Objekten zu ermöglichen und so automatisiert einen möglichen Griff zu wählen und auszuführen. Diese Funktionalität wird bei der Evaluierung der Handprothese mithilfe des entwickelten Testprotokolls nicht berücksichtigt.

Es gibt zwei Möglichkeiten, die Handprothese zu steuern: Zum einem über eine kleine Steuereinheit mit Knöpfen direkt an der Handprothese, als auch über eine Smartphone App. Die Steuereinheit besteht aus 3 Knöpfen mit denen einzeln die Finger oder der Daumen geschlossen werden können. Ein dritter Knopf bringt die Hand wieder zurück in ihre initiale Pose mit geöffneten Fingern und Daumen. Zur Steuerung der Handprothese via Smartphone kommt die App “Adafruit Bluefruit LE Connect” der Firma Adafruit Industries zum Einsatz. Hierbei kann eine Verbindung mit der Hand per Bluetooth hergestellt werden und Befehle übermittelt werden. Während der Ausführung des definierten Testprotokolls kommt lediglich die Steuereinheit zum Einsatz.

Im folgenden Video ist eine Ansteuerung der Hand zu sehen.

Um das Protokoll zu erstellen, musste eine Menge von Objekten ausgewählt werden. Da das Yale-CMU-Berkley (YCB) Object and Model Set (siehe [1]) in der Robotik Community weit verbreitet ist, haben wir uns dazu entschlossen die Objekte aus diesem Object Set auszuwählen. Aktuell besteht das Object Set aus 77 verschiedenen Objekten (http://www.ycbbenchmarks.com/object-set/).

Angelehnt an die Untersuchung [5], welche sich mit typischen Grasp Types bei der Ausführung von Activities of Daily Living (ADL) beschäftigt, wurden acht Objekte aus dem YCB Object Set gewählt (Master Chef Coffee Can, Apple, Spoon, Bowl, Skillet, Small Marker, Black Shirt, Skillet Lid). Diese Objekte können jeweils einem typischen Grasp Type zugeordnet werden. Außerdem werden die Objekte im Alltag benötigt und können somit den ADL's zugeordnet werden. Mit den gewählten Objekten werden die folgenden ADL's abgedeckt:

Die folgende Abbildung zeigt die gewählten Objekte in Zusammenhang mit den dafür gewählten Grasp Types:

Das entwickelte Testprotokoll besteht aus zwei Abschnitten. Zum einen gibt es einen Abschnitt, der zur Dokumentation des gesamten Experiments dient. Daneben existiert ein während des Experiments auszufüllender Scoring Abschnitt. Zur Dokumentation wird eine Beschreibung der ausgewählten Objekte zur Durchführung des Experiments gegeben. Hierbei ist eine Reihe von Objekten vorgegeben mit ihren jeweiligen initialen Posen und einer Beschreibung der Umgebung. Daneben werden sowohl das ausführende Subjekt als auch die zu testende Handprothese beschrieben. Es sind die Art der Handprothese, deren Ausgangszustand und im Voraus der Handprothese bekannte Informationen zu erläutern. Dieser Aufbau des Protokolls ist inspiriert durch die Arbeit Benchmarking in Manipulation Research: The YCB Object and Model Set and Benchmarking Protocols. Das entwickelte Testprotokoll beschreibt ein durchzuführendes Experiment, um Greiffähigkeit der Prothese und Stabilität der unterschiedlichen Griffe zu evaluieren. Dabei ist der folgende Ablauf vorgegeben: Das entsprechende Objekt wird aus der vorgegebenen Startposition heraus hochgehoben und muss fünf Sekunden gehalten werden. Im Anschluss wird das gegriffene Objekt um 180° gedreht, um die Stabilität des Griffs zu prüfen. Abschließend folgt das kontrollierte Ablegen des Gegenstandes in die Ausgangsposition. Um das oben beschriebene Experiment bewerten zu können, wird ein Scoring-System eingeführt. Hierbei werden Punkte vergeben für jede erfolgreich durchgeführte Teilaufgabe und die Erfüllung der gesamten Aufgabe. Zusätzlich werden Punkte für eine fehlerhafte Durchführung abgezogen. Dieses Bewertungssystem wurde inspiriert von der Amazon Picking Challenge [3] und Benchmarking in Manipulation Research: The YCB Object and Model Set and Benchmarking Protocols [1] (siehe hierzu auch [2]). Insgesamt sind maximal 10 Versuche erlaubt. Beim ersten erfolgreichen Durchlauf der Gesamtaufgabe wird abgebrochen. Die Punkte werden wie folgt vergeben:

Das Ergebnis dieses Scorings zeigt an, ob der Griff des entsprechenden Objekts erfolgreich war. Des Weiteren kann eine Aussage über die Stabilität des durchgeführten Griffs getroffen werden. Maximal können so 16 Punkte für jedes zu testende Objekt erreicht werden. Dies ist nur zu erreichen, wenn das Objekt beim ersten Versuch erfolgreich gegriffen, gehalten, gedreht und kontrolliert abgesetzt wurde. Entsprechend diesem Scoring sind Minuspunkte möglich, wenn beispielsweise die Gesamtaufgabe nicht erfolgreich ausgeführt werden konnte.

Anhand der ausgefüllten Dokumentation des Testprotokolls, dem Ausführen des Experiments und dem Bewertungsbogen, kann ein Score pro Griff/ Objekt sowie ein Gesamtscore errechnet werden. Anhand diesem lassen sich unterschiedliche Hände unter ähnlichen Bedingungen quantitativ bewerten. Zudem kann aus diesem Score die Fähigkeit einer Handprothese einen bestimmten Griff auszuführen abgeleitet werden.

grasping_protocol_.pdf

Anhand des ausgefüllten Bewertungsbogens kann eine Beurteilung der getesteten Handprothese vorgenommen werden. Insgesamt konnte die evaluierte Handprothese einen Score von 10,875 von 16 möglichen Punkten erreichen. Dies kann als gutes Ergebnis angesehen werden und entspricht den gemachten Erfahrungen bei der Durchführung des Experiments. Zudem kann anhand der obenstehenden Tabelle ein Eindruck erlangt werden, welche Aufgaben und Objekte mit der Handprothese gut durchzuführen sind. Beispielsweise kann ein Apfel mit einem Spherical Grip sehr gut gegriffen werden. Dies ist erkennbar an der Bewertung des Objekts mit ID 2 und einem Scoring von 16 maximal möglichen Punkten. Daneben ist auch Objekt ID 8 optimal mit der getesteten Handprothese zu greifen. Dieses Objekt wird dabei mit einem Hook-Griff gegriffen.

Des Weiteren ist in der Tabelle deutlich zu erkennen, welche Griffe nicht optimal mit der Handprothese auszuführen sind. Dies betrifft vor allem präzise Griffe wie beispielsweise Objekt ID 3, der Löffel. Dieser soll mit einem Tripod Pinch gegriffen werden. Hier wurde ein Score von 0 Punkten erreicht. Daran lässt sich erkennen, dass die Gesamtaufgabe zwar erfolgreich ausgeführt werden konnte, allerdings einige Versuche dazu benötigt wurden. Ein weiteres Handlungsfeld ergibt sich aus den Objekten der IDs 6 und 7. ID 6, der kleine Stift, konnte einen Score von 11 Punkten erreichen. Hieraus lässt sich ableiten, dass die Aufgabe erfolgreich ausgeführt wurde, allerdings wieder einige Versuche dafür benötigt wurden. Daneben konnte bei Objekt ID 7, dem schwarzen T-Shirt, ein Score von 7 Punkten erreicht werden. Es wurden für den Griff des T-Shirts vier Versuche benötigt, wobei das T-Shirt ein Mal fallen gelassen wurde und einmal entfaltet wurde. Das Entfalten des T-Shirts wird als Beschädigung gewertet, da dieses seinen initialen Zustand und Form verändert hat. Beim Vergleich der beiden Objekte ist zu erkennen, dass die Beschädigung von Objekten oder das Fallenlassen stärker im Score berücksichtigt werden als die Anzahl der Versuche.

scoring28062018.pdf

In der vorliegenden Arbeit wurde ein Testprotokoll entworfen, um Handprothesen zu evaluieren und in einem weiteren Schritt vergleichen zu können. Dafür wurde ein Scoring-System in Anlehnung an die Amazon Picking Challenge [3] entwickelt. Dieses lässt direkte Rückschlüsse auf mögliche Handlungsfelder bei der Weiterentwicklung der zu evaluierenden Handprothese zu. Zur Ausführung des Experiments wurde aus dem YCB Object Set ein Subset entsprechend zuvor ausgewählter Grasp Types bestimmt.

Das auf diese Weise entwickelte Testprotokoll wurde im Anschluss an einer Handprothese ausgeführt und die Ergebnisse bewertet (siehe hierzu Kapitel: Auswertung des Testprotokolls).

Um subjektive Entscheidungen zu vermeiden, musste überlegt werden, wie weitreichend die Vorgaben an die Umgebung und ähnlichem sein müssen. Allerdings musste auch gewährleistet werden, dass diese Vorgaben nicht zu extrem sind, um sicherstellen zu können, dass dieses Experiment wiederholt werden kann. Mittels der Bilder für die intendierten Griffe, einer minimalen Beschreibung wie das Objekt in der Umwelt vorzufinden ist, sowie in manchen Fällen eine Beschreibung, wann ein Objekt als zerstört gilt (beispielsweise für das T-Shirt), wurde ein guter Konsens gefunden.

1. Berk Calli, Aaron Walsman, Arjun Singh, Siddhartha Srinivasa,Pieter Abbeel,Aaron M. Dollar(2015): Benchmarking in Manipulation Research: The YCB Object and Model Set and Benchmarking Protocols.
2. Immaculada Llop-Harillo & Antonio Pérez-González (2017): System for the experimental evaluation of anthropomorphic hands. Application to a new 3D-printed prosthetic hand prototype, International Biomechanics, 4:2, 50-59, https://doi.org/10.1080/23335432.2017.1364666
3. Nikolaus Correll, Kostas E. Bekris, Dmitry Berenson, Oliver Brock, Albert Causo, Kris Hauser, Kei Okada, Alberto Rodriguez, Joseph M. Romano, Peter R. Wurman (2016): Lessons from the Amazon Picking Challenge. http://arxiv.org/abs/1601.05484
4. ottobock., Myoelectric prosthetics hands, https://www.ottobock.co.uk/prosthetics/info_for_new_amputees/prosthetic-technology-explained/function___action/, date accessed: June 22, 2018
5. Vergara M, Sancho-Bru JL, Gracia-Ibáñez V, Pérez-González A (2014), An introductory study of common grasps used by adults during performance of activities of daily living, https://doi.org/10.1016/j.jht.2014.04.002

Hier befinden sich alle erstellen Dokumente in einem Zip-Archiv.

grasping_protocol_and_scoring.zip