Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
m3_seminar:m3_seminar_2018:projects_kit:empirical_grasping_2018 [2018/07/23 14:33] – [Einleitung] stud_kitm3_seminar:m3_seminar_2018:projects_kit:empirical_grasping_2018 [2018/07/24 01:26] (current) – [Ausführung des Testprotokolls] stud_kit
Line 9: Line 9:
 ===== Einleitung ===== ===== Einleitung =====
  
-Die Entwicklung von Handprothesen schreitet immer weiter voran, da viele verschiedene Ansätze verfolgt werden und es sehr unterschiedliche Einsatzgebiete für Handprothesen gibt+Die Entwicklung von Handprothesen schreitet immer weiter voran, dabei werden viele verschiedene Ansätze verfolgt und es gibt sehr unterschiedliche Einsatzgebiete für Handprothesen. 
 Aus diesem Grund wird ein einheitlicher Bewertungsansatz benötigt, der eine quantitative Aussage zur Bewertung einer Handprothese liefert. Dabei soll eine Vielzahl von externen Einflüssen und Kriterien berücksichtigt werden und auf eine einheitliche und überschaubare Menge beschränkt werden.  Aus diesem Grund wird ein einheitlicher Bewertungsansatz benötigt, der eine quantitative Aussage zur Bewertung einer Handprothese liefert. Dabei soll eine Vielzahl von externen Einflüssen und Kriterien berücksichtigt werden und auf eine einheitliche und überschaubare Menge beschränkt werden. 
  
Line 18: Line 18:
 Die von uns evaluierte Handprothese ist eine myoelektrische Prothese. Die von uns evaluierte Handprothese ist eine myoelektrische Prothese.
 ===== Evaluierte Handprothese ===== ===== Evaluierte Handprothese =====
-Die Hardware der zu evaluierenden Handprothese besteht aus mehreren Komponenten, die im folgenden beschrieben werden. +Die Hardware der zu evaluierenden Handprothese besteht aus mehreren Komponenten, die im Folgenden beschrieben werden. 
 Die Finger der Handprothese können unabhängig vom Daumen angesteuert werden. Beide Komponenten werden mittels Motoren und einem Seilsystem im Handinnern aktuiert. Die Finger der Prothese sind flexibel gestaltet. Das bedeutet, dass bei einem auftretenden Widerstand, beispielsweise beim Schließen der Hand, die blockierten Finger sich nicht weiter schließen, sondern in ihrer Position verbleiben.  Die Finger der Handprothese können unabhängig vom Daumen angesteuert werden. Beide Komponenten werden mittels Motoren und einem Seilsystem im Handinnern aktuiert. Die Finger der Prothese sind flexibel gestaltet. Das bedeutet, dass bei einem auftretenden Widerstand, beispielsweise beim Schließen der Hand, die blockierten Finger sich nicht weiter schließen, sondern in ihrer Position verbleiben. 
 Zudem befindet sich auf der Innenseite der Handfläche eine Kamera. Das Kamerabild wird auf einem Display auf der Handaußenfläche gezeigt. Dieses dient dazu eine Bilderkennung von zu greifenden Objekten zu ermöglichen und so automatisiert einen möglichen Griff zu wählen und auszuführen. Diese Funktionalität wird bei der Evaluierung der Handprothese mithilfe des entwickelten Testprotokolls nicht berücksichtigt.  Zudem befindet sich auf der Innenseite der Handfläche eine Kamera. Das Kamerabild wird auf einem Display auf der Handaußenfläche gezeigt. Dieses dient dazu eine Bilderkennung von zu greifenden Objekten zu ermöglichen und so automatisiert einen möglichen Griff zu wählen und auszuführen. Diese Funktionalität wird bei der Evaluierung der Handprothese mithilfe des entwickelten Testprotokolls nicht berücksichtigt. 
Line 24: Line 24:
 Es gibt zwei Möglichkeiten, die Handprothese zu steuern: Zum einem über eine kleine Steuereinheit mit Knöpfen direkt an der Handprothese, als auch über eine Smartphone App.  Es gibt zwei Möglichkeiten, die Handprothese zu steuern: Zum einem über eine kleine Steuereinheit mit Knöpfen direkt an der Handprothese, als auch über eine Smartphone App. 
 Die Steuereinheit besteht aus 3 Knöpfen mit denen einzeln die Finger oder der Daumen geschlossen werden können. Ein dritter Knopf bringt die Hand wieder zurück in ihre initiale Pose mit geöffneten Fingern und Daumen. Die Steuereinheit besteht aus 3 Knöpfen mit denen einzeln die Finger oder der Daumen geschlossen werden können. Ein dritter Knopf bringt die Hand wieder zurück in ihre initiale Pose mit geöffneten Fingern und Daumen.
-Zur Steuerung der Handprothese via Smartphone kommt die App Adafruit Bluefruit LE Connect’’ der Firma Adafruit Industries zum Einsatz. Hierbei kann eine Verbindung mit der Hand per Bluetooth hergestellt werden und Befehle übermittelt werden. +Zur Steuerung der Handprothese via Smartphone kommt die App "Adafruit Bluefruit LE Connectder Firma Adafruit Industries zum Einsatz. Hierbei kann eine Verbindung mit der Hand per Bluetooth hergestellt werden und Befehle übermittelt werden. 
 Während der Ausführung des definierten Testprotokolls kommt lediglich die Steuereinheit zum Einsatz.  Während der Ausführung des definierten Testprotokolls kommt lediglich die Steuereinheit zum Einsatz. 
  
 Im folgenden Video ist eine Ansteuerung der Hand zu sehen. Im folgenden Video ist eine Ansteuerung der Hand zu sehen.
-{{ :m3_seminar:m3_seminar_2018:projects_kit:expertise_hand.mp4 |}}+ 
 +{{ :m3_seminar:m3_seminar_2018:projects_kit:expertise_hand.mp4?600 |}}
 ===== Gewähltes Object Set ===== ===== Gewähltes Object Set =====
-Um das Protokoll zu erstellen, musste eine Menge von Objekten ausgewählt werden. Da das Yale-CMU-Berkley (YCB) Object and Model Set in der Robotik Community weit verbreitet ist, haben wir uns dazu entschlossen die Objekte aus diesem Object Set auszuwählen. Aktuell besteht das Object Set aus 77 verschiedenen Objekten (http://www.ycbbenchmarks.com/object-set/). +Um das Protokoll zu erstellen, musste eine Menge von Objekten ausgewählt werden. Da das Yale-CMU-Berkley (YCB) Object and Model Set (siehe [1]) in der Robotik Community weit verbreitet ist, haben wir uns dazu entschlossen die Objekte aus diesem Object Set auszuwählen. Aktuell besteht das Object Set aus 77 verschiedenen Objekten (http://www.ycbbenchmarks.com/object-set/). 
  
-Angelehnt an die Untersuchung [5], welche sich mit typischen Grasp Types bei der Ausführung von Activities of Daily Living (ADL) beschäftigt, wurden acht Objekte aus dem YCB Object Set gewählt (Master Chef Coffee Can, Apple, Spoon, Bowl, Skillet, Small Marker, Black Tshirt, Skillet Lid). Diese Objekte können jeweils einem typischen Grasp Type zugeordnet werden. Außerdem werden die Objekte im Alltag benötigt und können somit den ADL's zugeordnet werden. Mit den gewählten Objekten werden die folgenden ADL's abgedeckt:+Angelehnt an die Untersuchung [5], welche sich mit typischen Grasp Types bei der Ausführung von Activities of Daily Living (ADL) beschäftigt, wurden acht Objekte aus dem YCB Object Set gewählt (Master Chef Coffee Can, Apple, Spoon, Bowl, Skillet, Small Marker, Black Shirt, Skillet Lid). Diese Objekte können jeweils einem typischen Grasp Type zugeordnet werden. Außerdem werden die Objekte im Alltag benötigt und können somit den ADL's zugeordnet werden. Mit den gewählten Objekten werden die folgenden ADL's abgedeckt:
 ^ Nahrung zubereiten     ^ Sich kleiden    ^ Essen              ^ Kommunizieren ^ ^ Nahrung zubereiten     ^ Sich kleiden    ^ Essen              ^ Kommunizieren ^
-| Skillet                | Black Tshirt    | Apple              | Small Marker  |+| Skillet                | Black Shirt     | Apple              | Small Marker  |
 | Skillet Lid            |                 | Spoon              |               | | Skillet Lid            |                 | Spoon              |               |
 | Master Chef Coffee Can |                 | Bowl                             | | Master Chef Coffee Can |                 | Bowl                             |
Line 47: Line 48:
 Das entwickelte Testprotokoll beschreibt ein durchzuführendes Experiment, um Greiffähigkeit der Prothese und Stabilität der unterschiedlichen Griffe zu evaluieren.  Das entwickelte Testprotokoll beschreibt ein durchzuführendes Experiment, um Greiffähigkeit der Prothese und Stabilität der unterschiedlichen Griffe zu evaluieren. 
 Dabei ist der folgende Ablauf vorgegeben: Das entsprechende Objekt wird aus der vorgegebenen Startposition heraus hochgehoben und muss fünf Sekunden gehalten werden. Im Anschluss wird das gegriffene Objekt um 180° gedreht, um die Stabilität des Griffs zu prüfen. Abschließend folgt das kontrollierte Ablegen des Gegenstandes in die Ausgangsposition.  Dabei ist der folgende Ablauf vorgegeben: Das entsprechende Objekt wird aus der vorgegebenen Startposition heraus hochgehoben und muss fünf Sekunden gehalten werden. Im Anschluss wird das gegriffene Objekt um 180° gedreht, um die Stabilität des Griffs zu prüfen. Abschließend folgt das kontrollierte Ablegen des Gegenstandes in die Ausgangsposition. 
-Um das oben beschriebene Experiment bewerten zu können, wird ein Scoring-System eingeführt. Hierbei werden Punkte vergeben für jede erfolgreich durchgeführte Teilaufgabe und die Erfüllung der gesamten Aufgabe. Zusätzlich werden Punkte für eine fehlerhafte Durchführung abgezogen. Dieses Bewertungssystem wurde inspiriert von der Amazon Picking Challenge [3] und Benchmarking in Manipulation Research: The YCB Object and Model Set and Benchmarking Protocols [1]. +Um das oben beschriebene Experiment bewerten zu können, wird ein Scoring-System eingeführt. Hierbei werden Punkte vergeben für jede erfolgreich durchgeführte Teilaufgabe und die Erfüllung der gesamten Aufgabe. Zusätzlich werden Punkte für eine fehlerhafte Durchführung abgezogen. Dieses Bewertungssystem wurde inspiriert von der Amazon Picking Challenge [3] und Benchmarking in Manipulation Research: The YCB Object and Model Set and Benchmarking Protocols [1] (siehe hierzu auch [2])
 Insgesamt sind maximal 10 Versuche erlaubt. Beim ersten erfolgreichen Durchlauf der Gesamtaufgabe wird abgebrochen.  Insgesamt sind maximal 10 Versuche erlaubt. Beim ersten erfolgreichen Durchlauf der Gesamtaufgabe wird abgebrochen. 
 Die Punkte werden wie folgt vergeben:  Die Punkte werden wie folgt vergeben: 
Line 67: Line 68:
 ===== Ausführung des Testprotokolls ===== ===== Ausführung des Testprotokolls =====
  
-{{ :m3_seminar:m3_seminar_2018:projects_kit:podcast1.mp4 |}}+{{ :m3_seminar:m3_seminar_2018:projects_kit:podcast5.mp4?600 |}}
  
 ===== Auswertung des Testprotokolls ===== ===== Auswertung des Testprotokolls =====
Line 77: Line 78:
 | Skillet                   | 12/16           | | Skillet                   | 12/16           |
 | Small Marker              | 11/16           | | Small Marker              | 11/16           |
-| Black Tshirt              | 7/16            |+| Black Shirt               | 7/16            |
 | Skillet Lid               | 16/16           | | Skillet Lid               | 16/16           |
 ^ Sum/Amount                | 10,875/16       | ^ Sum/Amount                | 10,875/16       |
Line 83: Line 84:
 Anhand des ausgefüllten Bewertungsbogens kann eine Beurteilung der getesteten Handprothese vorgenommen werden.  Anhand des ausgefüllten Bewertungsbogens kann eine Beurteilung der getesteten Handprothese vorgenommen werden. 
 Insgesamt konnte die evaluierte Handprothese einen Score von 10,875 von 16 möglichen Punkten erreichen. Dies kann als gutes Ergebnis angesehen werden und entspricht den gemachten Erfahrungen bei der Durchführung des Experiments.  Insgesamt konnte die evaluierte Handprothese einen Score von 10,875 von 16 möglichen Punkten erreichen. Dies kann als gutes Ergebnis angesehen werden und entspricht den gemachten Erfahrungen bei der Durchführung des Experiments. 
-Zudem kann anhand der in Abbildung ?? zu sehenden Tabelle ein Eindruck erlangt werden, welche Aufgaben und Objekte mit der Handprothese gut durchzuführen sind. +Zudem kann anhand der obenstehenden Tabelle ein Eindruck erlangt werden, welche Aufgaben und Objekte mit der Handprothese gut durchzuführen sind. 
 Beispielsweise kann ein Apfel mit einem Spherical Grip sehr gut gegriffen werden. Dies ist erkennbar an der Bewertung des Objekts mit ID 2 und einem Scoring von 16 maximal möglichen Punkten. Daneben ist auch Objekt ID 8 optimal mit der getesteten Handprothese zu greifen. Dieses Objekt wird dabei mit einem Hook-Griff gegriffen.  Beispielsweise kann ein Apfel mit einem Spherical Grip sehr gut gegriffen werden. Dies ist erkennbar an der Bewertung des Objekts mit ID 2 und einem Scoring von 16 maximal möglichen Punkten. Daneben ist auch Objekt ID 8 optimal mit der getesteten Handprothese zu greifen. Dieses Objekt wird dabei mit einem Hook-Griff gegriffen. 
  
 Des Weiteren ist in der Tabelle deutlich zu erkennen, welche Griffe nicht optimal mit der Handprothese auszuführen sind. Dies betrifft vor allem präzise Griffe wie beispielsweise Objekt ID 3, der Löffel. Dieser soll mit einem Tripod Pinch gegriffen werden. Hier wurde ein Score von 0 Punkten erreicht. Daran lässt sich erkennen, dass die Gesamtaufgabe zwar erfolgreich ausgeführt werden konnte, allerdings einige Versuche dazu benötigt wurden.  Des Weiteren ist in der Tabelle deutlich zu erkennen, welche Griffe nicht optimal mit der Handprothese auszuführen sind. Dies betrifft vor allem präzise Griffe wie beispielsweise Objekt ID 3, der Löffel. Dieser soll mit einem Tripod Pinch gegriffen werden. Hier wurde ein Score von 0 Punkten erreicht. Daran lässt sich erkennen, dass die Gesamtaufgabe zwar erfolgreich ausgeführt werden konnte, allerdings einige Versuche dazu benötigt wurden. 
 Ein weiteres Handlungsfeld ergibt sich aus den Objekten der IDs 6 und 7. ID 6, der kleine Stift, konnte einen Score von 11 Punkten erreichen. Hieraus lässt sich ableiten, dass die Aufgabe erfolgreich ausgeführt wurde, allerdings wieder einige Versuche dafür benötigt wurden. Daneben konnte bei Objekt ID 7, dem schwarzen T-Shirt, ein Score von 7 Punkten erreicht werden. Es wurden für den Griff des T-Shirts vier Versuche benötigt, wobei das T-Shirt ein Mal fallen gelassen wurde und einmal entfaltet wurde. Das Entfalten des T-Shirts wird als Beschädigung gewertet, da dieses seinen initialen Zustand und Form verändert hat.  Ein weiteres Handlungsfeld ergibt sich aus den Objekten der IDs 6 und 7. ID 6, der kleine Stift, konnte einen Score von 11 Punkten erreichen. Hieraus lässt sich ableiten, dass die Aufgabe erfolgreich ausgeführt wurde, allerdings wieder einige Versuche dafür benötigt wurden. Daneben konnte bei Objekt ID 7, dem schwarzen T-Shirt, ein Score von 7 Punkten erreicht werden. Es wurden für den Griff des T-Shirts vier Versuche benötigt, wobei das T-Shirt ein Mal fallen gelassen wurde und einmal entfaltet wurde. Das Entfalten des T-Shirts wird als Beschädigung gewertet, da dieses seinen initialen Zustand und Form verändert hat. 
-Beim Vergleich der beiden Objekte ist zu erkennen, dass die Beschädigung von Objekten oder das Fallen lassen stärker im Score berücksichtigt werden als die Anzahl der Versuche. +Beim Vergleich der beiden Objekte ist zu erkennen, dass die Beschädigung von Objekten oder das Fallenlassen stärker im Score berücksichtigt werden als die Anzahl der Versuche. 
  
 {{ :m3_seminar:m3_seminar_2018:projects_kit:scoring28062018.pdf |}} {{ :m3_seminar:m3_seminar_2018:projects_kit:scoring28062018.pdf |}}
Line 94: Line 95:
 In der vorliegenden Arbeit wurde ein Testprotokoll entworfen, um Handprothesen zu evaluieren und in einem weiteren Schritt vergleichen zu können. Dafür wurde ein Scoring-System in Anlehnung an die Amazon Picking Challenge [3] entwickelt. Dieses lässt direkte Rückschlüsse auf mögliche Handlungsfelder bei der Weiterentwicklung der zu evaluierenden Handprothese zu. Zur Ausführung des Experiments wurde aus dem YCB Object Set ein Subset entsprechend zuvor ausgewählter Grasp Types bestimmt.  In der vorliegenden Arbeit wurde ein Testprotokoll entworfen, um Handprothesen zu evaluieren und in einem weiteren Schritt vergleichen zu können. Dafür wurde ein Scoring-System in Anlehnung an die Amazon Picking Challenge [3] entwickelt. Dieses lässt direkte Rückschlüsse auf mögliche Handlungsfelder bei der Weiterentwicklung der zu evaluierenden Handprothese zu. Zur Ausführung des Experiments wurde aus dem YCB Object Set ein Subset entsprechend zuvor ausgewählter Grasp Types bestimmt. 
  
-Das auf diese Weise entwickelte Testprotokoll wurde im Anschluss an einer Handprothese ausgeführt und die Ergebnisse bewertet (siehe hierzu Kapitel: Auswertung des Experiments). +Das auf diese Weise entwickelte Testprotokoll wurde im Anschluss an einer Handprothese ausgeführt und die Ergebnisse bewertet (siehe hierzu Kapitel: Auswertung des Testprotokolls). 
  
 Um subjektive Entscheidungen zu vermeiden, musste überlegt werden, wie weitreichend die Vorgaben an die Umgebung und ähnlichem sein müssen. Allerdings musste auch gewährleistet werden, dass diese Vorgaben nicht zu extrem sind, um sicherstellen zu können, dass dieses Experiment wiederholt werden kann. Mittels der Bilder für die intendierten Griffe, einer minimalen Beschreibung wie das Objekt in der Umwelt vorzufinden ist, sowie in manchen Fällen eine Beschreibung, wann ein Objekt als zerstört gilt (beispielsweise für das T-Shirt), wurde ein guter Konsens gefunden. Um subjektive Entscheidungen zu vermeiden, musste überlegt werden, wie weitreichend die Vorgaben an die Umgebung und ähnlichem sein müssen. Allerdings musste auch gewährleistet werden, dass diese Vorgaben nicht zu extrem sind, um sicherstellen zu können, dass dieses Experiment wiederholt werden kann. Mittels der Bilder für die intendierten Griffe, einer minimalen Beschreibung wie das Objekt in der Umwelt vorzufinden ist, sowie in manchen Fällen eine Beschreibung, wann ein Objekt als zerstört gilt (beispielsweise für das T-Shirt), wurde ein guter Konsens gefunden.
  
  
-===== References =====+===== Literatur =====
   -  Berk Calli, Aaron Walsman, Arjun Singh, Siddhartha Srinivasa,Pieter Abbeel,Aaron M. Dollar(2015): Benchmarking in Manipulation Research: The YCB Object and Model Set and Benchmarking Protocols.    -  Berk Calli, Aaron Walsman, Arjun Singh, Siddhartha Srinivasa,Pieter Abbeel,Aaron M. Dollar(2015): Benchmarking in Manipulation Research: The YCB Object and Model Set and Benchmarking Protocols. 
   - Immaculada Llop-Harillo & Antonio Pérez-González (2017): System for the experimental evaluation of anthropomorphic hands. Application to a new 3D-printed prosthetic hand prototype, International Biomechanics, 4:2, 50-59, https://doi.org/10.1080/23335432.2017.1364666   - Immaculada Llop-Harillo & Antonio Pérez-González (2017): System for the experimental evaluation of anthropomorphic hands. Application to a new 3D-printed prosthetic hand prototype, International Biomechanics, 4:2, 50-59, https://doi.org/10.1080/23335432.2017.1364666