Rötlich schimmern menschliche Organe auf einem Papier. Dieses zeigt den Unterleib eines Menschen im Längsschnitt. Wirbelsäule und Beckenknochen bilden als gelbe Inseln den Kontrast dazu. Als das Papier an seinen Enden nach unten gebogen wird, scheinen die Knochen hervorzutreten, während die Weichteile zurückweichen (siehe Video). Was auf den ersten Blick an Science-Fiction erinnert, ist das Ergebnis der Forschungsarbeit „Flexpad“, die unter Leitung von Jürgen Steimle am Media Lab des US-amerikanischen Massachusetts Institute of Technology und am Max-Planck-Institut für Informatik in Saarbrücken in Kooperation mit der Christians-Albrechts-Universität zu Kiel entstand. Inzwischen leitet Steimle die Forschungsgruppe „Embodied Interaction“ am Cluster of Excellence „Multimodal Computing and Interaction“.
„Im Alltag verformen wir Objekte ganz intuitiv und auf vielfältige Weise. Wir biegen Bücherseiten, drücken Bälle zusammen, falten Papier oder modellieren Ton“, erklärt Jürgen Steimle und führt weiter aus: „Indem wir Bedienelemente auf greifbare, verformbare Objekte projizieren, können wir Computer und andere technische Geräte einfacher und besser steuern.“
Damit sein Vorhaben in der digitalen Welt funktioniert, ist inzwischen nur noch ein wenig Technik, dafür umso mehr Denk- und Programmierarbeit erforderlich. „Zum einen nutzen wir einen Projektor, der ein Bild oder einen Film auf einem Blatt abbildet“, beschreibt Steimle den Ansatz. „Zum anderen arbeiten wir mit einer Kinect aus dem Hause Microsoft. Die Tiefenkamera lässt Personen per Bewegung Computerspiele steuern, bei uns filmt sie Hände plus Papier und stellt so deren Position im Raum fest.“ Um die Bewegungen der Hände und des Papiers zu erfassen, sind Projektor und Kamera an der Zimmerdecke über dem Benutzer angebracht.
Damit arbeitet Flexpad wie folgt: Die Tiefenkamera filmt Nutzer und Papier und erfasst die Verformungen und Bewegungen des Papiers. Damit dies trotz der recht groben Bilddaten der Kinect präzise und zeitnah geschieht, haben die Forscher zwei Rechenverfahren ausgearbeitet und programmiert. Das erste rechnet zunächst störende Finger und Hände des Benutzers heraus. Bewegt er nun das Papier – egal ob, nach links, nach rechts, ob gebogen oder wellenförmig –, registriert die Kamera dies. Daraufhin beschreibt ein speziell entwickeltes Computermodell diese Bewegungen in Sekundenbruchteilen, damit der Projektor sie nahezu in Echtzeit auf dem Blatt wiedergeben kann.
Allerdings hat Flexpad gewisse Grenzen: Der Nutzer muss, damit das System funktioniert, in einem bestimmten Bereich unter der Kamera und dem Projektor stehen. Er kann sich also nicht frei im Raum bewegen.
„Das Papier übernimmt in unserem System gleich zwei Funktionen“, erläutert Steimle. „Es ist Bildschirm und Eingabeinstrument zugleich.“ Ähnlich wie eine Maus einen Computer steuert, kann der Benutzer auf diese Weise mit dem Gerät interagieren. Neben Papier eignen sich aber auch andere Materialien, beispielsweise Bögen aus Kunststoff und Plastik. Wichtig ist nur, dass sie eine gewisse Verformbarkeit und Flexibilität besitzen.
Einen Schritt weiter gehen so genannte aktive, flexible Displays. Laut der Studie „OE-A Roadmap for Organic and Printed Electronics“ des Industrieverbandes Organic and Printed Electronics Association werden diese in knapp zehn Jahren für Endanwender verfügbar sein. „Unsere Konzepte, die wir mit Flexpad erforschen, können auf diesen neuen Bildschirmtyp übertragen werden“, erklärt Steimle. Doch schon jetzt seien aufgrund der preiswerten Technik Anwendungen denkbar: „Bei der medizinischen Diagnostik kann der Arzt etwa Ergebnisse einer Computertomografie schnell und einfach mit dem Patienten besprechen. Außerdem kann das System als eine Art interaktives Kinderbuch fungieren, in dem sich bestimmte Figuren, wie zum Beispiel ein Goldfisch, bewegen“, so Steimle.
Hintergrund zu Jürgen Steimle
Jürgen Steimle ist 33 Jahre alt. Seine Arbeitsgruppe „Embodied Interaction“ befasst sich im Rahmen des Saarbrücker Exzellenzclusters „Multimodal Computing and Interaction“ mit der Interaktion zwischen Mensch und Computer. Sie untersuchen insbesondere, wie man formbare Alltagsgegenstände als Displays nutzen könnte und welche Bedürfnisse der Nutzer dabei berücksichtigen werden müssen. Steimle konzipiert dafür Anwendungsfälle und überprüft diese systematisch mit Hilfe von Anwenderstudien. So entwickelte er 2010 das erste Bedienkonzept für ein Smartphone mit ausrollbarem Display. Indem der Anwender das Ausrollen variiert, kann er nicht nur intuitiv mit großformatigen Inhalten wie Landkarten arbeiten, er kann sich damit auch durch Apps und Menüs navigieren. Steimles neuestes Projekt dreht sich um „zuschneidbare“ Elektronik, die seine Gruppe mittels modernster Verfahren druckt. Anwender können diese zurechtschneiden, aufkleben und so Alltagsgegenstände mit digitaler Funktionalität ausstatten.
Hintergrund Saarbrücker Exzellenzcluster
Seit 2007 wird der Saarbrücker Exzellenzcluster „Multimodal Computing and Interaction“ im Rahmen der Exzellenzinitiative von Bund und Ländern gefördert. Hier wird unter anderem untersucht, wie man multimodale Informationen aus Audiodateien, Bildern, Texten und Videos noch effizienter organisieren, verstehen und durchsuchen kann. Zum Cluster gehören Wissenschaftler der Universität des Saarlandes, des Deutschen Forschungzentrums für Künstliche Intelligenz (DFKI), des Center for ITSecurity, Privacy and Accounatbility (CISPA), des Zentrums für Bioinformatik in Saarbrücken und des Max-Planck-Instituts für Informatik sowie des Max-Planck-Instituts für Softwaresysteme. Sie alle befinden sich nur wenige Schritte voneinander entfernt auf dem Campus der Universität des Saarlandes.
Weitere Fragen beantwortet
Dr. Jürgen Steimle
Exzellenzcluster MMCI, Max-Planck-Institut für Informatik
+49 681 302-71935
E-Mail
Weitere Informationen