SlideShare ist ein Scribd-Unternehmen logo
1 von 37
Downloaden Sie, um offline zu lesen
Don Norman, Cofounder Nielsen Norman group

http://www.jnd.org/dn.mss/natural_user_interfa.html
„Are natural user interfaces natural?
No. But they will be useful.“
Und jetzt alle mal lachen 

und Matschkuchen backen
„Gestensteuerung liegt Menschen in den Genen“ behauptet der Kunstpädagoge
Prof. Georg Peez. Die Steuerungsgesten sind demnach angeboren und eine
direkte Verbindung zwischen Information und Gehirn.
Zum Leiden vieler Eltern lernen Babies beim Spiel mit Dreck Bewegungen, die
sie später dann exakt gleich bei ersten Zeichnungen einsetzen. Es sind die
selben Bewegungen, die auch bei der Gestensteuerung verwendet werden.
Gestensteuerung ist so gesehen vielleicht die natürlichste Steuerung der Welt.
Quelle: http://www.welt.de/gesundheit/psychologie/article125299880/Gestensteuerung-liegt-Menschen-in-den-Genen.html
Wege der Interaktion mit Maschinen
Vom Textadventure zum Streicheltelefon
Natürliche Benutzerschnittstellen (Natural User Interfaces, kurz NUI)
stellen für viele Interface Designer nach der Ära der Kommando-
zeilenbedienung und grafischer Benutzeroberflächen eine neue
Generation der Mensch-Computer Interaktion (Human-Computer
Interaction, HCI) dar.
Command-Line

Interfaces
Die erste Generation der HCI waren 

Command-Line Interfaces (CLI).
› Monochrome Darstellungsfläche
› Benutzer interagiert durch vorgegebene Anzahl
von Textbefehlen an System und Dateien
› Hohes Wissen über Syntax notwendig, da strikte
Einhaltung unabdingbar, keine Fehlertoleranz
› Eingabe ausschließlich über Tastatur
↩
Grafische Benutzer-
schnittstellen (GUI)
Die zweite Generation der HCI sind die heute weit
verbreiteten grafischen Benutzerschnittstellen.
Grundprinzip der Interaktion ist WIMP (Windows,
Icons, Menüs und Pointer=Mauspfeil)
› Größeren Farbvielfalt (Farbe transportiert Infos,
Beispiel aktives Fenster, Primary Action)
› Darstellung über Metaphern vereinfacht Bedienung
(Desktopmetapher als Oberfläche, Fenster,
Symbole, Menüs)
› Maus erweitert Eingabemöglichkeiten
› Anwender interagiert über sogenannte Composite
Skills (Fertigkeiten, die sich in keinem anderen
Kontext wiederverwenden lassen und erlernt
werden müssen, bsp. rechter Mausklick)
› Gängige GUIs isolieren den Anwender von seiner
physischen und sozialen Umgebung in hohem Maße
Natural User Interfaces 

(NUI)
Die dritte Generation der Benutzerschnittstellen,
die erst seit wenigen Jahren unter diesem Begriff
eine eigene Entwicklungsrichtung der Gestaltung
der HCI darstellt, sind Natural User Interfaces.
› Direkte Interaktion des Nutzers z.B. durch
Touchscreen, Sprache oder Gesten. 

Interface wird teilweise unsichtbar
› NUI-Grundkonzept OCGM: Akronym für Objects,
Containers, Gestures und Manipulation
› Intuitive und natürliche Interaktion mit dem
Gerät, indem auf Fähigkeiten zurückgegriffen
wird, die der Nutzer bereits erlernt hat
1972:
PLATO IV Touch Screen Terminal
(Computer-based Education Research Laboratory,
University of Illinois, Urbana-Champain)
International NUI Group 

http://wiki.nuigroup.com/Natural_User_Interface

Natural user interface, or NUI, is an emerging paradigm shift in
man machine interaction of computer interfaces to refer to a
user interface that is effectively invisible, or becomes invisible
with successive learned interactions, to its users. The word
natural is used because most computer interfaces use artificial
control devices whose operation has to be learned. A NUI relies
on a user being able to carry out relatively natural motions,
movements or gestures that they quickly discover control the
computer application or manipulate the on-screen content.
Focuses on traditional human abilities such as touch, vision,
speech, handwriting, motion and more importantly higher level
processes such as cognition, creativity and exploration.
Through its study to replicate real world environments and
thus situations utilizing emerging technological abilities and
sensing solutions which will allow for more accurate and
optimized interaction between physical and digital objects.
Zum jetzigen Zeitpunkt gibt es noch keine einheitliche, allgemein
anerkannte Definition, was unter einem NUI zu verstehen ist.
Definition NUI
„In computing, a natural user interface, or NUI, or Natural
Interface is the common parlance used by designers and
developers of human-machine interfaces to refer to a user
interface that is effectively invisible, and remains invisible
as the user continuously learns increasingly complex
interactions. The word natural is used because most
computer interfaces use artificial control devices whose
operation has to be learned.“

ENG Wikipedia
„NUI is the most powerful and most „natural“ when it
is multi modal.“ Nicole Mihali Microsoft Deutschland
Natural User Interfaces (NUI) oder „Reality Based
User Interfaces" ermöglichen dem Nutzer eine direkte
Interaktion mit der Bedienoberfläche durch Wischen,
Tippen, Berühren, Gesten oder Sprache.
Wikipedia DE, Dieser Artikel wurde wegen inhaltlicher
Mängel auf der Qualitätssicherungsseite der
Redaktion Informatik eingetragen.
“Natural user interfaces or NUIs rely on natural expressions
like touches and gestures to directly and intuitively control the
experience of a software application. The word “natural”
means that the interaction is not controlled through an
artificial device, like a mouse or keyboard. (I take this to imply
that a Nintendo Wii is not an example of a NUI, since there are
still artificial controllers involved. Other opinions and thoughts
on this are welcomed).”
http://blogs.msdn.com/b/enterprisesearch/archive/
2009/05/03/search-and-natural-user-interfaces-part-2.aspx
Direkte Manipulation
Anwendung von erlernten
Fähigkeiten des Nutzers
(“reuse of existing skills”, u.a.
Sprache, Schrift) zur
Interaktion
Nutzung der Sinne
(Berührung, sehen, hören)
zur Interaktion mit System
Abbildung des natürlichen
Nutzerverhaltens (Wasser,
Bäume, etc. nicht Umgang
mit Maschinen wie PKWs
oder Toaster) zur Interaktion
Gemeinsamkeiten
Unterschiede
Klaas Wilhelm Bollhoefer Richard Monson-Haefel
Quellen:

Blake, Joshua (2010): The Natural User Interface Revolution. In: Natural User Interfaces in .Net, 1. Auflage, Greenwich, USA: Manning Publications. Bollhoefer, Klaas Wilhelm; Meyer,
Kerstin & Witzsche, Rosina (2009): White Paper Microsoft Surface und das Natural User Interface ( NUI ), Berlin. Monson-Haefel, Richard (2010): NUI Defined. URL: http://
theclevermonkey.blogspot.com/2010/01/nui-defined.html.
Int
se
St
de
EnJoshua Blake
›PROBLEM: Es gibt keine einheitliche 

Position, was „natürlich“ bedeutet.
› Der Begriff NATÜRLICH ist im Allgemeinen sehr weitläufig und
unscharf (siehe natürlich vs. selbstverständlich).
› Eine erste Annäherung an die Bedeutung soll über den Begriff
INTUITIV erfolgen, welcher im Zusammenhang mit der MCI
häufig synonym verwendet wird. Es beschreibt „die
unmittelbare Erfassung des Wesens der Dinge“. Eisler 1904
› Der Fokus liegt auf dem interagierenden Menschen, nicht auf der
Technologie. “Who is doing what? Where? With whom? How?”
› Seine motorischen, kognitiven und sozialen Kapazitäten müssen
verstanden und einbezogen werden.
› Physische Manipulation, Gesten und Sprache sollen parallel eingesetzt
werden können. Multimodalitäten werden übereinander geschichtet.
› Verschiedene Geräte sollen untereinander kommunizieren und dem
Menschen eine möglichst natürliche Ausgabe liefern.
› Systeme sollen sich adaptiv verhalten und den Absichten des Nutzers
entsprechen. „Dieselbe Größe passt nicht jedem.“
› Eine nahtlose Interaktion soll möglich sein, ohne dass neue Komplexität
hinzugefügt wird.
Grundsätze für Gestaltung natürlicher
Benutzerschnittstellen
Definition nach Bill Buxton,
Forscher im „Xerox PARC“ und
an der Universität in Toronto,
wo er bereits 1985 eine
Publikation zu „Multitouch
Computing“ veröffentlichte.
Erhielt 2008 einen Preis für sein
Lebenswerk. Derzeit ist er
„Chefforscher“ bei Microsoft
Research
Gute NUIs…
1. sind intuitiv bedienbar
2. sind dynamisch-adaptiv, passen sich also dem Nutzer und
seinen Interessen an
3. unterstützen Multimedialität und Multimodalität
4. agieren nutzerzentriert
5. sind kooperativ und nicht nur interaktiv
6. geben ihren Nutzern unmittelbares und direktes Feedback
7. verhalten sich situativ-relevant und sind kontextsensitiv
8. erlauben unmittelbare direkte Interaktionen
9. sind intermedial, verknüpfen die reale mit der virtuellen Welt
10. unterstützen Multi-User-Verhalten
Zehn Wesensmerkmale 

von guten NUIs nach Henseler
Problem: 

Auch gute GUIs 

zeichnen sich durch 

diese Merkmale aus, 

als Differenzierungs-
merkmale taugen 

diese Eigenschaften 

kaum
› Eine Metapher ist ein kognitives Modell, bei der ein Objekt in seiner
Bedeutung genutzt wird und zwar so, dass eine Beziehung der Ähnlichkeit
besteht.
› Sie unterliegt immer einer Limitierung, da sie auf etwas verweist, anstatt
es selbst zu sein. Sie ist also auch eine gedankliche Krücke, die uns zwar
hilft, aber uns auch begrenzt.
Über das angebliche Ende der Metapher
„A metaphor is a device
for seeing something in
terms of something else.
It brings out the thisness
of that or the thatness of
this.“ Burke (1945)
Problem: auch das
fotorealistische Abbild
eines Produktes ist
Metapher, Repräsentant
und Platzhalter für etwas
Greifbares.
› Das intuitivste Handlungsmodell von Menschen ist das so genannte OSIT-Modell.
› OSIT leitet sich aus der Physiologie des Menschen ab, es existiert weltweit und
gilt für jedes menschliche Individuum, egal ob jung oder alt und unabhängig vom
jeglichen Bildungs- und Entwicklungsstand.
› Jeder von uns nutzt dieses archaische mentale Modell tausende Male am Tag,
ohne dass die meisten von uns je darüber nachgedacht haben, dass sie es nutzen
– es ist eben intuitiv (Laden, Bushaltestelle, Tankstelle, Wandern).
Das OSIT Modell - natürliches
Handlungsschema aller Menschen
Scheiß Beispiel:

Das OSIT Modell in
der Anwendung bei
HD+ (Screenshot)
-Keine Orientierung
-Keine Infos wonach
diese Kisten denn
nun sortiert sind
IST DAS DER

RICHTIGE RECEIVER
FÜR MICH?
http://www.hd-plus.de/#/alles-ueber-hd-plus/produktfinder
http://www.patisserie.de

Aufgabe: Finde den gefüllten Bratapfel in 2 Minuten. Los!
GUI vs. NUI
›Texteingabe via Touchdisplay

Wer tippt gerne einen längeren Text auf dem iPad?
Das Problem ist das fehlende haptische Feedback
und der Umstand, dass die Tastatur die Hälfte des
Bildschirms füllt.
› Ein elektrostatisches Feld auf dem Display
(Feelscreens mit Tixel) könnte Ersteres immerhin
in absehbarer Zeit beheben.
›OK Google

Sprachbefehle erfassen ist momentan noch recht
unzuverlässig und funktioniert oft nur in ruhiger
Umgebung und mit klarer Aussprache.
› Zudem ist Sprache an vielen Ort eine wenig willkomme
Form der Kommunikation, siehe Bibliothek, öffentliche
Verkehrsmittel oder das Quatschen im Supermarkt.
›Versteckspiel
› Auswahl und Ausführung (bei Finger- und Körper-
gesten): Auch aus Platzgründen werden Elemente, die
nicht unmittelbar benötigt werden, gerne versteckt und
tauchen erst bei direktem Bedarf auf.
› Sichtbarkeit ist aber ein wichtiger Faktor beim
Gestalten von Interfaces, Interaktionsmöglichkeiten
können sonst leicht übersehen werden. Die Wege zu
Funktionen werden zudem deutlich länger.
›Shortcuts und Copy & Paste

Ohne Frage sind Geräte wie das iPad zum
Schreiben ungeeignet. Ein Grund dafür ist die
derzeit noch ungemein umständliche
Fummelei bis sich ein Textblock von einer
Stelle zu einer anderen fügt. Mit Force Touch
ließe sich dieses Problem evtl. beheben.
› Aber auch das Fehlen von Shortcuts
erschweren das Arbeiten mit Touchgeräten:
verfügbare Funktionen ohne Geste müssen
abgebildet werden.
Apples Patentantrag 111164 beschreibt 

ein flexibles Display mit taktilen Elementen
Nette Geste
› Nicht alle Gesten sind natürlich, komplexere Gesten müssen
gelernt werden und wirken wie das Greifen in die Luft recht
unnatürlich („Geistergestik“, Ralf Kienzler, 2015).
› Gesten werden in verschiedenen Kulturkreisen tlw.
unterschiedlich gedeutet. Nicht alle Menschen verstehen
unter kopfschütteln „nein“ und nicken „ja“.
› Gesten müssen standardisiert werden, damit wir sie auf
vielen Geräten intuitiv verwenden können. Standards sind
manchmal wichtiger als Usability und Optimierung, denkt
hier beispielsweise an Tastaturen.
› Mangelndes Feedback: Da Gesten „vergänglich“ sind, ist oft
unklar, ob ein Befehl richtig erfasst wurde oder warum etwas
nicht funktioniert hat (Trial & Error).
›No gorilla arm

„Humans weren’t meant to do many tasks with hands
up in front of their bodies for long periods of time.
Sorry Minority Report.“
› Dan Saffer, Creative Director Jawbone
›Und hier noch ein paar Kuriositäten
›Beispiel zu realistische Simulation: wii Kegeln. Hier
war die Steuerung zu natürlich. Ein Armband musste
den Nutzer davor schützen, das Spielgerät auf den
eigenen Fernsehen zu werfen.
›Touch-Geräte sind inzwischen so angenommen, dass
Menschen beginnen veraltete Geräte wie noch viele
Fahrkartenautomaten ohne Touch-Displays mit
Gesten bedienen zu wollen.
›Kinder, die versuchen, den Fisch im Aquarium zu
vergrößern, indem sie auf der Scheibe zwei Finger
auseinanderziehen.
Einsatzorte: Gute NUI Beispiele
›Programmsteuerung 

per Eye Tracking 

EyeSeeMed von ESINOMED
ermöglicht hand- und
sprachfreien Zugriff auf
Daten während Operationen
›GoCam

Die Selfie-Kamera "GoCam feat aBubbl"
steuern Sie einfach per Geste. Am iPhone und
iPad gelingen damit verrekungsfreie
Selbstportraits.
›MSN Kochen & Genuss App

Die Anwendung ermöglicht das Aktivieren
des Freihand-Modus, so dass der Nutzer nur
mit einer Handbewegung die Seiten des
Kochbuchs wenden kann und das Display
nicht verschmiert.
Kinect for Windows Retail Clothing Scenario Video
› Der nächste Schritt: Internet der Dinge (IoT)
› Direkte Vernetzung von Gegenständen. Das
Interface tritt mehr und mehr in den
Hintergrund. Interaktion findet direkt mit dem
Gegenstand direkt statt.
› Kissen und Kollegen
› Each person has a wristband they wear to bed
at night and a small speaker which you place
inside your pillow case. The wristband picks up
your realtime heartbeat and transmits it via
smartphone app to the other person's pillow.
Placing your head on your own pillow enables
you to hear the realtime heartbeat of your
loved one. The result is an intimate interaction
between two lovers, regardless of the distance
between them.
Vielen Dank
für das Interesse und eure Aufmerksamkeit!
In Basecamp findet sich eine Sammlung mit nützlichen Links zum Thema.
›
One last thing…
›Breaking News zu Enrico Herzog

Herr Herzog wurde aufgrund eines schlechten
Aprilscherz vorläufig festgenommen und
steht momentan für NUI Fragen nicht zur
Verfügung.
NUI - Natural User Interfaces: nur ein Hype oder die nächste Stufe der Interaktion mit Maschinen?

Weitere ähnliche Inhalte

Andere mochten auch

NUI WARS: Kinect vs Structure vs Leap vs RealSense vs Myo
NUI WARS: Kinect vs Structure vs Leap vs RealSense vs MyoNUI WARS: Kinect vs Structure vs Leap vs RealSense vs Myo
NUI WARS: Kinect vs Structure vs Leap vs RealSense vs MyoVangos Pterneas
 
Motion sensing and detection
Motion sensing and detectionMotion sensing and detection
Motion sensing and detectionNirav Soni
 
Design for multitouch
Design for multitouchDesign for multitouch
Design for multitouchNascom
 
Kinect Sensors as Natural User Interfaces
Kinect Sensors as Natural User InterfacesKinect Sensors as Natural User Interfaces
Kinect Sensors as Natural User InterfacesRumen Filkov
 
Voice Design Coaching programa Voice Design Branding
Voice Design Coaching   programa Voice Design BrandingVoice Design Coaching   programa Voice Design Branding
Voice Design Coaching programa Voice Design BrandingVoice Design Institute
 
Touch first and touch free designs
Touch first and touch free designsTouch first and touch free designs
Touch first and touch free designsKiran Challa
 
Understanding Voice User Interface Design
Understanding Voice User Interface DesignUnderstanding Voice User Interface Design
Understanding Voice User Interface DesignPronexus
 
Designing Voice-Driven Game Experiences | Dave Isbitski
Designing Voice-Driven Game Experiences | Dave IsbitskiDesigning Voice-Driven Game Experiences | Dave Isbitski
Designing Voice-Driven Game Experiences | Dave IsbitskiJessica Tams
 
Ride the Wave of Conversational UX
Ride the Wave of Conversational UXRide the Wave of Conversational UX
Ride the Wave of Conversational UXSolstice
 
UX Berlin about Movie Her and the future of Voice Interfaces
UX Berlin about Movie Her and the future of Voice InterfacesUX Berlin about Movie Her and the future of Voice Interfaces
UX Berlin about Movie Her and the future of Voice InterfacesReto Laemmler
 
Future voice experience 2024
Future voice experience 2024Future voice experience 2024
Future voice experience 2024Martin Geddes
 
Conversational apps UX best practices
Conversational apps UX best practicesConversational apps UX best practices
Conversational apps UX best practicesMatthieu Varagnat
 
Voice Driven User Interface Design
Voice Driven User Interface DesignVoice Driven User Interface Design
Voice Driven User Interface DesignEngine Neer
 
Converations on conversational Ux
Converations on conversational UxConverations on conversational Ux
Converations on conversational UxTitash Neogi
 
Use Cases for Voice User Interface
Use Cases for Voice User InterfaceUse Cases for Voice User Interface
Use Cases for Voice User InterfaceStefan Ostwald
 
Evangelizing and Designing Voice User Interface: Adopting VUI in a GUI world
 Evangelizing and Designing Voice User Interface: Adopting VUI in a GUI world Evangelizing and Designing Voice User Interface: Adopting VUI in a GUI world
Evangelizing and Designing Voice User Interface: Adopting VUI in a GUI worldStephen Gay
 

Andere mochten auch (20)

NUI WARS: Kinect vs Structure vs Leap vs RealSense vs Myo
NUI WARS: Kinect vs Structure vs Leap vs RealSense vs MyoNUI WARS: Kinect vs Structure vs Leap vs RealSense vs Myo
NUI WARS: Kinect vs Structure vs Leap vs RealSense vs Myo
 
Motion sensing and detection
Motion sensing and detectionMotion sensing and detection
Motion sensing and detection
 
201004 - Natural User Interfaces
201004 - Natural User Interfaces201004 - Natural User Interfaces
201004 - Natural User Interfaces
 
NUI_jaydev
NUI_jaydevNUI_jaydev
NUI_jaydev
 
Design for multitouch
Design for multitouchDesign for multitouch
Design for multitouch
 
Kinect Sensors as Natural User Interfaces
Kinect Sensors as Natural User InterfacesKinect Sensors as Natural User Interfaces
Kinect Sensors as Natural User Interfaces
 
Real sense brief
Real sense briefReal sense brief
Real sense brief
 
Voice Design Coaching programa Voice Design Branding
Voice Design Coaching   programa Voice Design BrandingVoice Design Coaching   programa Voice Design Branding
Voice Design Coaching programa Voice Design Branding
 
Touch first and touch free designs
Touch first and touch free designsTouch first and touch free designs
Touch first and touch free designs
 
Understanding Voice User Interface Design
Understanding Voice User Interface DesignUnderstanding Voice User Interface Design
Understanding Voice User Interface Design
 
Designing Voice-Driven Game Experiences | Dave Isbitski
Designing Voice-Driven Game Experiences | Dave IsbitskiDesigning Voice-Driven Game Experiences | Dave Isbitski
Designing Voice-Driven Game Experiences | Dave Isbitski
 
Ride the Wave of Conversational UX
Ride the Wave of Conversational UXRide the Wave of Conversational UX
Ride the Wave of Conversational UX
 
UX Berlin about Movie Her and the future of Voice Interfaces
UX Berlin about Movie Her and the future of Voice InterfacesUX Berlin about Movie Her and the future of Voice Interfaces
UX Berlin about Movie Her and the future of Voice Interfaces
 
Voice Driven Type Design
Voice Driven Type DesignVoice Driven Type Design
Voice Driven Type Design
 
Future voice experience 2024
Future voice experience 2024Future voice experience 2024
Future voice experience 2024
 
Conversational apps UX best practices
Conversational apps UX best practicesConversational apps UX best practices
Conversational apps UX best practices
 
Voice Driven User Interface Design
Voice Driven User Interface DesignVoice Driven User Interface Design
Voice Driven User Interface Design
 
Converations on conversational Ux
Converations on conversational UxConverations on conversational Ux
Converations on conversational Ux
 
Use Cases for Voice User Interface
Use Cases for Voice User InterfaceUse Cases for Voice User Interface
Use Cases for Voice User Interface
 
Evangelizing and Designing Voice User Interface: Adopting VUI in a GUI world
 Evangelizing and Designing Voice User Interface: Adopting VUI in a GUI world Evangelizing and Designing Voice User Interface: Adopting VUI in a GUI world
Evangelizing and Designing Voice User Interface: Adopting VUI in a GUI world
 

Ähnlich wie NUI - Natural User Interfaces: nur ein Hype oder die nächste Stufe der Interaktion mit Maschinen?

Präsentation CENDOO Butler
Präsentation CENDOO ButlerPräsentation CENDOO Butler
Präsentation CENDOO ButlerCENDOO AG
 
Netzwerke wichtiger Bestandteil zur Nutzung der kollektiven Intelligenz
Netzwerke wichtiger Bestandteil zur Nutzung der kollektiven IntelligenzNetzwerke wichtiger Bestandteil zur Nutzung der kollektiven Intelligenz
Netzwerke wichtiger Bestandteil zur Nutzung der kollektiven IntelligenzNETBAES
 
Cogneon Praesentation Personal Knowledge Management N2early 2009-03-11
Cogneon Praesentation Personal Knowledge Management N2early 2009-03-11Cogneon Praesentation Personal Knowledge Management N2early 2009-03-11
Cogneon Praesentation Personal Knowledge Management N2early 2009-03-11Simon Dueckert
 
«Mobile Design Thinking» – Erfolgreiches «Mobile Web» zwischen Hype und echte...
«Mobile Design Thinking» – Erfolgreiches «Mobile Web» zwischen Hype und echte...«Mobile Design Thinking» – Erfolgreiches «Mobile Web» zwischen Hype und echte...
«Mobile Design Thinking» – Erfolgreiches «Mobile Web» zwischen Hype und echte...Unic
 
Mehr Nutzen, Weniger Interface
Mehr Nutzen, Weniger InterfaceMehr Nutzen, Weniger Interface
Mehr Nutzen, Weniger InterfaceMoritz Haarmann
 
„Bildung“ im Zeitalter vernetzten Wissens, Denkens, Handelns
„Bildung“ im Zeitalter vernetzten Wissens, Denkens, Handelns„Bildung“ im Zeitalter vernetzten Wissens, Denkens, Handelns
„Bildung“ im Zeitalter vernetzten Wissens, Denkens, HandelnsBenjamin Jörissen
 
Was ist Künstliche Intelligenz?
Was ist Künstliche Intelligenz?Was ist Künstliche Intelligenz?
Was ist Künstliche Intelligenz?Research Impulses
 
TouchPhysics - Physik zum Anfassen
TouchPhysics - Physik zum AnfassenTouchPhysics - Physik zum Anfassen
TouchPhysics - Physik zum Anfassenjroehm
 
Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatik...
Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatik...Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatik...
Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatik...Jonas Neugebauer
 
wissensarbeit20_lindner_20100205
wissensarbeit20_lindner_20100205wissensarbeit20_lindner_20100205
wissensarbeit20_lindner_20100205Lindner Martin
 
Context Aware Storytelling durch mobile Sensordaten
Context Aware Storytelling durch mobile SensordatenContext Aware Storytelling durch mobile Sensordaten
Context Aware Storytelling durch mobile SensordatenNico Heint Ze
 
sparkling finger auf dem sparkling science kongress 2009
sparkling finger auf dem sparkling science kongress 2009sparkling finger auf dem sparkling science kongress 2009
sparkling finger auf dem sparkling science kongress 2009peterpur
 
Go smart 9
Go smart 9Go smart 9
Go smart 9Proud
 
Cultural-Hacking meets Service Design - Workshop auf dem WUD 2013 Hamburg
Cultural-Hacking meets Service Design - Workshop auf dem WUD 2013 HamburgCultural-Hacking meets Service Design - Workshop auf dem WUD 2013 Hamburg
Cultural-Hacking meets Service Design - Workshop auf dem WUD 2013 HamburgFlorian Scheppelmann
 

Ähnlich wie NUI - Natural User Interfaces: nur ein Hype oder die nächste Stufe der Interaktion mit Maschinen? (20)

Präsentation CENDOO Butler
Präsentation CENDOO ButlerPräsentation CENDOO Butler
Präsentation CENDOO Butler
 
Digitale Erlebniswelten
Digitale ErlebnisweltenDigitale Erlebniswelten
Digitale Erlebniswelten
 
Netzwerke wichtiger Bestandteil zur Nutzung der kollektiven Intelligenz
Netzwerke wichtiger Bestandteil zur Nutzung der kollektiven IntelligenzNetzwerke wichtiger Bestandteil zur Nutzung der kollektiven Intelligenz
Netzwerke wichtiger Bestandteil zur Nutzung der kollektiven Intelligenz
 
Cogneon Praesentation Personal Knowledge Management N2early 2009-03-11
Cogneon Praesentation Personal Knowledge Management N2early 2009-03-11Cogneon Praesentation Personal Knowledge Management N2early 2009-03-11
Cogneon Praesentation Personal Knowledge Management N2early 2009-03-11
 
«Mobile Design Thinking» – Erfolgreiches «Mobile Web» zwischen Hype und echte...
«Mobile Design Thinking» – Erfolgreiches «Mobile Web» zwischen Hype und echte...«Mobile Design Thinking» – Erfolgreiches «Mobile Web» zwischen Hype und echte...
«Mobile Design Thinking» – Erfolgreiches «Mobile Web» zwischen Hype und echte...
 
Mehr Nutzen, Weniger Interface
Mehr Nutzen, Weniger InterfaceMehr Nutzen, Weniger Interface
Mehr Nutzen, Weniger Interface
 
Interaktivität
InteraktivitätInteraktivität
Interaktivität
 
„Bildung“ im Zeitalter vernetzten Wissens, Denkens, Handelns
„Bildung“ im Zeitalter vernetzten Wissens, Denkens, Handelns„Bildung“ im Zeitalter vernetzten Wissens, Denkens, Handelns
„Bildung“ im Zeitalter vernetzten Wissens, Denkens, Handelns
 
Was ist Künstliche Intelligenz?
Was ist Künstliche Intelligenz?Was ist Künstliche Intelligenz?
Was ist Künstliche Intelligenz?
 
Gestenbasiertes Lernen
Gestenbasiertes LernenGestenbasiertes Lernen
Gestenbasiertes Lernen
 
TouchPhysics - Physik zum Anfassen
TouchPhysics - Physik zum AnfassenTouchPhysics - Physik zum Anfassen
TouchPhysics - Physik zum Anfassen
 
Human-Computer-Interaction - Usability Engineering im Bildungskontext
Human-Computer-Interaction - Usability Engineering im BildungskontextHuman-Computer-Interaction - Usability Engineering im Bildungskontext
Human-Computer-Interaction - Usability Engineering im Bildungskontext
 
Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatik...
Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatik...Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatik...
Multitouch, Tangibles und Fiducials – Begreifbare Interaktionen im Informatik...
 
wissensarbeit20_lindner_20100205
wissensarbeit20_lindner_20100205wissensarbeit20_lindner_20100205
wissensarbeit20_lindner_20100205
 
Lernen 2.0 - Net Generation Learning
Lernen 2.0 - Net Generation LearningLernen 2.0 - Net Generation Learning
Lernen 2.0 - Net Generation Learning
 
Context Aware Storytelling durch mobile Sensordaten
Context Aware Storytelling durch mobile SensordatenContext Aware Storytelling durch mobile Sensordaten
Context Aware Storytelling durch mobile Sensordaten
 
sparkling finger auf dem sparkling science kongress 2009
sparkling finger auf dem sparkling science kongress 2009sparkling finger auf dem sparkling science kongress 2009
sparkling finger auf dem sparkling science kongress 2009
 
f/21 Quarterly Q4|2015
f/21 Quarterly Q4|2015f/21 Quarterly Q4|2015
f/21 Quarterly Q4|2015
 
Go smart 9
Go smart 9Go smart 9
Go smart 9
 
Cultural-Hacking meets Service Design - Workshop auf dem WUD 2013 Hamburg
Cultural-Hacking meets Service Design - Workshop auf dem WUD 2013 HamburgCultural-Hacking meets Service Design - Workshop auf dem WUD 2013 Hamburg
Cultural-Hacking meets Service Design - Workshop auf dem WUD 2013 Hamburg
 

NUI - Natural User Interfaces: nur ein Hype oder die nächste Stufe der Interaktion mit Maschinen?

  • 1.
  • 2. Don Norman, Cofounder Nielsen Norman group
 http://www.jnd.org/dn.mss/natural_user_interfa.html „Are natural user interfaces natural? No. But they will be useful.“
  • 3. Und jetzt alle mal lachen 
 und Matschkuchen backen „Gestensteuerung liegt Menschen in den Genen“ behauptet der Kunstpädagoge Prof. Georg Peez. Die Steuerungsgesten sind demnach angeboren und eine direkte Verbindung zwischen Information und Gehirn. Zum Leiden vieler Eltern lernen Babies beim Spiel mit Dreck Bewegungen, die sie später dann exakt gleich bei ersten Zeichnungen einsetzen. Es sind die selben Bewegungen, die auch bei der Gestensteuerung verwendet werden. Gestensteuerung ist so gesehen vielleicht die natürlichste Steuerung der Welt. Quelle: http://www.welt.de/gesundheit/psychologie/article125299880/Gestensteuerung-liegt-Menschen-in-den-Genen.html
  • 4. Wege der Interaktion mit Maschinen
  • 5. Vom Textadventure zum Streicheltelefon Natürliche Benutzerschnittstellen (Natural User Interfaces, kurz NUI) stellen für viele Interface Designer nach der Ära der Kommando- zeilenbedienung und grafischer Benutzeroberflächen eine neue Generation der Mensch-Computer Interaktion (Human-Computer Interaction, HCI) dar.
  • 6. Command-Line
 Interfaces Die erste Generation der HCI waren 
 Command-Line Interfaces (CLI). › Monochrome Darstellungsfläche › Benutzer interagiert durch vorgegebene Anzahl von Textbefehlen an System und Dateien › Hohes Wissen über Syntax notwendig, da strikte Einhaltung unabdingbar, keine Fehlertoleranz › Eingabe ausschließlich über Tastatur ↩
  • 7. Grafische Benutzer- schnittstellen (GUI) Die zweite Generation der HCI sind die heute weit verbreiteten grafischen Benutzerschnittstellen. Grundprinzip der Interaktion ist WIMP (Windows, Icons, Menüs und Pointer=Mauspfeil) › Größeren Farbvielfalt (Farbe transportiert Infos, Beispiel aktives Fenster, Primary Action) › Darstellung über Metaphern vereinfacht Bedienung (Desktopmetapher als Oberfläche, Fenster, Symbole, Menüs) › Maus erweitert Eingabemöglichkeiten › Anwender interagiert über sogenannte Composite Skills (Fertigkeiten, die sich in keinem anderen Kontext wiederverwenden lassen und erlernt werden müssen, bsp. rechter Mausklick) › Gängige GUIs isolieren den Anwender von seiner physischen und sozialen Umgebung in hohem Maße
  • 8. Natural User Interfaces 
 (NUI) Die dritte Generation der Benutzerschnittstellen, die erst seit wenigen Jahren unter diesem Begriff eine eigene Entwicklungsrichtung der Gestaltung der HCI darstellt, sind Natural User Interfaces. › Direkte Interaktion des Nutzers z.B. durch Touchscreen, Sprache oder Gesten. 
 Interface wird teilweise unsichtbar › NUI-Grundkonzept OCGM: Akronym für Objects, Containers, Gestures und Manipulation › Intuitive und natürliche Interaktion mit dem Gerät, indem auf Fähigkeiten zurückgegriffen wird, die der Nutzer bereits erlernt hat 1972: PLATO IV Touch Screen Terminal (Computer-based Education Research Laboratory, University of Illinois, Urbana-Champain)
  • 9. International NUI Group 
 http://wiki.nuigroup.com/Natural_User_Interface
 Natural user interface, or NUI, is an emerging paradigm shift in man machine interaction of computer interfaces to refer to a user interface that is effectively invisible, or becomes invisible with successive learned interactions, to its users. The word natural is used because most computer interfaces use artificial control devices whose operation has to be learned. A NUI relies on a user being able to carry out relatively natural motions, movements or gestures that they quickly discover control the computer application or manipulate the on-screen content. Focuses on traditional human abilities such as touch, vision, speech, handwriting, motion and more importantly higher level processes such as cognition, creativity and exploration. Through its study to replicate real world environments and thus situations utilizing emerging technological abilities and sensing solutions which will allow for more accurate and optimized interaction between physical and digital objects. Zum jetzigen Zeitpunkt gibt es noch keine einheitliche, allgemein anerkannte Definition, was unter einem NUI zu verstehen ist. Definition NUI „In computing, a natural user interface, or NUI, or Natural Interface is the common parlance used by designers and developers of human-machine interfaces to refer to a user interface that is effectively invisible, and remains invisible as the user continuously learns increasingly complex interactions. The word natural is used because most computer interfaces use artificial control devices whose operation has to be learned.“
 ENG Wikipedia „NUI is the most powerful and most „natural“ when it is multi modal.“ Nicole Mihali Microsoft Deutschland Natural User Interfaces (NUI) oder „Reality Based User Interfaces" ermöglichen dem Nutzer eine direkte Interaktion mit der Bedienoberfläche durch Wischen, Tippen, Berühren, Gesten oder Sprache. Wikipedia DE, Dieser Artikel wurde wegen inhaltlicher Mängel auf der Qualitätssicherungsseite der Redaktion Informatik eingetragen. “Natural user interfaces or NUIs rely on natural expressions like touches and gestures to directly and intuitively control the experience of a software application. The word “natural” means that the interaction is not controlled through an artificial device, like a mouse or keyboard. (I take this to imply that a Nintendo Wii is not an example of a NUI, since there are still artificial controllers involved. Other opinions and thoughts on this are welcomed).” http://blogs.msdn.com/b/enterprisesearch/archive/ 2009/05/03/search-and-natural-user-interfaces-part-2.aspx
  • 10. Direkte Manipulation Anwendung von erlernten Fähigkeiten des Nutzers (“reuse of existing skills”, u.a. Sprache, Schrift) zur Interaktion Nutzung der Sinne (Berührung, sehen, hören) zur Interaktion mit System Abbildung des natürlichen Nutzerverhaltens (Wasser, Bäume, etc. nicht Umgang mit Maschinen wie PKWs oder Toaster) zur Interaktion Gemeinsamkeiten Unterschiede Klaas Wilhelm Bollhoefer Richard Monson-Haefel Quellen:
 Blake, Joshua (2010): The Natural User Interface Revolution. In: Natural User Interfaces in .Net, 1. Auflage, Greenwich, USA: Manning Publications. Bollhoefer, Klaas Wilhelm; Meyer, Kerstin & Witzsche, Rosina (2009): White Paper Microsoft Surface und das Natural User Interface ( NUI ), Berlin. Monson-Haefel, Richard (2010): NUI Defined. URL: http:// theclevermonkey.blogspot.com/2010/01/nui-defined.html. Int se St de EnJoshua Blake
  • 11. ›PROBLEM: Es gibt keine einheitliche 
 Position, was „natürlich“ bedeutet. › Der Begriff NATÜRLICH ist im Allgemeinen sehr weitläufig und unscharf (siehe natürlich vs. selbstverständlich). › Eine erste Annäherung an die Bedeutung soll über den Begriff INTUITIV erfolgen, welcher im Zusammenhang mit der MCI häufig synonym verwendet wird. Es beschreibt „die unmittelbare Erfassung des Wesens der Dinge“. Eisler 1904
  • 12. › Der Fokus liegt auf dem interagierenden Menschen, nicht auf der Technologie. “Who is doing what? Where? With whom? How?” › Seine motorischen, kognitiven und sozialen Kapazitäten müssen verstanden und einbezogen werden. › Physische Manipulation, Gesten und Sprache sollen parallel eingesetzt werden können. Multimodalitäten werden übereinander geschichtet. › Verschiedene Geräte sollen untereinander kommunizieren und dem Menschen eine möglichst natürliche Ausgabe liefern. › Systeme sollen sich adaptiv verhalten und den Absichten des Nutzers entsprechen. „Dieselbe Größe passt nicht jedem.“ › Eine nahtlose Interaktion soll möglich sein, ohne dass neue Komplexität hinzugefügt wird. Grundsätze für Gestaltung natürlicher Benutzerschnittstellen Definition nach Bill Buxton, Forscher im „Xerox PARC“ und an der Universität in Toronto, wo er bereits 1985 eine Publikation zu „Multitouch Computing“ veröffentlichte. Erhielt 2008 einen Preis für sein Lebenswerk. Derzeit ist er „Chefforscher“ bei Microsoft Research
  • 13.
  • 14. Gute NUIs… 1. sind intuitiv bedienbar 2. sind dynamisch-adaptiv, passen sich also dem Nutzer und seinen Interessen an 3. unterstützen Multimedialität und Multimodalität 4. agieren nutzerzentriert 5. sind kooperativ und nicht nur interaktiv 6. geben ihren Nutzern unmittelbares und direktes Feedback 7. verhalten sich situativ-relevant und sind kontextsensitiv 8. erlauben unmittelbare direkte Interaktionen 9. sind intermedial, verknüpfen die reale mit der virtuellen Welt 10. unterstützen Multi-User-Verhalten Zehn Wesensmerkmale 
 von guten NUIs nach Henseler Problem: 
 Auch gute GUIs 
 zeichnen sich durch 
 diese Merkmale aus, 
 als Differenzierungs- merkmale taugen 
 diese Eigenschaften 
 kaum
  • 15. › Eine Metapher ist ein kognitives Modell, bei der ein Objekt in seiner Bedeutung genutzt wird und zwar so, dass eine Beziehung der Ähnlichkeit besteht. › Sie unterliegt immer einer Limitierung, da sie auf etwas verweist, anstatt es selbst zu sein. Sie ist also auch eine gedankliche Krücke, die uns zwar hilft, aber uns auch begrenzt. Über das angebliche Ende der Metapher „A metaphor is a device for seeing something in terms of something else. It brings out the thisness of that or the thatness of this.“ Burke (1945) Problem: auch das fotorealistische Abbild eines Produktes ist Metapher, Repräsentant und Platzhalter für etwas Greifbares.
  • 16. › Das intuitivste Handlungsmodell von Menschen ist das so genannte OSIT-Modell. › OSIT leitet sich aus der Physiologie des Menschen ab, es existiert weltweit und gilt für jedes menschliche Individuum, egal ob jung oder alt und unabhängig vom jeglichen Bildungs- und Entwicklungsstand. › Jeder von uns nutzt dieses archaische mentale Modell tausende Male am Tag, ohne dass die meisten von uns je darüber nachgedacht haben, dass sie es nutzen – es ist eben intuitiv (Laden, Bushaltestelle, Tankstelle, Wandern). Das OSIT Modell - natürliches Handlungsschema aller Menschen
  • 17. Scheiß Beispiel:
 Das OSIT Modell in der Anwendung bei HD+ (Screenshot) -Keine Orientierung -Keine Infos wonach diese Kisten denn nun sortiert sind IST DAS DER
 RICHTIGE RECEIVER FÜR MICH? http://www.hd-plus.de/#/alles-ueber-hd-plus/produktfinder
  • 18. http://www.patisserie.de
 Aufgabe: Finde den gefüllten Bratapfel in 2 Minuten. Los!
  • 20. ›Texteingabe via Touchdisplay
 Wer tippt gerne einen längeren Text auf dem iPad? Das Problem ist das fehlende haptische Feedback und der Umstand, dass die Tastatur die Hälfte des Bildschirms füllt. › Ein elektrostatisches Feld auf dem Display (Feelscreens mit Tixel) könnte Ersteres immerhin in absehbarer Zeit beheben.
  • 21. ›OK Google
 Sprachbefehle erfassen ist momentan noch recht unzuverlässig und funktioniert oft nur in ruhiger Umgebung und mit klarer Aussprache. › Zudem ist Sprache an vielen Ort eine wenig willkomme Form der Kommunikation, siehe Bibliothek, öffentliche Verkehrsmittel oder das Quatschen im Supermarkt.
  • 22. ›Versteckspiel › Auswahl und Ausführung (bei Finger- und Körper- gesten): Auch aus Platzgründen werden Elemente, die nicht unmittelbar benötigt werden, gerne versteckt und tauchen erst bei direktem Bedarf auf. › Sichtbarkeit ist aber ein wichtiger Faktor beim Gestalten von Interfaces, Interaktionsmöglichkeiten können sonst leicht übersehen werden. Die Wege zu Funktionen werden zudem deutlich länger.
  • 23. ›Shortcuts und Copy & Paste
 Ohne Frage sind Geräte wie das iPad zum Schreiben ungeeignet. Ein Grund dafür ist die derzeit noch ungemein umständliche Fummelei bis sich ein Textblock von einer Stelle zu einer anderen fügt. Mit Force Touch ließe sich dieses Problem evtl. beheben. › Aber auch das Fehlen von Shortcuts erschweren das Arbeiten mit Touchgeräten: verfügbare Funktionen ohne Geste müssen abgebildet werden. Apples Patentantrag 111164 beschreibt 
 ein flexibles Display mit taktilen Elementen
  • 24. Nette Geste › Nicht alle Gesten sind natürlich, komplexere Gesten müssen gelernt werden und wirken wie das Greifen in die Luft recht unnatürlich („Geistergestik“, Ralf Kienzler, 2015). › Gesten werden in verschiedenen Kulturkreisen tlw. unterschiedlich gedeutet. Nicht alle Menschen verstehen unter kopfschütteln „nein“ und nicken „ja“. › Gesten müssen standardisiert werden, damit wir sie auf vielen Geräten intuitiv verwenden können. Standards sind manchmal wichtiger als Usability und Optimierung, denkt hier beispielsweise an Tastaturen. › Mangelndes Feedback: Da Gesten „vergänglich“ sind, ist oft unklar, ob ein Befehl richtig erfasst wurde oder warum etwas nicht funktioniert hat (Trial & Error).
  • 25. ›No gorilla arm
 „Humans weren’t meant to do many tasks with hands up in front of their bodies for long periods of time. Sorry Minority Report.“ › Dan Saffer, Creative Director Jawbone
  • 26. ›Und hier noch ein paar Kuriositäten ›Beispiel zu realistische Simulation: wii Kegeln. Hier war die Steuerung zu natürlich. Ein Armband musste den Nutzer davor schützen, das Spielgerät auf den eigenen Fernsehen zu werfen. ›Touch-Geräte sind inzwischen so angenommen, dass Menschen beginnen veraltete Geräte wie noch viele Fahrkartenautomaten ohne Touch-Displays mit Gesten bedienen zu wollen. ›Kinder, die versuchen, den Fisch im Aquarium zu vergrößern, indem sie auf der Scheibe zwei Finger auseinanderziehen.
  • 28. ›Programmsteuerung 
 per Eye Tracking 
 EyeSeeMed von ESINOMED ermöglicht hand- und sprachfreien Zugriff auf Daten während Operationen
  • 29. ›GoCam
 Die Selfie-Kamera "GoCam feat aBubbl" steuern Sie einfach per Geste. Am iPhone und iPad gelingen damit verrekungsfreie Selbstportraits.
  • 30. ›MSN Kochen & Genuss App
 Die Anwendung ermöglicht das Aktivieren des Freihand-Modus, so dass der Nutzer nur mit einer Handbewegung die Seiten des Kochbuchs wenden kann und das Display nicht verschmiert.
  • 31. Kinect for Windows Retail Clothing Scenario Video
  • 32. › Der nächste Schritt: Internet der Dinge (IoT) › Direkte Vernetzung von Gegenständen. Das Interface tritt mehr und mehr in den Hintergrund. Interaktion findet direkt mit dem Gegenstand direkt statt.
  • 33. › Kissen und Kollegen › Each person has a wristband they wear to bed at night and a small speaker which you place inside your pillow case. The wristband picks up your realtime heartbeat and transmits it via smartphone app to the other person's pillow. Placing your head on your own pillow enables you to hear the realtime heartbeat of your loved one. The result is an intimate interaction between two lovers, regardless of the distance between them.
  • 34. Vielen Dank für das Interesse und eure Aufmerksamkeit! In Basecamp findet sich eine Sammlung mit nützlichen Links zum Thema.
  • 36. ›Breaking News zu Enrico Herzog
 Herr Herzog wurde aufgrund eines schlechten Aprilscherz vorläufig festgenommen und steht momentan für NUI Fragen nicht zur Verfügung.