Frameworks und Prozessoren

ARS
Frameworks und Prozessoren
von CoreML bis Loihi.
Der KI-Markt zu Jahreswende 17/18
Dr. Thorsten Gressling, Business Lead Cognitive and AI
ARS Computer und Consulting GmbH

© ARS Computer und Consulting GmbH 2017
PROZESSOREN UND FRAMEWORKS
2
ARSEinsatzszenarien
IBM
Prozessor: TrueNorth
Framework: CoreLet
Scope: Datacenter
10/2017

3
ARSIBM TrueNorth

4
ARSFrameworks - IBM

5
ARSFrameworks - IBM

6
ARSFrameworks - IBM

7
ARSFrameworks - IBM

8
ARSFrameworks - IBM

9
ARSFrameworks - IBM

10
ARSEinsatzszenarien
Apple
Prozessor: A11 (Bionic)
Framework: CoreML
Scope: End User
10/2017

11
ARSFrameworks – CoreML – A11-Bionic
iPhone X, iPhone 8 und iPhone 8 Plus
Aus Abbildungen wird ersichtlich, dass der für Face-ID genutzte KI-
Chip namens Neural-Engine fast so viel Platz auf dem Die einnimmt,
wie mehrere CPU-Kerne.
Das in 10 nm gefertigte System-on-a-chip (SoC) fällt mit 87,66 mm²
klein aus. Apples Neural-Engine wird nicht nur für Face-ID genutzt.
Auch die Siri-Spracherkennung soll Nutzen aus den 600 Giga-Ops
Rechenleistung ziehen können.

12
ARSFrameworks - CoreML

13
ARSFrameworks - CoreML

14
ARSFrameworks – CoreML - Models

15
ARSEinsatzszenarien
Qualcomm
Prozessor: Snapdragon 835
Framework: NPE und Zeroth
Scope: End User
10/2017

16
ARSFrameworks – Qualcomm Snapdragon

17
The Hexagon DSP and its wide vector extensions (HVX) offer an
impressive power and performance mix for running neural networks
on device. In addition to support via the Snapdragon Neural
Processing Engine SDK, TensorFlow is directly supported on the
Hexagon DSP Qualcomm® Zeroth™ Machine Intelligence
Platform

18

19

21
ARSEinsatzszenarien
Samsung
Prozessor: Exynos 9810
Framework: - (announced for Bixby)
Scope: End User
10/2017

22
ARSFrameworks – Samsung Exynos 8895
9810 – Real Neural Engine co-processor
Exynos 8895 in Samsung Galaxy S8 Plus and the DeePhi
specializes developing deep learning AI algorithms to go with
its neural network chip designs, and Samsung might have
possibly invested in the startup in order to develop a Neural
Engine co-processor for the next Exynos SoC, which might be
named Exynos 9810. This chip is going to be found in the
Galaxy S9.
Kunden: DeePhi Tech’s homepage: along with China’s fabless
chipmaker MediaTek, US fabless Xilinx and cloud service
provider Amazon Web Services.

23
ARSEinsatzszenarien
Huawei
Prozessor: Kirin 970
Framework: -
Scope: End User
10/2017

24
ARSFrameworks – Huawei Kirin
„Huawei stellt sein Mate 10 mit
dem neuen Chipsatz Kirin 970 mit
separater NPU vor.
Die HiSilicon AI genannte Neural-
Engine ist zum Beispiel beim
Erkennen von 200 Fotos um 25
Prozent schneller.“

25
ARSEinsatzszenarien
Google
Prozessor: TPU 2.0
Framework: Tensorflow
Scope: Datacenter
10/2017

26
ARSGoogle

27
ARSFrameworks - Google
Alphabet's Google introduced its TensorFlow open-source
framework for machine learning in November 2015, and then
unveiled a custom tensor processing unit, or TPU, six months later.
Meanwhile startups like Deep Vision and Mythic have been working
on processors that could be plunked into smaller devices, as
opposed to data centers, where Google's TPUs are located.
Google has already designed two generations of chips for handling
AI computing workloads in data centers.
The chief limiting factor between Google’s TPU and higher performance is memory bandwidth.
Google’s models show TPU performance improving 3x if memory bandwidth is increased 4x over
current designs. No other set of enhancements, including clock rate improvements, larger
accumulators, or a combination of multiple factors has much of an impact on performance.

28
ARSEinsatzszenarien
Intel
Prozessor: Portfolio an KI-
Plattformen
Framework: Open Neural Network
Exchange Ecosystem
Scope: (various)
10/2017

29
ARSIntel
Mittlerweile umfasst das Angebot:
FPGA-Beschleuniger
Xeon (CPU ??)
Xeon Phi
Movidius Myriad X
NERVANA NNP (neu) … Loihi ? …
Keine GPU!
Die von CEO Krzanich angeordnete Neuausrichtung auf
Produkte für KI-Anwendungen treibt die Intel-Aktie merklich an.
Seit September legte der Chiphersteller um 14 Prozent zu.

30
ARSLoihi (ab Nov 17)
A total of 130,000 neurons and 130 million synapses.
Fully asynchronous neuromorphic many core mesh that supports a
wide range of sparse, hierarchical and recurrent neural network
topologies with each neuron capable of communicating with
thousands of other neurons.

31
ARSIntel Loihi
Loihi arbeitet nach dem Prinzip des Neuromorphic Computing und
verwendet einen Ansatz namens Asynchronous Spiking. Laut Michael
Mayberry, dem Vice President der Intel Labs, kombiniert der Chip das
Training und das Interferencing und muss nicht erst mit neuen
Informationen versorgt werden. Loihi unterstützt Topologien wie
mehrschichtige oder rekurrente neuronale Netze und kann
bestärkende oder überwachte Lernparadigmen umsetzen.
Verglichen mit bisher typischen Chips für Training, etwa
Beschleunigern wie Intels Xeon Phi Knights Mill, die kommenden
Lake-Crest-ASICs oder Nvidas Tesla V100, soll Loihi um den Faktor
1.000 effizienter vorgehen. Dabei hilft die moderne Fertigung, da Intel
den Chip ab November 2017 in einem 14-nm-Verfahren produzieren
will. Im ersten Halbjahr 2018 sollen Forschungsanstalten und
Universitäten erstmals Zugriff auf Loihi bekommen.

32
ARSIntel

33
ARSIntel

34
ARSIntel – 2. DLDT

35
ARSIntel – 1. Nervana Graph

36
ARSIntel – 3. RLC

37
ARSIntel – Nun endlich: ONNX

38
ARSIntel
As part of Intel’s commitment to furthering artificial intelligence
across the industry, Intel announced that it is joining Microsoft*,
Facebook*, and others to participate in the Open Neural Network
Exchange (ONNX) project. By joining the project, we plan to further
expand the choices developers have on top of frameworks powered
by the Intel® Nervana™ Graph library and deployment through
our Deep Learning Deployment Toolkit. Developers should have the
freedom to choose the best software and hardware to build their
artificial intelligence model and not be locked into one solution

39
ARSWeitere Einsatzszenarien
AMD
Nvidia

44
ARSMicrosoft

45
ARSWarum ist eine solche Diskussion notwendig?
Digitalisierung hat i.d.R. aktuell die höchste Priorität
In 2-3 Jahren sind Themen wie API Economy „commodity“
Wir befinden uns im Anbruch der kognitiven Ära
Cognitive Computing kann die bestehende
Digitalisierungsstrategie unterstützen, optimieren
oder revolutionieren
Bestimmte Branchen sind prädestiniert für
den Einsatz kognitiver Lösungen
Es werden Forderungen kommen von…
 … Geschäftsführung / Vorstand
 … Business Development
 … Fachbereichen (Marketing, Vertrieb, Controlling,…)
… und last but not least: Partner und Kunden

46
ARSARS Computer und Consulting GmbH
 ARS Computer und Consulting GmbH ist eines der führenden Unternehmen im Bereich
Software Engineering
 Unsere Mission: hochwertige Beratung und erfolgreiche Projekte zur Entwicklung
qualitativ exzellenter Software: The Art of Software Engineering
 Seit über 20 Jahren hat unser Team die Kreativität, das Wissen, die Übung und Intuition,
die unsere Kunden für ihre erfolgreichen Softwareprojekte benötigen. Wir entwickeln
nicht nur individuelle Software, sondern unterstützen unsere Kunden bei Ihren
Entwicklungsprojekten ganzheitlich. Vom Design über Architekturberatung, Entwicklung,
Qualitätssicherung, Betriebskonzepte mit DevOps bis hin zur Einführung eines Application
Lifecycle Managements.
 Im Fokus dabei: die „ARS Golden 4“. Microservices-Architekturen, umgesetzt mit agilen
Entwicklungsmethoden, unterstützt durch DevOps-Tools und -Prozesse, mit einer klaren
Ausrichtung auf APIs – nach innen und nach außen.
 Unsere Vision: Kognitive Lösungen sind für uns die Zukunft, deshalb arbeiten wir schon
jetzt mit Machine Learning von der Apple Smartwatch bis zum IBM Mainframe:
Software Engineering for a Cognitive World
Lassen Sie uns gemeinsam Neues schaffen, das begeistert.

47
ARSKontaktinformationen
Für Fragen und weitere Informationen stehe ich Ihnen gerne
zur Verfügung:
Dr. Thorsten Gressling
thorsten.gressling@ars.de
+49 89 32468-2035
ARS Computer und Consulting GmbH
Ridlerstraße 37
80339 München
www.ars.de

Frameworks und Prozessoren

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie Frameworks und Prozessoren

Ähnlich wie Frameworks und Prozessoren (20)

Frameworks und Prozessoren