Azure Notebooks

1. Azure Notebooks
Tillmann Eitelberg

2. Sponsors
Many thanks to our sponsors, without
whom such an event would not be possible.

3. Sponsors
Many thanks to our sponsors, without whom such an
event would not be possible.

4. Über mich ...
Tillmann Eitelberg
CEO oh22information services GmbH
PASS Regional Mentor Germany
Vice-president PASS Germany
Chapter Leader Cologne/Bonn, Germany
Microsoft Data Platform MVP
https://www.linkedin.com/in/tillmanneitelberg/
@_Tillmann
www.decompose.io
https://pleasetalkdatatome.de
https://github.com/TEitelberg
www.oh22.is

5. Computational Notebooks

6. Computational Notebooks
- Erste Versionen von Computational Notebooks als Frontends
mitte der 1980er von Matlab, Mathematica & Maple
- interaktive Erstellung und Bearbeitung von Notebook-
Dokumenten
- formatierter Programmcode
- formatierter Text
- verschiedene Funktionen für Mathematik, Grafiken, GUI-
Komponenten, Tabellen und Sounds
- Standard-Textverarbeitungsfunktionen
- mehrsprachige Rechtschreibprüfung
- Ausgabe als Präsentation

8. IPython (Interactive Python)
- Erste Version in 2001 von Fernando Pérez entwickelt
- Projekt stark beeinflusst von Mathematica und Maple
- Kommandozeileninterpreter
- Ermöglicht interaktives Arbeiten mit Python
- Verschiedene Frontends (Terminal, browserbasiert)

9. IPython (Interactive Python)
- Trennung von Backend (Pythoninterpreter) und Frontend
- Kernel - führen Code aus
- Clients - lesen Eingaben und präsentieren Ausgaben
- REPL (Read – Eval – Print – Loop) als Protokoll
- Mit IPython 4.0 sind die sprachunabhängigen Teile des
Projekts in das Projekt Jupyter umgezogen.

10. Ipython Kernel
- IPython Kernel ist ein
eigenständiger Prozess
- verantwortlich für die
Ausführung von Benutzercode
- Frontends kommunizieren
mittels JSON Nachrichten
über ØMQ Sockets
- Ein Kernelprozess kann mit
mehreren Frontends
gleichzeitig kommunizieren
(gemeinsame Variablen)

13. Jupyter Notebooks
- Ausgliederung aus dem IPython Projekt
- Direkte Unterstützung der Sprachen Julia, Python und R
- Webbasierte Interactive Computing Umgebung
- REPL Ansatz
- Wird stark im Bereich Data Science und in der Lehre
eingesetzt
- Notebooks können geteilt werden
- Notebooks können in verschiedenen Formaten exportiert
werden
- Default Notebook Files „.ipynb“ sind JSON Dateien

14. Jupyter Notebook UI

15. Jupyterlab UI

16. Jupyter Kernel
- Sprachunabhängig
- Jupyter Notebooks verwenden den IPython Kernel
- Weitere Sprachen werden als IPython Kernel
Wrapper implementiert oder als native Kernels
- Über 100 Kernel
(https://github.com/jupyter/jupyter/wiki/Jupyter-
kernels)
- Unterstützung für PowerShell oder C#

17. Notebooks
User Browser
Notebook
Server
Kernel
Notebook
File
ØMQ
HTTP &
Websockets

18. Jupyter - Ein visueller Überblick
https://jupyter.readthedocs.io/en/latest/architecture/visual_overview.htm

19. JupyterHub
- Jupyter Notebooks sind Einzelbenutzeranwendungen
- Für Multi-User Anwendungen sollte der JupyterHub
eingesetzt werden
Jupyter
Hub

21. Anaconda – Lokale Installation
- (Python) Data Science Distribution
- Package Manager
- Kollektion von über 1000+ Open Source Packages
- Environment Manager
- Jupyter Notebooks, IPython, Orange3, RStudio,
Spyder
- Einfache Installation unter Windows

22. DEMO
Jupyter mit Anaconda

23. Azure Notebooks

24. Azure Notebooks
- https://notebooks.azure.com
- Aktuell in der Preview Version
- PaaS Variante der Jupyter Notebooks
- Kostenloses Azure Angebot
- 4 GB Hauptspeicher pro Session
- Microsoft hält sich das recht vor, Speicher nach 60
Tagen Inaktivität zu löschen

25. Azure Notebooks
- Shutdown nach 60 Minuten inaktivität, Notebooks
werden vorher gespeichert
- Ist das Notebook nicht mit einem Notebook-Server
verbunden, können Änderungen nicht gespeichert
werden
- Bei Verbindungsproblemen zum Server, kann auch eine
„Connection failed“ Meldung kommen
- Über das Menü „Kernel“ stehen verschiedene Kernel-
Optionen zur Verfügung (Interrupt, Restart, Reconnect)

26. Azure Notebooks
- können als Slideshow dargestellt werden
- können in verschiedenen Formaten exportiert werden
- Kernel für die Sprachen Python, R und F#
- Python Packages können via pip oder conda installiert
werden
- R Packages können via CRAN oder Github installiert
werden
- F# Packages können über nuget.org installiert werden

27. Azure Notebook Library

28. Azure Notebook Library
- Libraries können Public oder Private sein
- Über Environments können Setup Schritte für den
Start einer Library hinzugefügt werden
- GitHub Repos können als vollständige Library
importiert werden
- HTML Vorschau für Public Libraries
- Libraries können geklont werden

29. Azure Notebook Library
- Zugriff auf die Libraries via Terminal
- Änderungen am dadrunter liegenden System, falls
die Azure Notebooks Fehler erzeugen
mv “05 – F# Beispiele.ipynb“ “05 – F Beispiele.ipynb“

30. Azure Notebook Library

31. Azure Notebooks - Benchmark
- Matrix-Matrix Multiplikation als Benchmark Test
(http://www.walkingrandomly.com/?p=6351)
- Vergleich Azure Notebooks vs Thinkpad X1 Yoga
Max. 44 GFlop/s Max. 69 GFlop/s

32. DEMO
101

33. DEMO
Python

34. DEMO
R

35. DEMO
F#

36. DEMO
Python und Azure

37. DEMO
Beautiful Charts

38. DEMO
Comparing Clones

39. Comparing Clones

40. Comparing Clones

41. Azure Notebooks
Security

42. Security
- Jupyter Notebooks unterstützen
- Token-based Authentication (Standard)
- Password Authentication
- No Authentication
- Azure Notebooks verwenden Authentifizierung via
Microsoft Accounts
- Azure Notebooks verwenden direkt SSL

43. Kernel Installation

44. Julia
- Installation von Julia
https://julialang.org/downloads
- Pkg.add(“IJulia“)

45. Weitere Kernel
- R
conda install r-essentials
- JavaScript
npm install –g ijavascript

46. Tools und andere Dinge

47. Nbviewer.org

48. Nteract

49. mybinder.org

50. Docker Images
docker run -it --rm -p 8888:8888 jupyter/minimal-
notebook
docker run -it --rm -p 8888:8888 jaykul/powershell-
notebook-base

51. Books
- Python Data Science Handbook
https://github.com/jakevdp/PythonDataScienceHandbook
- Probabilistic Programming and Bayesian Methods for Hackers
https://github.com/CamDavidsonPilon/Probabilistic-
Programming-and-Bayesian-Methods-for-Hackers
- Numerical Computing is Fun
https://github.com/mikkokotila/jupyter4kids
- Python for Developers
http://ricardoduarte.github.io/python-for-developers/
- IPython Cookbook
https://github.com/ipython-books/cookbook-2nd-code

52. Links
• ZeroMQ - http://zeromq.org/
• Jupyter Documentation - http://jupyter.readthedocs.io
• Jupyter - http://jupyter.org/
• Anaconda - https://anaconda.org/
• JupyterLab - https://jupyterlab.readthedocs.io/
• Anaconda Cheat Sheet
https://docs.anaconda.com/_downloads/Anaconda-Starter-Guide-Cheat-Sheet.pdf
• Jupyter Notebook Tutorial: The Definitive Guide
https://www.datacamp.com/community/tutorials/tutorial-jupyter-notebook
• F# CheatSheet
https://dungpa.github.io/fsharp-cheatsheet/
• Run R and Python Remotely in SQL Server from Jupyter Notebooks or any IDE
https://blogs.msdn.microsoft.com/mlserver/2018/07/10/run-r-and-python-remotely-in-
sql-server-from-jupyter-notebooks-or-any-ide/

53. Many thanks to all volunteers!
Ben Kettner
Volker Bachmann
Cornelia Matthesius
Gabi Münster
Kai Gerlach
Alexander Klein
Björn Peters
Christa Kurschat
Christian Gräfe
Dirk Hondong
Dominik Petri
Henrik Schütze
Kai Michael Poppe
Klaus Betzing
Nadine Witthöft
Tobias Blödt
Rafael Dabrowski
Tanja Salwiczek

54. SQLSaturday #772 - Munich
27.10.2018
http://www.sqlsaturday.com/772

55. PASS Deutschland e.V.
For further information about future events, visit our
PASS Deutschland e.V. booth in the exhibitor area.

56. Sponsors
Many thanks to our sponsors, without
whom such an event would not be possible.

57. Sponsors
Many thanks to our sponsors, without whom such an
event would not be possible.