Analytics meets Big Data – R/Python auf der Hadoop/Spark-PlattformRising Media Ltd.
Big Data verändert nicht nur die Unternehmens-IT fundamental, sondern auch die Arbeit des Analysten. Die klassischen Analysten sehen sich im Zuge des Wandels zu einer datengetriebenen Unternehmenskultur mit neuen Anforderungen und ungewohnten technologischen Plattformen konfrontiert. Sie müssen als Data Scientist fachliche Fragestellungen unter dem Aspekt der Big Data-Technologien umsetzen, visualisieren und aus den Daten Werte generieren. Anhand eines konkreten Use Cases, der Programmierung eines Recommender-Systems, zeigen wir Ansätze, wie sich die gewohnten Vorgehensweisen und Werkzeuge eines Analysten (namentlich R und Python) mit einer Big Data-Technologie (Spark) kombinieren lassen. Ziel ist es, dem Analysten den Einstieg in die Big Data-Welt zu erleichtern. Wir demonstrieren die Arbeit mit diesem Toolset an anschaulichen Beispielen in einem interaktiven Workshop-Format und laden zur Diskussion und Nachahmung dieser Vorgehensweise ein. Der Workshop richtet sich an Teilnehmer mit Grundkenntnissen aus den Bereichen analytische Methoden und Machine Learning sowie R oder Python. Der Workshop wird auf der Spark-Plattform durchgeführt. Zu Spark werden keine Kenntnisse vorausgesetzt.
www.opitz-consulting.com
Nicht immer stehen einem DBA GUI-basierte (und oftmals teure) Tools zur Verfügung, um ein Performance-Problem in der Datenbank zu analysieren. Mit den vorhandenen "Bordmitteln" der Datenbank und einigen, kostenfreien Tools kann man jedoch auch eine gute Diagnose stellen. Dieser Vortrag widmet sich einer Auswahl dieser Werkzeuge und legt einen Schwerpunkt auf die Möglichkeiten, die einem ohne Diagnostics Pack oder in der Standard Edition zur Verfügung stehen. Außerdem gibt es einen Ausblick auf frei verfügbare, externe Tools.
Betrachtet werden unter anderem:
- amon: Ein "top" für die Datenbank
- Statspack in Kombination mit SQL Developer
- Verarbeiten von SQL Traces mit OraSRP
- SQLT und sqlhc, um SQL zu "durchleuchten"
Diesen Vortrag präsentierte unser Datenbankexperte Uwe Küchler bei der DOAG Konferenz 2017.
Analytics meets Big Data – R/Python auf der Hadoop/Spark-PlattformRising Media Ltd.
Big Data verändert nicht nur die Unternehmens-IT fundamental, sondern auch die Arbeit des Analysten. Die klassischen Analysten sehen sich im Zuge des Wandels zu einer datengetriebenen Unternehmenskultur mit neuen Anforderungen und ungewohnten technologischen Plattformen konfrontiert. Sie müssen als Data Scientist fachliche Fragestellungen unter dem Aspekt der Big Data-Technologien umsetzen, visualisieren und aus den Daten Werte generieren. Anhand eines konkreten Use Cases, der Programmierung eines Recommender-Systems, zeigen wir Ansätze, wie sich die gewohnten Vorgehensweisen und Werkzeuge eines Analysten (namentlich R und Python) mit einer Big Data-Technologie (Spark) kombinieren lassen. Ziel ist es, dem Analysten den Einstieg in die Big Data-Welt zu erleichtern. Wir demonstrieren die Arbeit mit diesem Toolset an anschaulichen Beispielen in einem interaktiven Workshop-Format und laden zur Diskussion und Nachahmung dieser Vorgehensweise ein. Der Workshop richtet sich an Teilnehmer mit Grundkenntnissen aus den Bereichen analytische Methoden und Machine Learning sowie R oder Python. Der Workshop wird auf der Spark-Plattform durchgeführt. Zu Spark werden keine Kenntnisse vorausgesetzt.
www.opitz-consulting.com
Nicht immer stehen einem DBA GUI-basierte (und oftmals teure) Tools zur Verfügung, um ein Performance-Problem in der Datenbank zu analysieren. Mit den vorhandenen "Bordmitteln" der Datenbank und einigen, kostenfreien Tools kann man jedoch auch eine gute Diagnose stellen. Dieser Vortrag widmet sich einer Auswahl dieser Werkzeuge und legt einen Schwerpunkt auf die Möglichkeiten, die einem ohne Diagnostics Pack oder in der Standard Edition zur Verfügung stehen. Außerdem gibt es einen Ausblick auf frei verfügbare, externe Tools.
Betrachtet werden unter anderem:
- amon: Ein "top" für die Datenbank
- Statspack in Kombination mit SQL Developer
- Verarbeiten von SQL Traces mit OraSRP
- SQLT und sqlhc, um SQL zu "durchleuchten"
Diesen Vortrag präsentierte unser Datenbankexperte Uwe Küchler bei der DOAG Konferenz 2017.
DWX 2016 - Load Testing mit Visual Studio richtig gemachtMarc Müller
Kennen Sie die berühmte Heise-Attacke, welche schnell gut funktionierende Apps, Services und Webseiten zu einem Schatten ihrer selbst verwandeln? Viele Applikationen sind schlichtweg nicht für eine große Nutzeranzahl ausgelegt bzw. Sie wurden nie gegen die große Nutzeranzahl getestet. Im Vortrag wird gezeigt wie sie einfach und frühzeitig ihre Applikation mit VS Lasttests gegen die Heise Attacke absichern können. Der inhaltliche Schwerpunkt des gesamten Vortrags liegt dabei auf typischen Praxis-Probleme sowie dessen pragmatischen Lösungsansätzen. Exemplarische Themenschwerpunkte sind dabei: Wie können Mobilapplikationen getestet werden? In welchen Situationen ergibt es Sinn, dass das VS Performance Testing Framework zu erweitern? Wie sieht eine gute Performance Testing Infrastruktur aus? Wann und wie kann ich sinnvoll Cloud Dienste einbinden?
Dokumentation durch automatisierte AkzeptanztestsSebastian Sanitz
Folien der Präsentation "Dokumentation durch automatisierte Akzeptanztests" auf der webtech 2010 von Andreas Kneifel http://www.wlw.de/ und Sebastian Sanitz http://www.it-agile.de/
Features einer Applikation werden häufig implementiert, weil die Verantwortlichen vermuten, dass diese Funktionalitäten einen Mehrwert für die Benutzer der Applikation bieten. Je nach Umfang wird mehr oder weniger Geld investiert. Ohne weitere Unterstützung sind und bleiben es jedoch Vermutungen. Eine bessere Lösung bieten hier A/B-Tests. Features werden kostengünstig in einer oder mehreren Varianten umgesetzt und mit einer Kontrollimplementierung verglichen. Die Umsetzung, die sich als die beste herausstellt, wird überarbeitet und bleibt in der Applikation erhalten. Diese Vorgehensweise lässt sich sehr gut in node.js-Applikationen integrieren. Mithilfe von A/B-Tests können Sie Ihre Applikation an den Anforderungen Ihrer Benutzer ausrichten.
ÖBB - Bahnstrombedarfsprognose- mit Advanced Analytics mehrere hunderttausend Euro Energiekosten einsparen.
In Kooperation mit ÖBB-Produktions GmbH und Cubido
Kennst du einUnternehmen, dass erfolgreichdie QS outtasked hat?“hpaustria
Kennst du einUnternehmen, dass erfolgreichdie QS outtasked hat?“
Presentation from HEROLD (www.herold.at) at the HP Ideas 2008 in Vienna/Austria.
http://www.herold.at
http://hpideas.wordpress.com
http://www.hp.com/at/ideas
http://www.opitz-consulting.com
Nicht immer stehen einem DBA GUI-basierte (und oftmals teure) Tools zur Verfügung, um ein Performance-Problem in der Datenbank zu analysieren. Mit den vorhandenen "Bordmitteln" der Datenbank kann man jedoch auch eine gute Diagnose stellen. Dieser Vortrag widmet sich einer Auswahl dieser Werkzeuge und legt einen Schwerpunkt auf die Möglichkeiten, die einem in der Standard Edition und ohne Tuning Pack zur Verfügung stehen.
Unser Experte Uwe Küchler hat beim DOAG Community Webcast am 8.4.2016 eine Auswahl von Werkzeugen vorgestellt.
--
Über uns:
Als führender Projektspezialist für ganzheitliche IT-Lösungen tragen wir zur Wertsteigerung der Organisationen unserer Kunden bei und bringen IT und Business in Einklang. Mit OPITZ CONSULTING als zuverlässigem Partner können sich unsere Kunden auf ihr Kerngeschäft konzentrieren und ihre Wettbewerbsvorteile nachhaltig absichern und ausbauen.
Besuchen Sie unsere Homepage: http://www.opitz-consulting.com
Sie betreiben eine Oracle Datenbank, kennen Oracle Application Express jedoch nicht? Lernen Sie in diesem Vortrag wie APEX für Sie einen Mehrwert schaffen kann.
Open Source ist trotz seiner über 20-jährigen Geschichte immer noch top aktuell. Das Referat blickt zurück auf die letzten 15 Jahre Open Source Aktivitäten, zeigt auf was funktioniert hat und was nicht, und fasst die Learnings zusammen. Ausserdem wird ein Ausblick auf die Open Source Aktivitäten im 2021 gegeben wie beispielsweise die neue Open Source Studie, der Open Source Benchmark und das neue OSS Directory.
Weitere ähnliche Inhalte
Ähnlich wie Open Data Vorlesung Termin 11: Skalen und Achsen, Programming Coaching
DWX 2016 - Load Testing mit Visual Studio richtig gemachtMarc Müller
Kennen Sie die berühmte Heise-Attacke, welche schnell gut funktionierende Apps, Services und Webseiten zu einem Schatten ihrer selbst verwandeln? Viele Applikationen sind schlichtweg nicht für eine große Nutzeranzahl ausgelegt bzw. Sie wurden nie gegen die große Nutzeranzahl getestet. Im Vortrag wird gezeigt wie sie einfach und frühzeitig ihre Applikation mit VS Lasttests gegen die Heise Attacke absichern können. Der inhaltliche Schwerpunkt des gesamten Vortrags liegt dabei auf typischen Praxis-Probleme sowie dessen pragmatischen Lösungsansätzen. Exemplarische Themenschwerpunkte sind dabei: Wie können Mobilapplikationen getestet werden? In welchen Situationen ergibt es Sinn, dass das VS Performance Testing Framework zu erweitern? Wie sieht eine gute Performance Testing Infrastruktur aus? Wann und wie kann ich sinnvoll Cloud Dienste einbinden?
Dokumentation durch automatisierte AkzeptanztestsSebastian Sanitz
Folien der Präsentation "Dokumentation durch automatisierte Akzeptanztests" auf der webtech 2010 von Andreas Kneifel http://www.wlw.de/ und Sebastian Sanitz http://www.it-agile.de/
Features einer Applikation werden häufig implementiert, weil die Verantwortlichen vermuten, dass diese Funktionalitäten einen Mehrwert für die Benutzer der Applikation bieten. Je nach Umfang wird mehr oder weniger Geld investiert. Ohne weitere Unterstützung sind und bleiben es jedoch Vermutungen. Eine bessere Lösung bieten hier A/B-Tests. Features werden kostengünstig in einer oder mehreren Varianten umgesetzt und mit einer Kontrollimplementierung verglichen. Die Umsetzung, die sich als die beste herausstellt, wird überarbeitet und bleibt in der Applikation erhalten. Diese Vorgehensweise lässt sich sehr gut in node.js-Applikationen integrieren. Mithilfe von A/B-Tests können Sie Ihre Applikation an den Anforderungen Ihrer Benutzer ausrichten.
ÖBB - Bahnstrombedarfsprognose- mit Advanced Analytics mehrere hunderttausend Euro Energiekosten einsparen.
In Kooperation mit ÖBB-Produktions GmbH und Cubido
Kennst du einUnternehmen, dass erfolgreichdie QS outtasked hat?“hpaustria
Kennst du einUnternehmen, dass erfolgreichdie QS outtasked hat?“
Presentation from HEROLD (www.herold.at) at the HP Ideas 2008 in Vienna/Austria.
http://www.herold.at
http://hpideas.wordpress.com
http://www.hp.com/at/ideas
http://www.opitz-consulting.com
Nicht immer stehen einem DBA GUI-basierte (und oftmals teure) Tools zur Verfügung, um ein Performance-Problem in der Datenbank zu analysieren. Mit den vorhandenen "Bordmitteln" der Datenbank kann man jedoch auch eine gute Diagnose stellen. Dieser Vortrag widmet sich einer Auswahl dieser Werkzeuge und legt einen Schwerpunkt auf die Möglichkeiten, die einem in der Standard Edition und ohne Tuning Pack zur Verfügung stehen.
Unser Experte Uwe Küchler hat beim DOAG Community Webcast am 8.4.2016 eine Auswahl von Werkzeugen vorgestellt.
--
Über uns:
Als führender Projektspezialist für ganzheitliche IT-Lösungen tragen wir zur Wertsteigerung der Organisationen unserer Kunden bei und bringen IT und Business in Einklang. Mit OPITZ CONSULTING als zuverlässigem Partner können sich unsere Kunden auf ihr Kerngeschäft konzentrieren und ihre Wettbewerbsvorteile nachhaltig absichern und ausbauen.
Besuchen Sie unsere Homepage: http://www.opitz-consulting.com
Sie betreiben eine Oracle Datenbank, kennen Oracle Application Express jedoch nicht? Lernen Sie in diesem Vortrag wie APEX für Sie einen Mehrwert schaffen kann.
Open Source ist trotz seiner über 20-jährigen Geschichte immer noch top aktuell. Das Referat blickt zurück auf die letzten 15 Jahre Open Source Aktivitäten, zeigt auf was funktioniert hat und was nicht, und fasst die Learnings zusammen. Ausserdem wird ein Ausblick auf die Open Source Aktivitäten im 2021 gegeben wie beispielsweise die neue Open Source Studie, der Open Source Benchmark und das neue OSS Directory.
Data Colonialism and Digital Sustainability: Problems and Solutions to Curren...Matthias Stürmer
The global datasphere is growing from 60 Zettabytes today to 175 Zettabytes in 2025. Much of this data and software is privately controlled by American and Chinese corporations with enormous market power. Only the seven largest big tech companies such as Microsoft, Facebook, Alibaba or Tencent already have a market capitalization of over USD 8700 billion, which is almost three times India's GDP. This trend is called data colonialism of the cyber space. What problems arise from this and how can they be solved? The concept of digitale sustainability addresses this challenge by presenting a new pathway towards greater data sovereignty.
Fachveranstaltung «Nachhaltiges Finanzmanagement für Städte» der Konferenz der städtischen Finanzdirektorinnen und –direktoren 18. September 2020, Bern
PD Dr. Matthias Stürmer
Forschungsstelle Digitale Nachhaltigkeit
Institut für Informatik
Universität Bern
IntelliProcure - Nutzer, Medienecho, Features und PreiseMatthias Stürmer
IntelliProcure ist eine praktische Analyse- und Daten-Plattform für Unternehmen und Behörden im öffentlichen Beschaffungsumfeld. Mittels tagesaktuellen Daten und Dokumente von Simap.ch werden Informationen zu allen aktuellen und vergangenen Ausschreibungen, Zuschlägen und weiteren Meldungen zugänglich gemacht. Bei laufenden Beschaffungen können potentielle Anbieter identifiziert werden und alle verfügbaren Unterlagen (Pflichtenhefte, Excel-Sheets etc.) mittels Volltextsuche durchsucht werden.
Durch intelligente Filter- und Gruppierungsmöglichkeiten von Beschaffungskategorien (mittels Common Procurement Vocabulary CPV-Codes) können alle Aufträge an bestimmte Anbieter oder alle Ausschreibungen von gewissen Beschaffungsstellen untersucht werden. Tägliche Email-Benachrichtigungen von neuen Ausschreibungen und Zuschlägen finden alle Stichworte sowohl Meldungstext als auch innerhalb der gesamten Ausschreibungsunterlagen.
Vorstellung DINAcon, Parldigi, Forschungsstelle Digitale Nachhaltigkeit und C...Matthias Stürmer
Kurze Vorstellung am Netzpolitik-Frühlingstreffen 2020 der Konferenz für digitale Nachhaltigkeit DINAcon, der Parlamentarische Gruppe Digitale Nachhaltigkeit Parldigi, der Forschungsstelle Digitale Nachhaltigkeit der Universität Bern und dem Open Source Förderverein CH Open durch Francesca Giardina und Matthias Stürmer
Der Begriff der nachhaltigen Entwicklung stammt aus einer Zeit ohne Internet und Digitalisierung. Darum braucht es dringend eine Erweiterung des Nachhaltigkeitsbegriffs: Nicht mehr nur die physische Welt mit ökologischen, sozialen und ökonomischen Ressourcen ist schützenswert, sondern auch die virtuelle Welt mit dem digitalen Wissen muss im Interesse unserer Gesellschaft besser geschützt werden.
Matthias Stürmer, Leiter Forschungsstelle Digitale Nachhaltigkeit der Universität Bern und Geschäftsführer der Parlamentarischen Gruppe Digitale Nachhaltigkeit
Vortrag am Donnerstag, 21. November 2019 im PROGR in Bern
Alle sprechen von künstlicher Intelligenz. Was ist das genau und wo wird sie eingesetzt? Was sind unsere Hoffnungen und Erwartungen diesbezüglich? In Zusammenarbeit mit Apropos_ eine Initiative der Stiftung Risiko Dialog sucht die SATW und die Akademien der Wissenschaften Schweiz das Gespräch mit der Bevölkerung zum Thema „künstliche Intelligenz“. Eine Bevölkerungsumfrage ergänzt eine Expertenbefragung der TA‑SWISS und liefert eine Diskussionsgrundlage für die Veranstaltungsreihe “Künstliche Intelligenz in unserem Alltag”.
Ringvorlesung an der HSLU zu Nachhaltigkeit in Design und Kunst
Nachhaltigkeit und Digitalisierung werden intensiv diskutiert und erforscht, aber nur wenige kümmern sich um eine Verbindung dieser zwei aktuellen Entwicklungen. Wie stehen diese beiden wichtigen Themen zu einander in Relation? Sollte die digitale Transformation nachhaltiger werden oder sollte die nachhaltige Entwicklung stärker die Digitalisierung berücksichtigen?
Der Begriff der nachhaltigen Entwicklung stammt aus einer Zeit ohne Internet und Digitalisierung. Darum braucht es dringend eine Erweiterung des Nachhaltigkeitsbegriffs: Nicht mehr nur die physische Welt mit ökologischen, sozialen und ökonomischen Ressourcen ist schützenswert, sondern auch die virtuelle Welt mit dem digitalen Wissen muss im Interesse unserer Gesellschaft geschützt werden. Im Referat werden das Konzept der digitalen Nachhaltigkeit sowie aktuelle Beispiele aufgezeigt, wie das digitale Wissen besser genutzt und vor Firmeninteressen geschützt werden kann.
Digital Open World - Vortrag an der 11. Büroautomationskonferenz der SIKMatthias Stürmer
«Digital World»– Chancen und Gefahren des technischen Wandels erkennen und die Zukunft mitgestalten
11. September 2019, Luzern
Dr. Matthias Stürmer
Forschungsstelle Digitale Nachhaltigkeit
Institut für Informatik
Universität Bern
Nachhaltige Digitalisierung und digitale Nachhaltigkeit: Die zwei Seiten eine...Matthias Stürmer
Nachhaltigkeit und Digitalisierung werden intensiv erforscht, aber nur wenige kümmern sich um eine Verbindung dieser zwei aktuellen Entwicklungen. Wie stehen diese beiden wichtigen Themen zu einander in Relation? Sollte die digitale Transformation nachhaltiger werden oder sollte die nachhaltige Entwicklung stärker die Digitalisierung berücksichtigen? Ja und Ja! Das Referat zeigt die zwei Seiten der Münze auf und versucht eine Verbindung herzustellen. Dabei wird einerseits erläutert, wie die Digitalisierung besser zu Gunsten der nachhaltigen Entwicklung genutzt werden kann. Und andererseits wird anhand aktueller Beispiele aufgezeigt, wie das digitale Wissen im Interesse unserer Gesellschaft besser geschützt werden kann. In der anschliessenden Diskussion sollen die angesprochenen Thesen mit den Anwesenden diskutiert und konkrete Handlungsoptionen entwickelt werden.
Spirit of Bern 2018: Wie YouTube die Lehrkräfte und Uni-Dozierenden ablöstMatthias Stürmer
Video und Slides des Vortrags: http://www.stuermer.ch/maemst/2018/02/inverted-classroom/
Kurzvortrag von Dr. Matthias Stürmer am The Spirit of Bern 2018 – Bildung 4.0
Digitalisierung der öffentlichen Verwaltung - Ziele, Chancen, Perspektiven, R...Matthias Stürmer
Vortrag an der 12. wissenschaftlichen Tagung der SVVOR (Schweizerische Vereinigung für Verwaltungsorganisationsrecht) am 19. Januar 2018 an der Universität Fribourg
Teaching and Learning Experience Design – der Ruf nach besserer Lehre: aber wie?Isa Jahnke
Der Ruf danach, dass es bessere Lehre geben muss oder das Lehre verbessert werden sollte, ist nicht neu. Es gibt auch schon seit längerer Zeit Rufe danach, dass Lehre der Forschung in Universitäten gleichgestellt werden soll. (Und in den letzten Jahren ist in Deutschland auch einiges an positiven Entwicklungen geschehen, z.B. durch die Aktivitäten des Stifterverbands). Wie kann die Verbesserung der Lehre weitergehen? Fehlt etwas in dieser Entwicklung? Ja, sagt dieser Beitrag, der zum Nachdenken und Diskutieren anregen soll. In diesem Beitrag wird ein forschungsbasierter Ansatz zur Diskussion gestellt. Es wird argumentiert, dass Lehre nur dann besser wird, wenn es mit den Prinzipen der Wissenschaft und Forschung angegangen wird (d.h. gestalten, Daten erheben, auswerten, verbessern). Es benötigt neue Verhaltensregeln oder -prinzipien bei der Gestaltung von Lehrveranstaltungen. Das bedeutet zum Beispiel das Prinzipien der Evidenzbasierung und wissenschaftliche Herangehensweisen im Lehr-Lerndesign als zentrales Fundament etabliert werden sollte. Evidenzbasierung hier meint, folgt man der Logik der Forschung, dass Lehrveranstaltungen als Intervention verstanden werden. Mit dieser Intervention werden Studierende befähigt, bestimmte vorab festgelegte Kompetenzen zu entwickeln. Und die Frage, die sich bei jeder Lehr-Lernveranstaltung dann stellt, ist, ob diese Objectives bzw. Learning Outcomes auch erreicht wurden. Klar ist, dass die subjektive Lehrevaluation der Studierenden oder auch die Notengebnung nicht ausreichen, um diese Frage zu beantworten. Hierfür gibt es eine Reihe von Methoden, die genutzt werden können, z.B. aus dem Bereich des User- / Learning Experience Design. Diese Methoden umfassen unter anderem Usability-Tests, Learner Experience Studies, Pre-/Post-Tests, und Follow-up Interviews. Diese können zur Gestaltung und Erfassung von effektiven, effizienten und ansprechenden digitalen Lerndesigns verwendet (Reigeluth 1983, Honebein & Reigeluth, 2022).
Der Beitrag will die Entwicklung zur Verbesserung von Lehre weiter pushen. Neue Ideen in die Bewegung bringen. Als Gründungsvizepräsidentin der UTN hab ich die Chance, hier ein neues Fundament für eine gesamte Uni zu legen. Wird das Gelingen? Ist dieser Ansatz, den ich hier vorstelle, eine erfolgsversprechende Option dafür? Hier können sich die TeilnehmerInnen an dieser Entwicklung beteiligen.
Open Data Vorlesung Termin 11: Skalen und Achsen, Programming Coaching
1. Open Data:
Datenmanagement und Visualisierung
Skalen und Achsen,
Programming Coaching
Termin 11, 8. Mai 2014
Dr. Matthias Stürmer und Prof. Dr. Thomas Myrach
Universität Bern, Institut für Wirtschaftsinformatik
Abteilung Informationsmanagement
Forschungsstelle Digitale Nachhaltigkeit
2. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
2
11: Skalen und Achsen,
Programming Coaching
Donnerstag, 8. Mai 2014
> Buch „Interactive Data Visualization for the Web“
Kapitel: 7. Scales, 8. Axes
> Links:
http://chimera.labs.oreilly.com/books/1230000000345/ch07.html
http://chimera.labs.oreilly.com/books/1230000000345/ch08.html
> Skalierungen von Daten, Minimum und Maximum, Achsen zeichnen
Programming Coaching im zweiten Teil der Vorlesung:
> Khôi Tran, Open Data App Entwickler
3. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
3
Agenda
1. Infos zur Open Data App
2. Skalen
3. Achsen
4. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
4
Infos zur Open Data App
> Kurzpräsentation in der Vorlesung vom Donnerstag, 22. Mai 2014 ist
Voraussetzung für Anrechnung und Note. Mindestens eine Person muss
anwesend sein. App zählt 50% der Note, Prüfung zählt 50% der Note.
> Minimalanforderungen an die App (für Note "genügend"):
1. Neue Daten aufbereiten und visualisieren (Data Coach, Datenportal, eigene Daten)
2. Mindestens eine kreative Visualisierung, nicht bloss Balken oder Kuchendiagramm
3. Mindestens eine interaktive Funktion (Hover, Mouse Click, Scroll Wheel, Button etc.)
4. Aufwand von rund 40 bis 50 Stunden pro Person muss erkennbar sein
> Bewertungskriterien:
1. Komplexität: Wie anspruchsvoll sind die visualisierten Daten und der behandelte
Themenkomplex als ganzes?
2. Kreativität: Wie neuartig und attraktiv sind die Visualisierung der Daten und
technische Implementierung der Open Data App?
3. Umsetzung: Wie benutzerfreundlich, verständlich und gut dokumentiert ist die Open
Data App?
4. Impact: Wie hoch ist die Bedeutung und die Aussagekraft der Datenvisualisierung
und der Open Data App als gesamtes?
5. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
5
Vorgehen Präsentationen Open Data App
> Folien zu den 5 Punkten:
1. Team (wer, welchen Hintergrund)
2. Ziel, Motivation (Aufgabestellung)
3. Resultat (mit öffentlich zugänglichem Link)
4. Datenquellen (Ursprungsformat, Endformat)
5. Vorgehen (notwendige Schritte)
> Kurze Live App-Demo
> Zeitvorgabe: maximal 4 Minuten! (je nach Anzahl Apps mehr)
> Anmeldung für Kurzpräsentation:
Mail an Rahel Winkelmann rahel.winkelmann@iwi.unibe.ch
bis 20. Mai 2014 mit den Folien als PowerPoint oder PDF
6. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
6
Agenda
1. Infos zur Open Data App
2. Skalen
3. Achsen
7. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
7
Skalen vs. Achsen
> Scales
— scale() function: pass it a data value, it returns a scaled output value
— Scales are functions that map from an input domain to an output range.
— A scale is a mathematical relationship, with no direct visual output.
— Linear, ordinal, logarithmic, square root scales
— Used with domains and ranges
> Axes
— axis() function: they generate SVG elements
— Axes don't return a value, but generate the visual elements of the axis,
including lines, labels, and ticks.
— Linear, ordinal, logarithmic, square root Axes
— Each axis needs to be told on what scale to operate
8. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
8
API Reference of Scales
Link: https://github.com/mbostock/d3/wiki/Quantitative-Scales
9. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
9
API Reference of Axes
Link: https://github.com/mbostock/d3/wiki/SVG-Axes
10. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
10
Domains and Ranges
> A scale’s input domain is the domain of possible input data values.
> A scale’s output range is the range of possible output values, pixels.
Example:
A scale with input domain of [100,500] and output range of [10,350]:
11. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
11
Creating a Scale
Einer Variable eine Skala zuweisen:
var scale = d3.scale.linear()
.domain([100, 500])
.range([10, 350]);
Folgende Werte können in der Konsole generiert werden:
scale(100); //Returns 10
scale(300); //Returns 180
scale(500); //Returns 350
12. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
12
d3.max()
Den Maximal-Wert bestimmen:
var simpleDataset = [7, 8, 4, 5, 2];
d3.max(simpleDataset); // Returns 8
Maximal-Wert eines zweidimensionalen Arrays (array of arrays):
var dataset = [[5, 20],[480, 90],[250, 50],[100, 33],
[330, 95],[410, 12],[475, 44],[25, 67],
[85, 21], [220, 88]];
d3.max(dataset, function(d) {
return d[0]; //Returns 480
});
13. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
13
Setting Up Dynamic Scales
Die x-Skala definieren:
var xScale = d3.scale.linear()
.domain([0,d3.max(dataset,function(d) {return d[0];})])
.range([0, w]);
> xScale ist der Name der Skala
> Domain und Range sind in zwei eckigen Klammern definiert
> Input Domain beginnt bei 0 (könnte auch min() verwendet werden)
> Input Domain endet bei höchsten Wert: max(dataset)
> Output Range liegt zwischen 0 und w (width) der SVG-Fläche
14. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
14
Setting Up Dynamic Scales
Die y-Skala definieren:
var yScale = d3.scale.linear()
.domain([0,d3.max(dataset,function(d) {return d[1];})])
.range([0, h]);
16. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
16
Incorporating Scaled Values
Positionierung
ohne Skala:
Positionierung
mit Skala:
.attr("cx", function(d) {
return d[0];
})
.attr("cy", function(d) {
return d[1];
})
.attr("cx", function(d) {
return xScale(d[0]);
})
.attr("cy", function(d) {
return yScale(d[1]);
})
17. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
17
Incorporating Scaled Values
Text-Label
ohne Skala:
Text-Label
mit Skala:
.attr("x", function(d) {
return d[0];
})
.attr("y", function(d) {
return d[1];
})
.attr("x", function(d) {
return xScale(d[0]);
})
.attr("y", function(d) {
return yScale(d[1]);
})
18. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
18
D3.js Scatterplot mit dynamischer Skala
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>D3: Linear scales with a scatterplot</title>
<script type="text/javascript" src="/js/vendor/d3.min.js"></script>
<style type="text/css">
/* No style rules here yet */
</style>
</head>
<body>
<script type="text/javascript">
//Width and height
var w = 500;
var h = 100;
var dataset = [
[5, 20], [480, 90], [250, 50], [100, 33], [330, 95],
[410, 12], [475, 44], [25, 67], [85, 21], [220, 88]
];
//Create scale functions
var xScale = d3.scale.linear()
.domain([0, d3.max(dataset, function(d) { return d[0]; })])
.range([0, w]);
var yScale = d3.scale.linear()
.domain([0, d3.max(dataset, function(d) { return d[1]; })])
.range([0, h]);
//Create SVG element
var svg = d3.select("body")
.append("svg")
.attr("width", w)
.attr("height", h);
svg.selectAll("circle")
.data(dataset)
.enter()
.append("circle")
.attr("cx", function(d) {
return xScale(d[0]);
})
.attr("cy", function(d) {
return yScale(d[1]);
})
.attr("r", function(d) {
return Math.sqrt(h - d[1]);
});
svg.selectAll("text")
.data(dataset)
.enter()
.append("text")
.text(function(d) {
return d[0] + "," + d[1];
})
.attr("x", function(d) {
return xScale(d[0]);
})
.attr("y", function(d) {
return yScale(d[1]);
})
.attr("font-family", "sans-serif")
.attr("font-size", "11px")
.attr("fill", "red");
</script>
</body>
</html>
19. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
19
Refining the Plot
Original: .range([0, h]);
Smaller y values are at the top of the plot, and the larger y
values are toward the bottom.
Reverse that, so greater values are higher up.
Reversed: .range([h, 0]);
Now a smaller input to yScale will produce a larger output
value, thereby pushing those circles and text elements
down, closer to the base of the image.
20. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
20
Neuer Datenpunkt, grössere SVG-Fläche
> Neuer Datenpunkt: [600, 150]
> Grössere SVG-Fläche: var h = 300;
22. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
22
Agenda
1. Infos zur Open Data App
2. Skalen
3. Achsen
23. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
23
Setting Up an Axis
Eine Achse erstellen:
var xAxis = d3.svg.axis();
Der Achse eine Skala zuweisen:
xAxis.scale(xScale);
Die Achse zeichnen:
svg.append("g").call(xAxis);
24. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
24
Setting Up an Axis
> Gezeichnete Achse:
> Generierter SVG-Code:
25. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
25
Cleaning It Up
Der Achse die CSS Klasse axis zuweisen:
svg.append("g")
.attr("class", "axis") //Assign "axis" class
.call(xAxis);
CSS Styles definieren:
.axis path,
.axis line {
fill: none;
stroke: black;
shape-rendering: crispEdges;
}
.axis text {
font-family: sans-serif;
font-size: 11px;
}
26. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
26
SVG transforms
Die Achse soll nach unten verschoben werden. Das wird bei SVG-
Elementen mit transform und translate erreicht:
<g class="axis" transform="translate(0,280)">
Im JavaScript Code muss der Achse hinzugefügt werden:
.attr("transform","translate(0," + (h-padding) + ")")
27. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
27
SVG transforms
> Resultat:
> Transform:
28. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
28
Check for Ticks
You can customize all aspects of your axes, starting with the rough
number of ticks, using ticks():
var xAxis = d3.svg.axis()
.scale(xScale)
.orient("bottom")
.ticks(5); //Set rough # of ticks
D3 inteprets the ticks() value as merely a
suggestion and will override your suggestion
with what it determines to be the most clean
and human-readable values:
29. FS 2014
Open Data > 11: Skalen und Achsen, Programming Coaching
29
Y Achse
Oben im Code Variable für die Y Achse erstellen:
var yAxis = d3.svg.axis()
.scale(yScale)
.orient("left")
.ticks(5);
Unten im Code die Y Achse hinzufügen:
svg.append("g")
.attr("class", "axis")
.attr("transform", "translate(" + padding + ",0)")
.call(yAxis);