SlideShare ist ein Scribd-Unternehmen logo
1 von 28
Downloaden Sie, um offline zu lesen
Interpretation von
Event-Logs aus CNX
mit Hilfe von Domino
Martin Just & Petra Schubert
Universität Koblenz
martinjust@uni-koblenz.de | schubert@uni-koblenz.de
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 2
Germany 9’200 students 450 employees
Koblenz
Siegburg
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 3
Jennifer Gerbl
PhD Candidate
Research Assistant
Visual Collaboration
Systems
Jens Alberts
PhD Candidate
Research Assistant
Coordinative Practices
Simon Meier
PhD Candidate
Research Assistant
Ontology-based
data integration
Cornelia Mc Stay
Team Assistant
Sebastian Bahles
Research Assistant
Workspace
Management
Julian Mosen
PhD Candidate
Research Assistant
Social Documents
Dr. Söhnke Grams
PostdocResearcher
Manager UCT
Benefits of ECS
Martin Just
PhD Candidate
Research Assistant
Cross-System Analysis
Susan Williams
Professor
Director of CEIR
Social Informatics
Petra Schubert
Professor
Director of CEIR
Business Software
Lucas Graf
Student Assistant
Domino Development
Florian Schumacher
Student Assistant
Content Management
Julia Mannebach
Student Assistant
Domino Development
Leonardo Malzacher
Student Assistant
Information
Integration
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 4
◼ Zielsetzung
◼ Vorgehen
◼ Coding Tool
◼ Collaborative Work Types (CWT)
◼ Automatisches Coding
◼ Ergebnisse
◼ Ausblick
AGENDA
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 5
ZIELSETZUNG
1. Glitsch &Schubert (2017); Schubert & Glitsch (2016; 2015)
2. Richter et al. (2012)
3. Schubert & Williams (2022b; 2022a)
4. Saldana (2016)
5. Schwade (2021)
6. Just and Schubert (2023); Just (2021)
Die Studie zur Interpretation der kollaborativen Aktivität in ECS umfasst drei Aspekte.
Gewinnung von Erkenntnissen über die
kollaborative Aktivität in ECS
1
Anwendung von Konzepten
konzeptioneller Frameworks auf eine
produktive Software-Instanz
2
Entwicklung und Anwendung eines
qualitativen Analyseansatzes für die
Interpretation von Event-Logs
3
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 6
Forschungsziel:
Beitrag zum Verständnis der Benutzeraktionen in ECS
1) Entwicklung einer Liste von Codes, um Events aussagekräftige Bezeichner/Codes zuzuweisen und
die Spuren kollaborativer Benutzeraktivität aus Event-Logs zu untersuchen.
2) Anwendung der Codes durch Zuordnung zu Events eines operativen ECS inklusive Präsentation und
Diskussion der Ergebnisse.
FORSCHUNGSZIEL & FORSCHUNGSFRAGEN
Event-Logs sind vielversprechende Datenquellen für Social Collaboration Analytics. Es sind jedoch
Ansätze erforderlich, um Traces zu interpretieren und in sinnvolle Beschreibungen zu übersetzen.
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 7
FORSCHUNGSANSATZ
Diese Studie basiert in erster Linie auf induktivem Coding und ist in fünf Forschungsphasen gegliedert.
Phase 1 Phase 2 Phase 3 Phase 4
Initiation
Dev. of
Coding Tool
Data
Preparation
Code
Harmonisation
Coding
Code
Consolidation
Dev. of
ELI* Script
5 iterative cycles
Expansion
of Coding
Review of
ELI* Script
Coded
Event Log
Selected data subset to keep the manual coding feasible Full dataset for automatic coding
*Event Log Interpretation
Phase 5
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 8
DATA PREPARATION
Datensatz enthält ~27k Events von feiner Granularität, die vor der Kodierung gefiltert werden müssen.
Timeframe
February 2021 – October 2022
System
HCL Connections (KoCo)
Agents
CEIR Team (13 user)
Filter
Focus collaborative events
1
2
4
3
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 9
DATA PREPARATION – FILTER LIST
Alle Ereignistypen in KoCo wurden mit Hilfe einer Filterliste überprüft
(z.B. redundant, irrelevant für die Analyse, nicht von Menschen erzeugt, ohne Bezug zu Kollaboration)
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 10
CODING TOOL – CODING VIEWS
Das Coding-Tool wurde als Notes-Anwendung entwickelt, da andere Tools wie ATLAS.ti bei der
Handhabung großer Datenmengen limitiert sind. Das Tool bietet den Codern individuelle Views.
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 11
CODING TOOL – HARMONISED EVENT-LOG
1. Just and Schubert (2023)
Im Coding-Tool wird der Event-Log (teilweise) entsprechend der ColActDOnt1 dargestellt, was dazu
beiträgt, ein Verständnis der Ereignisstruktur und der damit verbundenen Elemente zu entwickeln.
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 12
CODING TOOL – CODING CODES
Für das Coding der Events gab es drei Coding-Kategorien, die von jedem Coder zugewiesen wurden:
Collaboration Work Type, 4C und Stage in Sequence
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 13
CODING CODES - COLLABORATIVE WORK TYPES (CWT)
1. Collaborative Work Types - Definition
CWT ermöglichen ein differenzierteres Verständnis von kollaborativer Aktivität,
welches für SPM übernommen werden kann.
The CWT are derived from the Collaboration Scenarios
in the IRESS model which describe:
“a composition of activities [...] to achieve a common
task (collaboratively)”
(Glitsch and Schubert, 2017, p. 867)
“CWT represent single events and
serve as a new metric to complement the
identification of actions in collaborative work.“
Definition
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 14
CWT Description
Administering documents Structured storage, classification and archiving of documents
Administering social profiles Creation and maintenance of social profiles (e.g., for better identification of experts in the network)
Administering spaces Creation and maintenance of spaces (e.g., adding members, changing widgets, or setting permissions in a group workspace)
Administering tasks Creation and maintenance of tasks (e.g., assigning tasks to persons or marking them as completed)
Alerting Purposefully pointing out and drawing attention to something (e.g., notifying others of new information that might be of interest to them)
Conducting meetings Meeting with other people synchronously (e.g., in person or virtually)
Conducting polls or votes Identification of a favourite from given options or obtaining an opinion rating (e.g., quick polls)
Conducting surveys Collection of structured information (e.g., using a questionnaire)
Discussing topics Synchronous or asynchronous conversation between people on a particular topic (e.g., posting a question and responding to it)
Documenting Composing the core content of all kinds of information for the purposes of documenting new content (e.g., creating text, images or videos)
Enriching information Enhancing and correcting existing content (e.g., by adding text, metadata, annotations, or corrections)
Following people or content Follow people’s profiles and content items for receiving notifications in case of changes or updates
Giving feedback Directed provision of any kind of feedback to people about the content (e.g., the author of a blog post or the owner of a file)
Housekeeping Activities that are performed to maintain the usefulness and normal functioning of workspaces (e.g., moving files into folders or disposal of legacy documents)
Joint authoring Synchronous or asynchronous, collaborative content creation of two or more users within a timeframe with the outcome of a document, file etc.
Posting short messages Writing and publishing a short message (e.g., a news item on a microblog)
Preparing meetings or events Organisational steps to prepare for a meeting or event (e.g., finding a date, booking resources like rooms, setting up an agenda, inviting participants)
Rating information Assessment of the perceived quality of content or the usefulness of certain information on a scale
Retrieving information All types of directed information retrieval (e.g., downloading files, scanning for updates)
Searching Search for information (e.g., with the help of search functions)
Sharing files To make files available to others (e.g., uploading a document)
Sharing information Making information (existing or created for this purpose) available and, if necessary, actively notifying intended recipients.
Writing meeting minutes Writing minutes to record important information from meetings or committees (e.g., as a wiki page)
CODING CODES - COLLABORATIVE WORK TYPES (CWT)
23 CWT wurden ermittelt und definiert.
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 15
COLLABORATIVE WORK TYPES (CWT)
Coding-Beispiel
Enriching information Enhancing and correcting existing content (e.g., by adding text, metadata, annotations, or corrections)
1
2 3
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 16
◼ Datensatz enthält 26,784 Events
→ mit Filterliste auf 4,935 Events reduziert
◼ 500+ Events wurden für die Entwicklung des
ELI-Scripts kodiert
◼ Das ELI-Skript wurde verwendet, um alle
übrigen Events automatisch zu kodieren
AUTOMATISCHES CODING
Die Notes-Anwendung enthält das „ELI-Script“, einen Agenten, der eine automatische Codierung auf
der Grundlage von Eventnamen und Keywords ermöglicht.
Coding by event name Coding by keywords
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 17
ERGEBNISSE
Verteilung von 4C auf System- und Space- und Account-Ebene.
69 20 9 3
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
System
70
50
75
54
77
13
41
20
36
6
12
8
4
10
12
4
1
1
1
5
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Group Workspace 1
Group Workspace 2
Group Workspace 3
Group Workspace 4
Group Workspace 5
Content
Coordination
Cooperation
Communication
Group
workspace
76
60
68
62
61
53
90
69
84
18
21
21
26
29
17
6
21
6
4
15
9
10
9
23
3
8
7
2
4
2
3
1
8
1
3
3
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
User 1
User 3
User 5
User 6
User 7
User 9
User 10
User 11
User 12
Account/User
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 18
ERGEBNISSE
Verteilung von CWT auf System-Ebene.
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 19
ERGEBNISSE
Verteilung von CWT auf Space- und Account-Ebene.
Account/User
62
53
29
14
16
20
3
9
17
1
5
5
0,5
1
7
4
2
3
1
4
3
1
3
3
6
4
7
0% 20% 40% 60% 80% 100%
User 1
User 5
User 6
Enriching information
Administering tasks
Administering documents
Giving feedback
Sharing files
Documenting
Alerting
Rating information
Other
Group
workspace
45
32
67
39
37
9
39
17
35
16
10
4
7
24
5
4
2
8
3
4
3
3
3
5
6
1
1
1
7
3
2
2
1
5
2
3
0,3
1
10
8
4
4
5
9
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Group Workspace 1
Group Workspace 2
Group Workspace 3
Group Workspace 4
Group Workspace 5 Enriching information
Administering tasks
Administering documents
Giving feedback
Documenting
Rating information
Alerting
Sharing files
Other
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 20
◼ Anwendung von CWT & 4C auf UniConnect (and other)
◼ Definition weiterer Regeln für das ELI-Script
◼ belastbare Ergebnisse sicherstellen (4C & CWT)
◼ Einblicke in Veränderungen im Verlauf der Zeit gewinnen
◼ Monate, Quartale, Jahre
◼ Einsatz von NLP (Natural Language Processing)
◼ Contentanalyse
◼ Einbezug weiterer Dimensionen
◼ Anzahl involvierter Teilnehmer, Rollen, etc.
◼ Zeitspannen zwischen Events (Social Process Mining)
◼ Analyse von Sequenzen (bislang lag der Schwerpunkt auf Einzel-Events)
AUSBLICK
CWT und 4C in größerem Umfang einsetzen.
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 21
AUSBLICK
Auswertungen mit PowerBI: Überblick
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 22
AUSBLICK
Auswertungen mit PowerBI: Überblick (gefiltert)
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 23
AUSBLICK
Auswertungen mit PowerBI: Überblick (gefiltert, aktuell)
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 24
AUSBLICK
Auswertungen mit PowerBI: 4C im Zeitverlauf
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 25
AUSBLICK
Auswertungen mit PowerBI: CWT im Zeitverlauf
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 26
AUSBLICK
Die Gegenüberstellung der Ergebnisse auf System-Ebene bietet bereits erste Einblicke in
Nutzungsunterschiede der gleichen Software.
69 20 9 3
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Content
Coordination
Cooperation
Communication
CEIR
(CNX)
49 32 16 4
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Content
Coordination
Cooperation
Communication
IC-Partner
(CNX)
Vielen Dank für Eure Aufmerksamkeit!
Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 28
◼ Glitsch, Johannes H.; Schubert, Petra (2017): IRESS: Identification of Requirements for Enterprise Social Software. In Procedia Computer Science 121, pp. 866–873. DOI: 10.1016/j.procs.2017.11.112.
◼ Just, Martin (2021): Collaborative Actions on Documents Ontology (ColActDOnt). An Ontology for Cross-System Process Mining in Enterprise Collaboration Software. Edited by Petra Schubert, Susan P.
Williams. Center for Enterprise Information Research (CEIR). Koblenz (CEIR Working Paper).
◼ Just, Martin; Schubert, Petra (2023): Collaborative Actions on Documents Ontology (ColActDOnt). In : Proceedings of the 14th CENTERIS. International Conference on ENTERprise Information Systems
(CENTERIS). Lissabon, 9-11 November, pp. 1–9.
◼ Richter, Alexander; Koch, Michael; Behrendt, Sebastian; Nestler, Simon; Müller, Sebastian; Herrlich, Stephan (2012): aperto - Ein Rahmenwerk zur Auswahl, Einführung und Optimierung von Corporate Social
Software. Neubiberg: Universitätsbibliothek der Universität der Bundeswehr (Schriften zur soziotechnischen Integration, Bd. 2).
◼ Saldaña, J. (2016). The coding manual for qualitative researchers. The coding manual for qualitative researchers.
◼ Schubert, Petra; Glitsch, Johannes H. (2015): Adding Structure to Enterprise Collaboration Systems: Identification of Use Cases and Collaboration Scenarios. In Procedia Computer Science 64, pp. 161–169.
DOI: 10.1016/j.procs.2015.08.477.
◼ Schubert, Petra; Glitsch, Johannes H. (2016): Use Cases and Collaboration Scenarios: how employees use socially-enabled Enterprise Collaboration Systems (ECS). In International Journal of Information
Systems and Project Management 4 (2), pp. 41–62. DOI: 10.12821/ijispm040203.
◼ Schubert, Petra; Williams, Susan P. (2022a): Enterprise Collaboration Platform Configurations: an Empirical Study. In : Proceedings of 20th European Conference on Computer-Supported Cooperative Work.
European Conference on Computer-Supported Cooperative Work. Coimbra, Portugal, 27 June - 1 July. European Society for Socially Embedded Technologies. 6 volumes (Reports of the European Society for
Socially Embedded Technologies, 1), pp. 1–17.
◼ Schubert, Petra; Williams, Susan P. (2022b): Enterprise Collaboration Platforms. An Empirical Study of Technology Support of Collaborative Work. In Procedia Computer Science 196, pp. 305–313.
REFERENZEN

Weitere ähnliche Inhalte

Ähnlich wie DACHNUG50 Interpretation-von-Event-Logs-aus-CNX-mit-Hilfe-von-Domino.pdf

Standardisierte Nutzungsstatiken für Repositorien und Linkresolver
Standardisierte Nutzungsstatiken für Repositorien und LinkresolverStandardisierte Nutzungsstatiken für Repositorien und Linkresolver
Standardisierte Nutzungsstatiken für Repositorien und Linkresolver
Daniel Beucke
 
German Aerospace Congress
German Aerospace CongressGerman Aerospace Congress
German Aerospace Congress
Markus Litz
 
Microservices – die Architektur für Agile-Entwicklung?
Microservices – die Architektur für Agile-Entwicklung?Microservices – die Architektur für Agile-Entwicklung?
Microservices – die Architektur für Agile-Entwicklung?
Christian Baranowski
 
BODDy 2014: Ergebnisse Projektgruppe Open Data - Wolfgang Both
BODDy 2014: Ergebnisse Projektgruppe Open Data - Wolfgang BothBODDy 2014: Ergebnisse Projektgruppe Open Data - Wolfgang Both
BODDy 2014: Ergebnisse Projektgruppe Open Data - Wolfgang Both
BerlinOpenDataDay
 
Linux-Automation mit red hat satellite server mz
Linux-Automation mit red hat satellite server mzLinux-Automation mit red hat satellite server mz
Linux-Automation mit red hat satellite server mz
inoX-tech GmbH
 

Ähnlich wie DACHNUG50 Interpretation-von-Event-Logs-aus-CNX-mit-Hilfe-von-Domino.pdf (20)

Vortrag "Enterprise 2.0 – Gegenwart und Zukunft Vorschlag einer Forschungsage...
Vortrag "Enterprise 2.0 – Gegenwart und ZukunftVorschlag einer Forschungsage...Vortrag "Enterprise 2.0 – Gegenwart und ZukunftVorschlag einer Forschungsage...
Vortrag "Enterprise 2.0 – Gegenwart und Zukunft Vorschlag einer Forschungsage...
 
2016 pcc presse_03_dcc_ontras_dcc_ver05
2016 pcc presse_03_dcc_ontras_dcc_ver052016 pcc presse_03_dcc_ontras_dcc_ver05
2016 pcc presse_03_dcc_ontras_dcc_ver05
 
Zielsetzung, Entwicklung und Herausforderungen des “Kerndatensatz Forschung”
Zielsetzung, Entwicklung und Herausforderungen des “Kerndatensatz Forschung”Zielsetzung, Entwicklung und Herausforderungen des “Kerndatensatz Forschung”
Zielsetzung, Entwicklung und Herausforderungen des “Kerndatensatz Forschung”
 
Standardisierte Nutzungsstatiken für Repositorien und Linkresolver
Standardisierte Nutzungsstatiken für Repositorien und LinkresolverStandardisierte Nutzungsstatiken für Repositorien und Linkresolver
Standardisierte Nutzungsstatiken für Repositorien und Linkresolver
 
Meyer Project Introduction IMPACT Workshop MUC
Meyer Project Introduction IMPACT Workshop MUCMeyer Project Introduction IMPACT Workshop MUC
Meyer Project Introduction IMPACT Workshop MUC
 
[DE] DMS: Ist-Analyse und Auswertung von Analysen | Dr. Ulrich Kampffmeyer | ...
[DE] DMS: Ist-Analyse und Auswertung von Analysen | Dr. Ulrich Kampffmeyer | ...[DE] DMS: Ist-Analyse und Auswertung von Analysen | Dr. Ulrich Kampffmeyer | ...
[DE] DMS: Ist-Analyse und Auswertung von Analysen | Dr. Ulrich Kampffmeyer | ...
 
German Aerospace Congress
German Aerospace CongressGerman Aerospace Congress
German Aerospace Congress
 
Steht alles im Wiki? Das kleine 1x1 der Architekturdokumentation
Steht alles im Wiki? Das kleine 1x1 der ArchitekturdokumentationSteht alles im Wiki? Das kleine 1x1 der Architekturdokumentation
Steht alles im Wiki? Das kleine 1x1 der Architekturdokumentation
 
SENSE: Medien-Demonstrator
SENSE: Medien-DemonstratorSENSE: Medien-Demonstrator
SENSE: Medien-Demonstrator
 
Afs workflow christian bauer
Afs workflow christian bauerAfs workflow christian bauer
Afs workflow christian bauer
 
QGIS das Opensource GIS at Linuxwochen Wien 2019
QGIS das Opensource GIS at Linuxwochen Wien 2019QGIS das Opensource GIS at Linuxwochen Wien 2019
QGIS das Opensource GIS at Linuxwochen Wien 2019
 
Apache Kafka
Apache KafkaApache Kafka
Apache Kafka
 
2011 05 10 14-15 axxanta_e_collaboration_topsoft2011-zh
2011 05 10 14-15 axxanta_e_collaboration_topsoft2011-zh2011 05 10 14-15 axxanta_e_collaboration_topsoft2011-zh
2011 05 10 14-15 axxanta_e_collaboration_topsoft2011-zh
 
Microservices – die Architektur für Agile-Entwicklung?
Microservices – die Architektur für Agile-Entwicklung?Microservices – die Architektur für Agile-Entwicklung?
Microservices – die Architektur für Agile-Entwicklung?
 
BODDy 2014: Ergebnisse Projektgruppe Open Data - Wolfgang Both
BODDy 2014: Ergebnisse Projektgruppe Open Data - Wolfgang BothBODDy 2014: Ergebnisse Projektgruppe Open Data - Wolfgang Both
BODDy 2014: Ergebnisse Projektgruppe Open Data - Wolfgang Both
 
Wissensmanagement 2.0
Wissensmanagement 2.0Wissensmanagement 2.0
Wissensmanagement 2.0
 
Agile UX - Tutorial auf der Mensch & Computer 2010
Agile UX - Tutorial auf der Mensch & Computer 2010Agile UX - Tutorial auf der Mensch & Computer 2010
Agile UX - Tutorial auf der Mensch & Computer 2010
 
Agile UX, Ideation and Scrum Workshop, ditact Nov 2013 (German)
Agile UX, Ideation and Scrum Workshop, ditact Nov 2013 (German)Agile UX, Ideation and Scrum Workshop, ditact Nov 2013 (German)
Agile UX, Ideation and Scrum Workshop, ditact Nov 2013 (German)
 
Linux-Automation mit red hat satellite server mz
Linux-Automation mit red hat satellite server mzLinux-Automation mit red hat satellite server mz
Linux-Automation mit red hat satellite server mz
 
2010 09 30 11-00 r schoch
2010 09 30 11-00 r schoch2010 09 30 11-00 r schoch
2010 09 30 11-00 r schoch
 

Mehr von DNUG e.V.

Mehr von DNUG e.V. (20)

DNUG Online Domino - OnTime | Fachgruppe Domino | 07.05.2024
DNUG Online Domino - OnTime | Fachgruppe Domino | 07.05.2024DNUG Online Domino - OnTime | Fachgruppe Domino | 07.05.2024
DNUG Online Domino - OnTime | Fachgruppe Domino | 07.05.2024
 
DNUG Online Domino - OnTime | OnTime Gruppenkalender für Domino | 07.05.2024
DNUG Online Domino - OnTime | OnTime Gruppenkalender für Domino | 07.05.2024DNUG Online Domino - OnTime | OnTime Gruppenkalender für Domino | 07.05.2024
DNUG Online Domino - OnTime | OnTime Gruppenkalender für Domino | 07.05.2024
 
Slides (2) zu Teil 3 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...
Slides (2) zu Teil 3 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...Slides (2) zu Teil 3 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...
Slides (2) zu Teil 3 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...
 
Slides (1) zu Teil 3 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...
Slides (1) zu Teil 3 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...Slides (1) zu Teil 3 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...
Slides (1) zu Teil 3 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...
 
Slides zum Impulsreferat: HCL UDP - DNUG Stammtisch Salzburg
Slides zum Impulsreferat: HCL UDP - DNUG Stammtisch SalzburgSlides zum Impulsreferat: HCL UDP - DNUG Stammtisch Salzburg
Slides zum Impulsreferat: HCL UDP - DNUG Stammtisch Salzburg
 
Slides (2) zu Teil 2 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...
Slides (2) zu Teil 2 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...Slides (2) zu Teil 2 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...
Slides (2) zu Teil 2 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...
 
Slides (1) zu Teil 2 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...
Slides (1) zu Teil 2 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...Slides (1) zu Teil 2 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...
Slides (1) zu Teil 2 der Veranstaltungsreihe Anwendungsentwicklung mit Volt M...
 
Slides zum Impulsreferat: HCL BigFix - DNUG Stammtisch Karlsruhe
Slides zum Impulsreferat: HCL BigFix  - DNUG Stammtisch KarlsruheSlides zum Impulsreferat: HCL BigFix  - DNUG Stammtisch Karlsruhe
Slides zum Impulsreferat: HCL BigFix - DNUG Stammtisch Karlsruhe
 
Slides zum Impulsreferat: NIS2 & HCL BigFix - DNUG Stammtisch Karlsruhe
Slides zum Impulsreferat: NIS2 & HCL BigFix - DNUG Stammtisch KarlsruheSlides zum Impulsreferat: NIS2 & HCL BigFix - DNUG Stammtisch Karlsruhe
Slides zum Impulsreferat: NIS2 & HCL BigFix - DNUG Stammtisch Karlsruhe
 
Slides zum Impulsreferat: NIS2 - Was steckt konkret dahinter? - DNUG Stammtis...
Slides zum Impulsreferat: NIS2 - Was steckt konkret dahinter? - DNUG Stammtis...Slides zum Impulsreferat: NIS2 - Was steckt konkret dahinter? - DNUG Stammtis...
Slides zum Impulsreferat: NIS2 - Was steckt konkret dahinter? - DNUG Stammtis...
 
Entwicklung mit Volt MX und Co. | Teil 1
Entwicklung mit Volt MX und Co. | Teil 1Entwicklung mit Volt MX und Co. | Teil 1
Entwicklung mit Volt MX und Co. | Teil 1
 
HCL Nomad - DNUG Stammtisch Salzburg.pdf
HCL Nomad - DNUG Stammtisch Salzburg.pdfHCL Nomad - DNUG Stammtisch Salzburg.pdf
HCL Nomad - DNUG Stammtisch Salzburg.pdf
 
HCL Domino 14 - Leap 1.1.2 - DNUG Stammtisch Wien
HCL Domino 14 - Leap 1.1.2 - DNUG Stammtisch Wien HCL Domino 14 - Leap 1.1.2 - DNUG Stammtisch Wien
HCL Domino 14 - Leap 1.1.2 - DNUG Stammtisch Wien
 
Trends in Cybersecurity - DNUG Stammtisch Wien
Trends in Cybersecurity - DNUG Stammtisch Wien Trends in Cybersecurity - DNUG Stammtisch Wien
Trends in Cybersecurity - DNUG Stammtisch Wien
 
DACHNUG50 MX_Workshop.pdf
DACHNUG50 MX_Workshop.pdfDACHNUG50 MX_Workshop.pdf
DACHNUG50 MX_Workshop.pdf
 
DACHNUG50 Domino REST API - Konzepte und Hintergruende.pdf
DACHNUG50 Domino REST API - Konzepte und Hintergruende.pdfDACHNUG50 Domino REST API - Konzepte und Hintergruende.pdf
DACHNUG50 Domino REST API - Konzepte und Hintergruende.pdf
 
DACHNUG50 CNX0 Workshop.pdf
DACHNUG50 CNX0 Workshop.pdfDACHNUG50 CNX0 Workshop.pdf
DACHNUG50 CNX0 Workshop.pdf
 
DACHNUG50 What's new in CCB - V3.3.pdf
DACHNUG50 What's new in CCB - V3.3.pdfDACHNUG50 What's new in CCB - V3.3.pdf
DACHNUG50 What's new in CCB - V3.3.pdf
 
DACHNUG50 presentation 15 June 2023.pdf
DACHNUG50 presentation 15 June 2023.pdfDACHNUG50 presentation 15 June 2023.pdf
DACHNUG50 presentation 15 June 2023.pdf
 
DACHNUG50 Pointsharp overview_web_A4.pdf
DACHNUG50 Pointsharp overview_web_A4.pdfDACHNUG50 Pointsharp overview_web_A4.pdf
DACHNUG50 Pointsharp overview_web_A4.pdf
 

DACHNUG50 Interpretation-von-Event-Logs-aus-CNX-mit-Hilfe-von-Domino.pdf

  • 1. Interpretation von Event-Logs aus CNX mit Hilfe von Domino Martin Just & Petra Schubert Universität Koblenz martinjust@uni-koblenz.de | schubert@uni-koblenz.de
  • 2. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 2 Germany 9’200 students 450 employees Koblenz Siegburg
  • 3. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 3 Jennifer Gerbl PhD Candidate Research Assistant Visual Collaboration Systems Jens Alberts PhD Candidate Research Assistant Coordinative Practices Simon Meier PhD Candidate Research Assistant Ontology-based data integration Cornelia Mc Stay Team Assistant Sebastian Bahles Research Assistant Workspace Management Julian Mosen PhD Candidate Research Assistant Social Documents Dr. Söhnke Grams PostdocResearcher Manager UCT Benefits of ECS Martin Just PhD Candidate Research Assistant Cross-System Analysis Susan Williams Professor Director of CEIR Social Informatics Petra Schubert Professor Director of CEIR Business Software Lucas Graf Student Assistant Domino Development Florian Schumacher Student Assistant Content Management Julia Mannebach Student Assistant Domino Development Leonardo Malzacher Student Assistant Information Integration
  • 4. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 4 ◼ Zielsetzung ◼ Vorgehen ◼ Coding Tool ◼ Collaborative Work Types (CWT) ◼ Automatisches Coding ◼ Ergebnisse ◼ Ausblick AGENDA
  • 5. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 5 ZIELSETZUNG 1. Glitsch &Schubert (2017); Schubert & Glitsch (2016; 2015) 2. Richter et al. (2012) 3. Schubert & Williams (2022b; 2022a) 4. Saldana (2016) 5. Schwade (2021) 6. Just and Schubert (2023); Just (2021) Die Studie zur Interpretation der kollaborativen Aktivität in ECS umfasst drei Aspekte. Gewinnung von Erkenntnissen über die kollaborative Aktivität in ECS 1 Anwendung von Konzepten konzeptioneller Frameworks auf eine produktive Software-Instanz 2 Entwicklung und Anwendung eines qualitativen Analyseansatzes für die Interpretation von Event-Logs 3
  • 6. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 6 Forschungsziel: Beitrag zum Verständnis der Benutzeraktionen in ECS 1) Entwicklung einer Liste von Codes, um Events aussagekräftige Bezeichner/Codes zuzuweisen und die Spuren kollaborativer Benutzeraktivität aus Event-Logs zu untersuchen. 2) Anwendung der Codes durch Zuordnung zu Events eines operativen ECS inklusive Präsentation und Diskussion der Ergebnisse. FORSCHUNGSZIEL & FORSCHUNGSFRAGEN Event-Logs sind vielversprechende Datenquellen für Social Collaboration Analytics. Es sind jedoch Ansätze erforderlich, um Traces zu interpretieren und in sinnvolle Beschreibungen zu übersetzen.
  • 7. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 7 FORSCHUNGSANSATZ Diese Studie basiert in erster Linie auf induktivem Coding und ist in fünf Forschungsphasen gegliedert. Phase 1 Phase 2 Phase 3 Phase 4 Initiation Dev. of Coding Tool Data Preparation Code Harmonisation Coding Code Consolidation Dev. of ELI* Script 5 iterative cycles Expansion of Coding Review of ELI* Script Coded Event Log Selected data subset to keep the manual coding feasible Full dataset for automatic coding *Event Log Interpretation Phase 5
  • 8. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 8 DATA PREPARATION Datensatz enthält ~27k Events von feiner Granularität, die vor der Kodierung gefiltert werden müssen. Timeframe February 2021 – October 2022 System HCL Connections (KoCo) Agents CEIR Team (13 user) Filter Focus collaborative events 1 2 4 3
  • 9. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 9 DATA PREPARATION – FILTER LIST Alle Ereignistypen in KoCo wurden mit Hilfe einer Filterliste überprüft (z.B. redundant, irrelevant für die Analyse, nicht von Menschen erzeugt, ohne Bezug zu Kollaboration)
  • 10. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 10 CODING TOOL – CODING VIEWS Das Coding-Tool wurde als Notes-Anwendung entwickelt, da andere Tools wie ATLAS.ti bei der Handhabung großer Datenmengen limitiert sind. Das Tool bietet den Codern individuelle Views.
  • 11. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 11 CODING TOOL – HARMONISED EVENT-LOG 1. Just and Schubert (2023) Im Coding-Tool wird der Event-Log (teilweise) entsprechend der ColActDOnt1 dargestellt, was dazu beiträgt, ein Verständnis der Ereignisstruktur und der damit verbundenen Elemente zu entwickeln.
  • 12. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 12 CODING TOOL – CODING CODES Für das Coding der Events gab es drei Coding-Kategorien, die von jedem Coder zugewiesen wurden: Collaboration Work Type, 4C und Stage in Sequence
  • 13. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 13 CODING CODES - COLLABORATIVE WORK TYPES (CWT) 1. Collaborative Work Types - Definition CWT ermöglichen ein differenzierteres Verständnis von kollaborativer Aktivität, welches für SPM übernommen werden kann. The CWT are derived from the Collaboration Scenarios in the IRESS model which describe: “a composition of activities [...] to achieve a common task (collaboratively)” (Glitsch and Schubert, 2017, p. 867) “CWT represent single events and serve as a new metric to complement the identification of actions in collaborative work.“ Definition
  • 14. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 14 CWT Description Administering documents Structured storage, classification and archiving of documents Administering social profiles Creation and maintenance of social profiles (e.g., for better identification of experts in the network) Administering spaces Creation and maintenance of spaces (e.g., adding members, changing widgets, or setting permissions in a group workspace) Administering tasks Creation and maintenance of tasks (e.g., assigning tasks to persons or marking them as completed) Alerting Purposefully pointing out and drawing attention to something (e.g., notifying others of new information that might be of interest to them) Conducting meetings Meeting with other people synchronously (e.g., in person or virtually) Conducting polls or votes Identification of a favourite from given options or obtaining an opinion rating (e.g., quick polls) Conducting surveys Collection of structured information (e.g., using a questionnaire) Discussing topics Synchronous or asynchronous conversation between people on a particular topic (e.g., posting a question and responding to it) Documenting Composing the core content of all kinds of information for the purposes of documenting new content (e.g., creating text, images or videos) Enriching information Enhancing and correcting existing content (e.g., by adding text, metadata, annotations, or corrections) Following people or content Follow people’s profiles and content items for receiving notifications in case of changes or updates Giving feedback Directed provision of any kind of feedback to people about the content (e.g., the author of a blog post or the owner of a file) Housekeeping Activities that are performed to maintain the usefulness and normal functioning of workspaces (e.g., moving files into folders or disposal of legacy documents) Joint authoring Synchronous or asynchronous, collaborative content creation of two or more users within a timeframe with the outcome of a document, file etc. Posting short messages Writing and publishing a short message (e.g., a news item on a microblog) Preparing meetings or events Organisational steps to prepare for a meeting or event (e.g., finding a date, booking resources like rooms, setting up an agenda, inviting participants) Rating information Assessment of the perceived quality of content or the usefulness of certain information on a scale Retrieving information All types of directed information retrieval (e.g., downloading files, scanning for updates) Searching Search for information (e.g., with the help of search functions) Sharing files To make files available to others (e.g., uploading a document) Sharing information Making information (existing or created for this purpose) available and, if necessary, actively notifying intended recipients. Writing meeting minutes Writing minutes to record important information from meetings or committees (e.g., as a wiki page) CODING CODES - COLLABORATIVE WORK TYPES (CWT) 23 CWT wurden ermittelt und definiert.
  • 15. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 15 COLLABORATIVE WORK TYPES (CWT) Coding-Beispiel Enriching information Enhancing and correcting existing content (e.g., by adding text, metadata, annotations, or corrections) 1 2 3
  • 16. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 16 ◼ Datensatz enthält 26,784 Events → mit Filterliste auf 4,935 Events reduziert ◼ 500+ Events wurden für die Entwicklung des ELI-Scripts kodiert ◼ Das ELI-Skript wurde verwendet, um alle übrigen Events automatisch zu kodieren AUTOMATISCHES CODING Die Notes-Anwendung enthält das „ELI-Script“, einen Agenten, der eine automatische Codierung auf der Grundlage von Eventnamen und Keywords ermöglicht. Coding by event name Coding by keywords
  • 17. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 17 ERGEBNISSE Verteilung von 4C auf System- und Space- und Account-Ebene. 69 20 9 3 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% System 70 50 75 54 77 13 41 20 36 6 12 8 4 10 12 4 1 1 1 5 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Group Workspace 1 Group Workspace 2 Group Workspace 3 Group Workspace 4 Group Workspace 5 Content Coordination Cooperation Communication Group workspace 76 60 68 62 61 53 90 69 84 18 21 21 26 29 17 6 21 6 4 15 9 10 9 23 3 8 7 2 4 2 3 1 8 1 3 3 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% User 1 User 3 User 5 User 6 User 7 User 9 User 10 User 11 User 12 Account/User
  • 18. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 18 ERGEBNISSE Verteilung von CWT auf System-Ebene.
  • 19. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 19 ERGEBNISSE Verteilung von CWT auf Space- und Account-Ebene. Account/User 62 53 29 14 16 20 3 9 17 1 5 5 0,5 1 7 4 2 3 1 4 3 1 3 3 6 4 7 0% 20% 40% 60% 80% 100% User 1 User 5 User 6 Enriching information Administering tasks Administering documents Giving feedback Sharing files Documenting Alerting Rating information Other Group workspace 45 32 67 39 37 9 39 17 35 16 10 4 7 24 5 4 2 8 3 4 3 3 3 5 6 1 1 1 7 3 2 2 1 5 2 3 0,3 1 10 8 4 4 5 9 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Group Workspace 1 Group Workspace 2 Group Workspace 3 Group Workspace 4 Group Workspace 5 Enriching information Administering tasks Administering documents Giving feedback Documenting Rating information Alerting Sharing files Other
  • 20. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 20 ◼ Anwendung von CWT & 4C auf UniConnect (and other) ◼ Definition weiterer Regeln für das ELI-Script ◼ belastbare Ergebnisse sicherstellen (4C & CWT) ◼ Einblicke in Veränderungen im Verlauf der Zeit gewinnen ◼ Monate, Quartale, Jahre ◼ Einsatz von NLP (Natural Language Processing) ◼ Contentanalyse ◼ Einbezug weiterer Dimensionen ◼ Anzahl involvierter Teilnehmer, Rollen, etc. ◼ Zeitspannen zwischen Events (Social Process Mining) ◼ Analyse von Sequenzen (bislang lag der Schwerpunkt auf Einzel-Events) AUSBLICK CWT und 4C in größerem Umfang einsetzen.
  • 21. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 21 AUSBLICK Auswertungen mit PowerBI: Überblick
  • 22. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 22 AUSBLICK Auswertungen mit PowerBI: Überblick (gefiltert)
  • 23. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 23 AUSBLICK Auswertungen mit PowerBI: Überblick (gefiltert, aktuell)
  • 24. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 24 AUSBLICK Auswertungen mit PowerBI: 4C im Zeitverlauf
  • 25. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 25 AUSBLICK Auswertungen mit PowerBI: CWT im Zeitverlauf
  • 26. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 26 AUSBLICK Die Gegenüberstellung der Ergebnisse auf System-Ebene bietet bereits erste Einblicke in Nutzungsunterschiede der gleichen Software. 69 20 9 3 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Content Coordination Cooperation Communication CEIR (CNX) 49 32 16 4 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Content Coordination Cooperation Communication IC-Partner (CNX)
  • 27. Vielen Dank für Eure Aufmerksamkeit!
  • 28. Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 28 ◼ Glitsch, Johannes H.; Schubert, Petra (2017): IRESS: Identification of Requirements for Enterprise Social Software. In Procedia Computer Science 121, pp. 866–873. DOI: 10.1016/j.procs.2017.11.112. ◼ Just, Martin (2021): Collaborative Actions on Documents Ontology (ColActDOnt). An Ontology for Cross-System Process Mining in Enterprise Collaboration Software. Edited by Petra Schubert, Susan P. Williams. Center for Enterprise Information Research (CEIR). Koblenz (CEIR Working Paper). ◼ Just, Martin; Schubert, Petra (2023): Collaborative Actions on Documents Ontology (ColActDOnt). In : Proceedings of the 14th CENTERIS. International Conference on ENTERprise Information Systems (CENTERIS). Lissabon, 9-11 November, pp. 1–9. ◼ Richter, Alexander; Koch, Michael; Behrendt, Sebastian; Nestler, Simon; Müller, Sebastian; Herrlich, Stephan (2012): aperto - Ein Rahmenwerk zur Auswahl, Einführung und Optimierung von Corporate Social Software. Neubiberg: Universitätsbibliothek der Universität der Bundeswehr (Schriften zur soziotechnischen Integration, Bd. 2). ◼ Saldaña, J. (2016). The coding manual for qualitative researchers. The coding manual for qualitative researchers. ◼ Schubert, Petra; Glitsch, Johannes H. (2015): Adding Structure to Enterprise Collaboration Systems: Identification of Use Cases and Collaboration Scenarios. In Procedia Computer Science 64, pp. 161–169. DOI: 10.1016/j.procs.2015.08.477. ◼ Schubert, Petra; Glitsch, Johannes H. (2016): Use Cases and Collaboration Scenarios: how employees use socially-enabled Enterprise Collaboration Systems (ECS). In International Journal of Information Systems and Project Management 4 (2), pp. 41–62. DOI: 10.12821/ijispm040203. ◼ Schubert, Petra; Williams, Susan P. (2022a): Enterprise Collaboration Platform Configurations: an Empirical Study. In : Proceedings of 20th European Conference on Computer-Supported Cooperative Work. European Conference on Computer-Supported Cooperative Work. Coimbra, Portugal, 27 June - 1 July. European Society for Socially Embedded Technologies. 6 volumes (Reports of the European Society for Socially Embedded Technologies, 1), pp. 1–17. ◼ Schubert, Petra; Williams, Susan P. (2022b): Enterprise Collaboration Platforms. An Empirical Study of Technology Support of Collaborative Work. In Procedia Computer Science 196, pp. 305–313. REFERENZEN