DACHNUG50 Interpretation-von-Event-Logs-aus-CNX-mit-Hilfe-von-Domino.pdf

Interpretation von
Event-Logs aus CNX
mit Hilfe von Domino
Martin Just & Petra Schubert
Universität Koblenz
martinjust@uni-koblenz.de | schubert@uni-koblenz.de

Interpretation von Event-Logs aus CNX mit Hilfe von Domino| Martin Just & Petra Schubert| 15.06.2023 2
Germany 9’200 students 450 employees
Koblenz
Siegburg

Jennifer Gerbl
PhD Candidate
Research Assistant
Visual Collaboration
Systems
Jens Alberts
PhD Candidate
Research Assistant
Coordinative Practices
Simon Meier
PhD Candidate
Research Assistant
Ontology-based
data integration
Cornelia Mc Stay
Team Assistant
Sebastian Bahles
Research Assistant
Workspace
Management
Julian Mosen
PhD Candidate
Research Assistant
Social Documents
Dr. Söhnke Grams
PostdocResearcher
Manager UCT
Benefits of ECS
Martin Just
PhD Candidate
Research Assistant
Cross-System Analysis
Susan Williams
Professor
Director of CEIR
Social Informatics
Petra Schubert
Professor
Director of CEIR
Business Software
Lucas Graf
Student Assistant
Domino Development
Florian Schumacher
Student Assistant
Content Management
Julia Mannebach
Student Assistant
Domino Development
Leonardo Malzacher
Student Assistant
Information
Integration

◼ Zielsetzung
◼ Vorgehen
◼ Coding Tool
◼ Collaborative Work Types (CWT)
◼ Automatisches Coding
◼ Ergebnisse
◼ Ausblick
AGENDA

ZIELSETZUNG
1. Glitsch &Schubert (2017); Schubert & Glitsch (2016; 2015)
2. Richter et al. (2012)
3. Schubert & Williams (2022b; 2022a)
4. Saldana (2016)
5. Schwade (2021)
6. Just and Schubert (2023); Just (2021)
Die Studie zur Interpretation der kollaborativen Aktivität in ECS umfasst drei Aspekte.
Gewinnung von Erkenntnissen über die
kollaborative Aktivität in ECS
1
Anwendung von Konzepten
konzeptioneller Frameworks auf eine
produktive Software-Instanz
2
Entwicklung und Anwendung eines
qualitativen Analyseansatzes für die
Interpretation von Event-Logs
3

Forschungsziel:
Beitrag zum Verständnis der Benutzeraktionen in ECS
1) Entwicklung einer Liste von Codes, um Events aussagekräftige Bezeichner/Codes zuzuweisen und
die Spuren kollaborativer Benutzeraktivität aus Event-Logs zu untersuchen.
2) Anwendung der Codes durch Zuordnung zu Events eines operativen ECS inklusive Präsentation und
Diskussion der Ergebnisse.
FORSCHUNGSZIEL & FORSCHUNGSFRAGEN
Event-Logs sind vielversprechende Datenquellen für Social Collaboration Analytics. Es sind jedoch
Ansätze erforderlich, um Traces zu interpretieren und in sinnvolle Beschreibungen zu übersetzen.

FORSCHUNGSANSATZ
Diese Studie basiert in erster Linie auf induktivem Coding und ist in fünf Forschungsphasen gegliedert.
Phase 1 Phase 2 Phase 3 Phase 4
Initiation
Dev. of
Coding Tool
Data
Preparation
Code
Harmonisation
Coding
Code
Consolidation
Dev. of
ELI* Script
5 iterative cycles
Expansion
of Coding
Review of
ELI* Script
Coded
Event Log
Selected data subset to keep the manual coding feasible Full dataset for automatic coding
*Event Log Interpretation
Phase 5

DATA PREPARATION
Datensatz enthält ~27k Events von feiner Granularität, die vor der Kodierung gefiltert werden müssen.
Timeframe
February 2021 – October 2022
System
HCL Connections (KoCo)
Agents
CEIR Team (13 user)
Filter
Focus collaborative events
1
2
4
3

DATA PREPARATION – FILTER LIST
Alle Ereignistypen in KoCo wurden mit Hilfe einer Filterliste überprüft
(z.B. redundant, irrelevant für die Analyse, nicht von Menschen erzeugt, ohne Bezug zu Kollaboration)

CODING TOOL – CODING VIEWS
Das Coding-Tool wurde als Notes-Anwendung entwickelt, da andere Tools wie ATLAS.ti bei der
Handhabung großer Datenmengen limitiert sind. Das Tool bietet den Codern individuelle Views.

CODING TOOL – HARMONISED EVENT-LOG
1. Just and Schubert (2023)
Im Coding-Tool wird der Event-Log (teilweise) entsprechend der ColActDOnt1 dargestellt, was dazu
beiträgt, ein Verständnis der Ereignisstruktur und der damit verbundenen Elemente zu entwickeln.

CODING TOOL – CODING CODES
Für das Coding der Events gab es drei Coding-Kategorien, die von jedem Coder zugewiesen wurden:
Collaboration Work Type, 4C und Stage in Sequence

CODING CODES - COLLABORATIVE WORK TYPES (CWT)
1. Collaborative Work Types - Definition
CWT ermöglichen ein differenzierteres Verständnis von kollaborativer Aktivität,
welches für SPM übernommen werden kann.
The CWT are derived from the Collaboration Scenarios
in the IRESS model which describe:
“a composition of activities [...] to achieve a common
task (collaboratively)”
(Glitsch and Schubert, 2017, p. 867)
“CWT represent single events and
serve as a new metric to complement the
identification of actions in collaborative work.“
Definition

CWT Description
Administering documents Structured storage, classification and archiving of documents
Administering social profiles Creation and maintenance of social profiles (e.g., for better identification of experts in the network)
Administering spaces Creation and maintenance of spaces (e.g., adding members, changing widgets, or setting permissions in a group workspace)
Administering tasks Creation and maintenance of tasks (e.g., assigning tasks to persons or marking them as completed)
Alerting Purposefully pointing out and drawing attention to something (e.g., notifying others of new information that might be of interest to them)
Conducting meetings Meeting with other people synchronously (e.g., in person or virtually)
Conducting polls or votes Identification of a favourite from given options or obtaining an opinion rating (e.g., quick polls)
Conducting surveys Collection of structured information (e.g., using a questionnaire)
Discussing topics Synchronous or asynchronous conversation between people on a particular topic (e.g., posting a question and responding to it)
Documenting Composing the core content of all kinds of information for the purposes of documenting new content (e.g., creating text, images or videos)
Enriching information Enhancing and correcting existing content (e.g., by adding text, metadata, annotations, or corrections)
Following people or content Follow people’s profiles and content items for receiving notifications in case of changes or updates
Giving feedback Directed provision of any kind of feedback to people about the content (e.g., the author of a blog post or the owner of a file)
Housekeeping Activities that are performed to maintain the usefulness and normal functioning of workspaces (e.g., moving files into folders or disposal of legacy documents)
Joint authoring Synchronous or asynchronous, collaborative content creation of two or more users within a timeframe with the outcome of a document, file etc.
Posting short messages Writing and publishing a short message (e.g., a news item on a microblog)
Preparing meetings or events Organisational steps to prepare for a meeting or event (e.g., finding a date, booking resources like rooms, setting up an agenda, inviting participants)
Rating information Assessment of the perceived quality of content or the usefulness of certain information on a scale
Retrieving information All types of directed information retrieval (e.g., downloading files, scanning for updates)
Searching Search for information (e.g., with the help of search functions)
Sharing files To make files available to others (e.g., uploading a document)
Sharing information Making information (existing or created for this purpose) available and, if necessary, actively notifying intended recipients.
Writing meeting minutes Writing minutes to record important information from meetings or committees (e.g., as a wiki page)
CODING CODES - COLLABORATIVE WORK TYPES (CWT)
23 CWT wurden ermittelt und definiert.

COLLABORATIVE WORK TYPES (CWT)
Coding-Beispiel
Enriching information Enhancing and correcting existing content (e.g., by adding text, metadata, annotations, or corrections)
1
2 3

◼ Datensatz enthält 26,784 Events
→ mit Filterliste auf 4,935 Events reduziert
◼ 500+ Events wurden für die Entwicklung des
ELI-Scripts kodiert
◼ Das ELI-Skript wurde verwendet, um alle
übrigen Events automatisch zu kodieren
AUTOMATISCHES CODING
Die Notes-Anwendung enthält das „ELI-Script“, einen Agenten, der eine automatische Codierung auf
der Grundlage von Eventnamen und Keywords ermöglicht.
Coding by event name Coding by keywords

ERGEBNISSE
Verteilung von 4C auf System- und Space- und Account-Ebene.
69 20 9 3
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
System
70
50
75
54
77
13
41
20
36
6
12
8
4
10
12
4
1
1
1
5
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Group Workspace 1
Group Workspace 2
Group Workspace 3
Group Workspace 4
Group Workspace 5
Content
Coordination
Cooperation
Communication
Group
workspace
76
60
68
62
61
53
90
69
84
18
21
21
26
29
17
6
21
6
4
15
9
10
9
23
3
8
7
2
4
2
3
1
8
1
3
3
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
User 1
User 3
User 5
User 6
User 7
User 9
User 10
User 11
User 12
Account/User

ERGEBNISSE
Verteilung von CWT auf System-Ebene.

ERGEBNISSE
Verteilung von CWT auf Space- und Account-Ebene.
Account/User
62
53
29
14
16
20
3
9
17
1
5
5
0,5
1
7
4
2
3
1
4
3
1
3
3
6
4
7
0% 20% 40% 60% 80% 100%
User 1
User 5
User 6
Enriching information
Administering tasks
Administering documents
Giving feedback
Sharing files
Documenting
Alerting
Rating information
Other
Group
workspace
45
32
67
39
37
9
39
17
35
16
10
4
7
24
5
4
2
8
3
4
3
3
3
5
6
1
1
1
7
3
2
2
1
5
2
3
0,3
1
10
8
4
4
5
9
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Group Workspace 1
Group Workspace 2
Group Workspace 3
Group Workspace 4
Group Workspace 5 Enriching information
Administering tasks
Administering documents
Giving feedback
Documenting
Rating information
Alerting
Sharing files
Other

◼ Anwendung von CWT & 4C auf UniConnect (and other)
◼ Definition weiterer Regeln für das ELI-Script
◼ belastbare Ergebnisse sicherstellen (4C & CWT)
◼ Einblicke in Veränderungen im Verlauf der Zeit gewinnen
◼ Monate, Quartale, Jahre
◼ Einsatz von NLP (Natural Language Processing)
◼ Contentanalyse
◼ Einbezug weiterer Dimensionen
◼ Anzahl involvierter Teilnehmer, Rollen, etc.
◼ Zeitspannen zwischen Events (Social Process Mining)
◼ Analyse von Sequenzen (bislang lag der Schwerpunkt auf Einzel-Events)
AUSBLICK
CWT und 4C in größerem Umfang einsetzen.

AUSBLICK
Auswertungen mit PowerBI: Überblick

AUSBLICK
Auswertungen mit PowerBI: Überblick (gefiltert)

AUSBLICK
Auswertungen mit PowerBI: Überblick (gefiltert, aktuell)

AUSBLICK
Auswertungen mit PowerBI: 4C im Zeitverlauf

AUSBLICK
Auswertungen mit PowerBI: CWT im Zeitverlauf

AUSBLICK
Die Gegenüberstellung der Ergebnisse auf System-Ebene bietet bereits erste Einblicke in
Nutzungsunterschiede der gleichen Software.
69 20 9 3
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Content
Coordination
Cooperation
Communication
CEIR
(CNX)
49 32 16 4
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Content
Coordination
Cooperation
Communication
IC-Partner
(CNX)

Vielen Dank für Eure Aufmerksamkeit!

◼ Glitsch, Johannes H.; Schubert, Petra (2017): IRESS: Identification of Requirements for Enterprise Social Software. In Procedia Computer Science 121, pp. 866–873. DOI: 10.1016/j.procs.2017.11.112.
◼ Just, Martin (2021): Collaborative Actions on Documents Ontology (ColActDOnt). An Ontology for Cross-System Process Mining in Enterprise Collaboration Software. Edited by Petra Schubert, Susan P.
Williams. Center for Enterprise Information Research (CEIR). Koblenz (CEIR Working Paper).
◼ Just, Martin; Schubert, Petra (2023): Collaborative Actions on Documents Ontology (ColActDOnt). In : Proceedings of the 14th CENTERIS. International Conference on ENTERprise Information Systems
(CENTERIS). Lissabon, 9-11 November, pp. 1–9.
◼ Richter, Alexander; Koch, Michael; Behrendt, Sebastian; Nestler, Simon; Müller, Sebastian; Herrlich, Stephan (2012): aperto - Ein Rahmenwerk zur Auswahl, Einführung und Optimierung von Corporate Social
Software. Neubiberg: Universitätsbibliothek der Universität der Bundeswehr (Schriften zur soziotechnischen Integration, Bd. 2).
◼ Saldaña, J. (2016). The coding manual for qualitative researchers. The coding manual for qualitative researchers.
◼ Schubert, Petra; Glitsch, Johannes H. (2015): Adding Structure to Enterprise Collaboration Systems: Identification of Use Cases and Collaboration Scenarios. In Procedia Computer Science 64, pp. 161–169.
DOI: 10.1016/j.procs.2015.08.477.
◼ Schubert, Petra; Glitsch, Johannes H. (2016): Use Cases and Collaboration Scenarios: how employees use socially-enabled Enterprise Collaboration Systems (ECS). In International Journal of Information
Systems and Project Management 4 (2), pp. 41–62. DOI: 10.12821/ijispm040203.
◼ Schubert, Petra; Williams, Susan P. (2022a): Enterprise Collaboration Platform Configurations: an Empirical Study. In : Proceedings of 20th European Conference on Computer-Supported Cooperative Work.
European Conference on Computer-Supported Cooperative Work. Coimbra, Portugal, 27 June - 1 July. European Society for Socially Embedded Technologies. 6 volumes (Reports of the European Society for
Socially Embedded Technologies, 1), pp. 1–17.
◼ Schubert, Petra; Williams, Susan P. (2022b): Enterprise Collaboration Platforms. An Empirical Study of Technology Support of Collaborative Work. In Procedia Computer Science 196, pp. 305–313.
REFERENZEN

DACHNUG50 Interpretation-von-Event-Logs-aus-CNX-mit-Hilfe-von-Domino.pdf

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie DACHNUG50 Interpretation-von-Event-Logs-aus-CNX-mit-Hilfe-von-Domino.pdf

Ähnlich wie DACHNUG50 Interpretation-von-Event-Logs-aus-CNX-mit-Hilfe-von-Domino.pdf (20)

Mehr von DNUG e.V.

Mehr von DNUG e.V. (20)

DACHNUG50 Interpretation-von-Event-Logs-aus-CNX-mit-Hilfe-von-Domino.pdf