Bug tracking à grande échelle et interopérabilité des outils de développement dans l’écosystème FLOSS

Introduction Interlinking bug reports Current eﬀorts More on OSLC Conclusion

Large scale bug tracking and interoperability of
development tools in the FLOSS ecosystem

Olivier Berger <olivier.berger@it-sudparis.eu> - Télécom
SudParis

Jeudi 09/06/2011
Séminaire IRILL

Olivier Berger <olivier.berger@it-sudparis.eu> - Télécom SudParis
Large scale bug tracking and interoperability of development tools in the FLOSS ecosystem


Purpose

Apologies / Excuses

Mélange de transparents en anglais et français. . .
Toutes mes excuses, all my apologies in advance, par avance.



Purpose

Large scale bugtracking
Deﬁnition : bugtracking

NO : Looking for bugs in the code / programs
YES : Looking for bug reports for these bugs



Purpose

as @zack said
Source : http ://git.upsilon.cc/r/talks/20110224-evry.git



Purpose

Large scale : FLOSS ecosystem

Lots of duplicate or related bug reports
Not a single place where to monitor bugs
OK, launchpad, maybe. . . too much a silo anyway

No interoperability of tools
Manual work of maintainer / QA (bug triaging, etc.)



Purpose

Who I am

Since 2002 : Institut TELECOM / TELECOM
SudParis / Computer Science dept. / PFTCR
team
Research on collaborative development
platforms, tools, process, in FLOSS communities
Previously worked in service companies (Cap
Gemini, IDEALX)
R&D on FLOSS, forges, bugtracking, Linked
Data, etc. (CALIBRE, HELIOS, COCLICO)
(recent) Debian developer (obergix),
contributor to FusionForge, etc.



About our recent collaborations

About HELIOS (over now)

Application Lifecycle Management
with Open Source tools
System@tic Paris Region

http: Partners : Alcatel-Lucent, Artenum,
//heliosplatform. TELECOM SudParis, Kalis,
sourceforge.net/ Mandriva, Thales
First work on bugtracker
interoperability OSLC, MantisBT,
bts-link, UDD, Linked Data



COCLICO (ongoing)

http://www.projet-coclico.org/

Le projet COCLICO vise à redynamiser les communautés
de forges logicielles en structurant un écosystème libre
pour lequel il existe une masse critique d’acteurs en
France.




Financeurs
Pôles de compétitivité
System@tic (Paris)

Minalogic (Grenoble)

Financement public (partiel)
2 ans (2009-2011)



Partenaires
9 participants principalement à Paris et Grenoble
Industriels :
Bull,
Orange Labs,
Xerox
PMEs :
CELI France,
Bearstech,
Gnurandal (via Xerox),
Objet Direct
Academiques :
INRIA,
Institut TELECOM / Télécom Sud Paris
Centrage fort sur le logiciel libre (est-ce que ça ne devrait pas
être toujours comme cela avec du ﬁnancement public ?)



Objectifs du projet COCLICO (quoting its website)
Re-dynamisation de la communautés logiciel libre des
développeurs autour de la base de code historique des forges
libres (FusionForge et Codendi)
Définition d’un modèle d’intégration ouvert
Intégrité des données et confidentialité
Échange de données en temps réel entre les différentes forges
Fonctionnalités pour utilisation industrielle et assurance qualité

traçabilité des informations,
support de méthodologies de génie logiciel,
interaction avec le poste de travail du développeur.
etc.


Problem deﬁnition

The need for interlinked bug reports

Help developers, maintainers, power users
Monitoring work done around particular issues
Not one single distribution channel
Many venues for support : many distributions, many
bugtrackers
Redundancy of reports across trackers
Final goal : ease of monitoring bug reports links all over the
FLOSS ecosystem



Problem definition

Existing tools : bts-link

http://bts-link.alioth.debian.org/

Monitoring status changes on upstream bugs around the
Debian bugtracker
Debian tool for package maintainers (and advanced users)
Uses existing bug links (forwarded-to) set by humans :
Distribution (Debian) package bugs
“Upstream” project bugtrackers bugs
Email notification for Debian packagers (or people monitoring
Debian bugs)
Supports lots of upstream bugtracker types (through specific
connectors) : bugzilla (and issuezilla), gnats, launchpad,
mantis, savane (from savanah), sourceforge trackers, trac,
gforge (and fusionforge most probably), google code


Problem definition

Existing tools : Eclipse Mylyn

http://www.eclipse.org/mylyn/

Mylyn Tasks (many other modules)
Offers integrated bug tracking interfaces inside Eclipse
Supports contexts attached to bug reports
32 different connectors to bugtrackers to maintain



Problem deﬁnition

Existing tools : SD (Simple defects)

http://syncwith.us/sd/

Distributed bugtracking.
Think :
Bugzilla == Subversion
SD == Git (+ git-svn, etc.)
CLI interface ;-)
Again, many connectors needed to diﬀerent bug trackers (RT,
Hiveminder, Trac, GitHub, Google Code, Redmine, debbugs ?)
Internal common representation (bug properties common base
-> OSLC-CM) ?


Problem deﬁnition

Issues for such tools

Needs custom ad-hoc connectors/scrapers for each
bugtracker : no standard APIs
Proliferation
Not always very actively maintained (including bugtrackers)



Past eﬀorts

Problems : interop / standardisation (lack of -)

Until recently, no real standard for bugtrackers :
APIs / protocols
Interchange of (meta-)data representing Bugs/Issues (and
associate resources)
Old school technology (Web 1.5 ?) : mashups diﬃcult,
ambiguous URIs, etc.



Past efforts

Past efforts : our Helios_BT ontology

PhD work as part of Helios project
Bug/Issue representation
Ontology, Schema (Semantic Web standards)
Contributed to standardisation effort : baetle project
http ://code.google.com/p/baetle/ (dead now)
Reuse of EvoOnt BOM http ://www.ifi.uzh.ch/ddis/evo/
Semantic web techniques (RDF) : extensible
Mapping bugtrackers data to RDF/Linked Data : prototype on
UDD, bugzilla, etc. (D2R)
TODO : Need to adjust to OSLC-CM that appeared in
between


Past eﬀorts

Our ﬁrst Helios bug tracking ontology
http://heliosplatform.sourceforge.net/ontologies/helios_bt.html



Trends

SemWeb / Linked-Data

Semantic Web, Linked Data, Web 3.0 hype (latest
instanciation : http ://schema.org/)
Linked (Open) Development Data
Bugs (reports) become ﬁrst class citizens of the SemWeb
(content-negociation, RDFa, adapters, OSLC-CM . . . )

http://linkeddata.org/



Trends

Linked Open Data

Source : http ://linkeddata.org/


Trends

(Public) Development artifacts part of Web 3.0 ?
RDFa in alioth.debian.org pages for users / projects
(recent COCLICO contributions to FusionForge 5.1)

Example (proj. /projects/bts-link) Example (user /users/obergix)
@prefix doap: <http://usefulinc.com/ns/doap#> .
@prefix doap: <http://usefulinc.com/ns/doap#> .
@prefix foaf: <http://xmlns.com/foaf/0.1/> .
@prefix foaf: <http://xmlns.com/foaf/0.1/> .
@prefix sioc: <http://rdfs.org/sioc/ns#> .
@prefix sioc: <http://rdfs.org/sioc/ns#> .
<http://alioth.debian.org/projects/bts-link>
<http://alioth.debian.org/users/obergix>
doap:created "2006-04-28"@en ;
sioc:email_sha1 "20405e51683655b67655e50b2e46fb0f43
doap:description "BTS-link provides a set of tool that allow our BTS to be linked to other popular BTS
sioc:member_of <https://alioth.debian.org/projects/
doap:developer <https://alioth.debian.org/users/olberger-guest/#me>, <https://alioth.debian.org/users/san
sioc:name "obergix"@en ;
doap:homepage <http://bts-link.alioth.debian.org> ;
a sioc:UserAccount ;
doap:maintainer <https://alioth.debian.org/users/ctrlsoft-guest/#me>, <https://alioth.debian.org/users/ma
<http://alioth.debian.org/users/obergix#me>
<https://alioth.debian.org/users/madcoder/>
doap:developer <https://alioth.debian.org/projects/
a sioc:UserAccount .
doap:maintainer <https://alioth.debian.org/projects
a foaf:Person ;
<https://alioth.debian.org/users/madcoder/#me>
foaf:account <http://alioth.debian.org/users/obergi
a foaf:Person ;
foaf:name "Olivier Berger"@en .
foaf:account <https://alioth.debian.org/users/madcoder/> .



Standards

OSLC-CM : a proposed standard for bugtracker
interoperability

OSLC (Open Services for Lifecycle Collaboration) proposed
standard
Web technology : REST, RDF, AJAX,
Open community, Open standard
OSLC-CM (Change Management) FLOSS implementations
developped in Helios and COCLICO
Mantis bugtracker (outdated now)
FusionForge trackers
Jenkins
Many more domains than trackers
More on OSLC later



Standards

SPDX (Software Package Data Exchange)

http://spdx.org/

Describe software package meta-data
Mainly about licensing / copyright issues for the moment
Linux Foundation, OSI, Black Duck, debian ( ?) => adoption
Should be inter-operable with bug-tracking domain (RDF too)



Standards

PlanetForge ontology ?

Primary goal : model forge artifacts in a standard way using
RDF
Forge project export / import feature being worked on in
COCLICO, for FusionForge, to start with
Links the diﬀerent tools dump formats (internal indentiﬁers)

Standard format to be used in ForgePlucker project
To be published on
http://planetforge.org/



Standards

Ontology



Open Services for Lifecycle Collaboration

Introduction rapide à OSLC

http://open-services.net/
Open Source License Checker / Our
Savior Lutheran Church
En français :
http:
//open-services.net/bin/view/Main/
OslcCoreSpecificationOverviewFR




Showtime ! (nice IBM propaganda)

http://www.youtube.com/watch?v=B2vqL8fujgE



Communauté OSLC

Communauté ouverte
Lead : IBM/Rational
Wiki pour specs
Projet Open Source :
http://oslc-tools.
sourceforge.net/ (Apache
Software License)
En cours de migration
vers Eclipse :
Eclipse Lyo proposal




Shameless auto-promotion




Spéciﬁcations : «standard» d’intéropérabilité

Standard ouvert
patent non-assert covenant signé par participants
spéciﬁcations sous Creative Commons
domaines divers (ALM, PLM)
OSLC-CM (Change Management)
beaucoup d’autres domaines, au-delà des trackers de bugs
Technologies
basé sur standards technologies Web : REST, RDF, AJAX,
Dublin Core
passe du modèle client-serveur au modèle Web (>= 2.0,
Linked Data)
pragmatique (PPCD)




État d’avancement spéciﬁcations

OSLC Core
http://open-services.net/bin/view/Main/OslcCore
Divers groupes de travail, mais presque tout ﬁnalisé




Domaine Change Management

OSLC-CM (bugtrackers)




Format d’échange sémantique + extensible : RDF

Example (XML)
<rdf:RDF
Example (JSON)
xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"
xmlns:dcterms="http://purl.org/dc/terms/"
xmlns:foaf="http://xmlns.com/foaf/0.1/"
{
xmlns:oslc_blog="http://open-services.net/ns/bogus/blogs#">
"prefixes" : {
"oslc": "http://open-services.net/ns/core#",
<oslc_blog:Entry
"rdf" : "http://www.w3.org/1999/02/22-rdf-syntax-
rdf:about="http://example.com/blogs/entry/1">
"foaf" : "http://http://xmlns.com/foaf/0.1/",
"dcterms" : "http://purl.org/dc/terms/"
<dcterms:title>I love trash</dcterms:title>
},
<dcterms:modified>2002-10-10T12:00:00-05:00</dcterms:modified>
"rdf:type" : { "rdf:resource" : "http://open-service
<dcterms:content>
"rdf:about" : "http://example.com/blogs/entry/1",
Anything dirty or dingy or dusty.
"dcterms:title" : "I love trash",
Anything ragged or rotten or rusty.
"dcterms:modified" : "2002-10-10T12:00:00-05:00",
</dcterms:content>
"dcterms:content" : "Anything dirty or dingy or dust
<dcterms:creator>
"dcterms:creator" : {
<foaf:Person>
"foaf:name" : "Oscar T. Grouch"
<foaf:name>Oscar T. Grouch</foaf:name>
},
</foaf:Person>
}
</dcterms:creator>

</oslc_blog:Entry>
</rdf:RDF>



Example bugzilla report (through oslc-tools adapter)
rapper -o turtle http://localhost:8282/bugz/changerequest?id=1

@prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> .
@prefix dcterms: <http://purl.org/dc/terms/> .
@prefix oslc: <http://open-services.net/ns/core#> .
@prefix oslc_cm: <http://open-services.net/ns/cm#> .
@prefix bugz: <http://www.bugzilla.org/rdf#> .
@prefix foaf: <http://http://xmlns.com/foaf/0.1/> .

<http://localhost:8282/bugz/changerequest?id=1>
oslc_cm:status "NEW" ;
dcterms:contributor [
foaf:name "olivier.berger@it-sudparis.eu" ;
a foaf:Person
] ;
dcterms:created "Fri May 20 17:36:00 CEST 2011" ;
dcterms:identifier "1" ;
dcterms:modified "Fri May 20 17:36:56 CEST 2011" ;
dcterms:title "coin" ;
bugz:component "TestComponent" ;
bugz:opsys "Linux" ;
bugz:platform "PC" ;
bugz:priority "P3" ;
bugz:product "TestProduct" ;
bugz:version "unspecified" ;
a oslc_cm:ChangeRequest .




Entités du service Web (méta-modèle, découverte)




APIs REST

opérations REST C,R,U,D classiques
Create (POST)
Retrieve (GET)
Update (PUT)
Delete (DEL)
API orientées intégration, interop
ID resources == URLs (RDF, Linked Data)
APIs REST minimales + extensions de chaque produit
dialogues delegated -> scenarii AJAX
resource preview,
OAuth
etc.




Opérations




Mashups AJAX (delegated dialogs)



Intégration et interopérabilité dans l’ALM

Integration des outils de développement

Auparavant : intégrations ad-hoc
Aujourd’hui demain : interopérabilité basée sur les standards
du Web (REST, OSLC)
Patterns d’intégration d’outils
ALMaaS (Cloud)




Mécanisme de preview des ressources générique basé sur
content-negociation

Spéciﬁcations
http://open-services.net/bin/view/Main/OslcCoreUiPreview
Exemple : curl -H ’Accept: application/x-oslc-compact+xml’ http://fftrunk/users/labbenes

<?xml version="1.0"?>
<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"
xmlns:dcterms="http://purl.org/dc/terms/"
xmlns:oslc="http://open-services.net/ns/core#">

<oslc:Compact rdf:about="https://fftrunk/plugins/oslc/compact/user/labbenes">
<dcterms:title>M. Sabri LABBENE</dcterms:title>
<oslc:shortTitle>labbenes</oslc:shortTitle>
<oslc:smallPreview>
<oslc:Preview>
<oslc:document rdf:ressource="https://fftrunk/plugins/oslc/compact/user/labbenes/type/small
<oslc:hintWidth>500px</oslc:hintWidth>
<oslc:hintHeight>150px</oslc:hintHeight>
</oslc:Preview>
</oslc:smallPreview>
</oslc:Compact>
</rdf:RDF>




Exemple : Compact preview OSLC users FusionForge

http://fusionforge.org/plugins/mediawiki/wiki/fusionforge/index.php/OslcCompactPreviewTooltips




Intégration continue : FusionForge + Jenkins

Jenkins (ex Hudson) comme Consumer OSLC-CM
Permet de créer des bugs en cas d’échecs des builds, sur le
bugtracker distant
Outil libre, Java, mashup Javascript, plugin OSLC-CM
publié sur GiHub
Trackers FusionForge comme Provider OSLC-CM
Gère la base de suivi des bugs et expose son API via OSLC-CM
Délègue l’authentiﬁcation aux consumers au nom des users de
la forge avec OAuth
Outil libre, PHP + Zend Framework, plugin OSLC-CM publié
sur SVN FusionForge




Démonstration : FusionForge + jenkins

Demo sur machine virtuelle
http://vimeo.com/23480321



Quid déploiement concret OSLC

Propriétaire
Jazz, RTC
...
Libre
plugin provider FusionForge trackers
plugin consumer Hudson/Jenkins
Mylyn (bientôt ?)
plugin provider Mantis (obsolète)
Adaptateur pour Bugzilla (Java, dans oslc-tools)
Projet OSLC-tools sur sf.net => Eclipse Lyo
devrait assurer plus d’intérêt pour OSLC



Perspectives

Encore du boulot. . .
OSLC-CM interface (RO ?) pour debbugs
OSLC-CM support in bts-link
Bug report forwarding tool
with SD (Simple Deﬀects) : Distributed bugtracker
middleware ?
More RDF and REST URLs in :
forges (FOAF, DOAP in FusionForge, work in progress)
Debian’s PTS
facade for UDD -> RDF (SPDX + OSLC-CM + . . . )
Semantic desktop integration (KDE, Nepomuk, . . . )
http://fetchbugs4.me someday (web app to monitor one’s
bug reports)


Perspectives

Plus d’interopérabilité, nouveaux usages ?

Utilisation OSLC dans outils libres ?
Mylyn ? . . . Oui, mais quand ?
Eclipse Lyo
debbugs, bugzilla, LaunchPad... ?

Nouveaux usages car plus d’interopérabilité ?
Puissance des standards décuplée :
OSLC + SPDX + PlanetForge + Helios_BT !
Nouvelles oportunités
Linked Data pour les données de développement des projets
libres => mining pour études génie logiciel
Qui vivra verra. . .


Questions, etc. ?

Fin

Merci.
Questions ?

En savoir plus
@oberger : http://identi.ca/oberger/
email : mailto:olivier.berger@it-sudparis.eu
blog : http://www-public.it-sudparis.eu/~berger_o/weblog/



Questions, etc. ?

Copyright & License

This presentation is under CC-by-SA license
Illustrations empruntées aux spéciﬁcations OSLC specs (licence
Creative Commons)
Copyright (c) 2011 Olivier Berger, Institut Télécom
Made with org-mode under emacs (org + beamer)


Bug tracking à grande échelle et interopérabilité des outils de développement dans l’écosystème FLOSS

Recommended

Recommended

More Related Content

Similar to Bug tracking à grande échelle et interopérabilité des outils de développement dans l’écosystème FLOSS

Similar to Bug tracking à grande échelle et interopérabilité des outils de développement dans l’écosystème FLOSS (20)

More from olberger

More from olberger (19)

Recently uploaded

Recently uploaded (20)

Bug tracking à grande échelle et interopérabilité des outils de développement dans l’écosystème FLOSS