SlideShare ist ein Scribd-Unternehmen logo
1 von 15
Celery vs rq
Points communs


• 2 gestionnaires de files d’attente

• En python
Celery en quelques mots

• Au départ une application django

• Devenu depuis un projet autonome

• Mais il peut toujours fonctionner de concert
  avec django
Celery en quelques mots
• Distribué :
  – un broker va recevoir les demandes de traitement

  – des workers vont pouvoir les traiter

  – les workers ne sont pas forcément sur le même
    servery
Celery en quelques mots

• Projet déjà ancien, mais qui évolue beaucoup
  – La politique de stabilité est très claire et la
    déprécation d’une fonction intervient longtemps
    avant sa suppression

• Très (trop ?) riche
rq en quelques mots

• Une alternative light à Celery
  – Pas besoin de différents types de tâches

  – Pas besoin de différents backends pour le broker
     rq = Redis Queue

  – Pas besoin de webhooks
Utilisation de Celery

• Doc complète et prise en main assez facile
  – Malgré tout, il est souvent difficile de trouver
    certaines infos

  – On fait donc parfois des mauvais choix parfois
    pénalisants pour la suite
Utilisation de Celery



• Tuning du daemon prend du temps
Utilisation de Celery



• Pas de priorisation des tâches
Utilisation de Celery

• Monitoring : indispensable en asynchrone
  – dj-celery si vous utilisez celery avec django
     • 2 autres daemons à activer

     • activation des évènements au niveau des daemons
      surveillés

  – Si le broker est RabbitMQ: plugin d’admin
Utilisation de rq


• Doc minimaliste (mais il y a beaucoup moins à
  dire)

• Pas de status du résultat
Utilisation de rq


• Pas distribué (pas de channel, ni d’exchange ni
  de router)

• Plusieurs workers mais une tâche à la fois
Utilisation de rq

• Python only : pas de webhooks

• Il existe une interface d'administration, mais
  pour Flask.

• Ne fonctionne que sous Unix.
Questions
Personnal branling


• @nautilebleu

• @greenbureaufr

Weitere ähnliche Inhalte

Was ist angesagt?

Mongo db applicationmonitor
Mongo db applicationmonitorMongo db applicationmonitor
Mongo db applicationmonitorPhilippe Sfeir
 
XebiCon'17 : Rex Akka dans une architecture microservice - Joachim Rousseau
XebiCon'17 : Rex Akka dans une architecture microservice - Joachim RousseauXebiCon'17 : Rex Akka dans une architecture microservice - Joachim Rousseau
XebiCon'17 : Rex Akka dans une architecture microservice - Joachim RousseauPublicis Sapient Engineering
 
Xebicon architectures microservices azure v1.0
Xebicon   architectures microservices azure v1.0Xebicon   architectures microservices azure v1.0
Xebicon architectures microservices azure v1.0Michel HUBERT
 
Postman - Dev/var 15
Postman - Dev/var 15Postman - Dev/var 15
Postman - Dev/var 15Jonathan SAEZ
 
Apache Cassandra - Concepts et fonctionnalités
Apache Cassandra - Concepts et fonctionnalitésApache Cassandra - Concepts et fonctionnalités
Apache Cassandra - Concepts et fonctionnalitésRomain Hardouin
 
Apache Kafka, Un système distribué de messagerie hautement performant
Apache Kafka, Un système distribué de messagerie hautement performantApache Kafka, Un système distribué de messagerie hautement performant
Apache Kafka, Un système distribué de messagerie hautement performantALTIC Altic
 
A bas Cron ! Vive Oozie !
A bas Cron ! Vive Oozie !A bas Cron ! Vive Oozie !
A bas Cron ! Vive Oozie !David Morel
 
Paris Kafka Meetup - Concepts & Architecture
Paris Kafka Meetup - Concepts & ArchitectureParis Kafka Meetup - Concepts & Architecture
Paris Kafka Meetup - Concepts & ArchitectureFlorian Hussonnois
 

Was ist angesagt? (8)

Mongo db applicationmonitor
Mongo db applicationmonitorMongo db applicationmonitor
Mongo db applicationmonitor
 
XebiCon'17 : Rex Akka dans une architecture microservice - Joachim Rousseau
XebiCon'17 : Rex Akka dans une architecture microservice - Joachim RousseauXebiCon'17 : Rex Akka dans une architecture microservice - Joachim Rousseau
XebiCon'17 : Rex Akka dans une architecture microservice - Joachim Rousseau
 
Xebicon architectures microservices azure v1.0
Xebicon   architectures microservices azure v1.0Xebicon   architectures microservices azure v1.0
Xebicon architectures microservices azure v1.0
 
Postman - Dev/var 15
Postman - Dev/var 15Postman - Dev/var 15
Postman - Dev/var 15
 
Apache Cassandra - Concepts et fonctionnalités
Apache Cassandra - Concepts et fonctionnalitésApache Cassandra - Concepts et fonctionnalités
Apache Cassandra - Concepts et fonctionnalités
 
Apache Kafka, Un système distribué de messagerie hautement performant
Apache Kafka, Un système distribué de messagerie hautement performantApache Kafka, Un système distribué de messagerie hautement performant
Apache Kafka, Un système distribué de messagerie hautement performant
 
A bas Cron ! Vive Oozie !
A bas Cron ! Vive Oozie !A bas Cron ! Vive Oozie !
A bas Cron ! Vive Oozie !
 
Paris Kafka Meetup - Concepts & Architecture
Paris Kafka Meetup - Concepts & ArchitectureParis Kafka Meetup - Concepts & Architecture
Paris Kafka Meetup - Concepts & Architecture
 

Andere mochten auch

Khaled B E N D R I S S Www Journaldunet Com Developpeur Tefdyntc
Khaled  B E N  D R I S S Www Journaldunet Com Developpeur TefdyntcKhaled  B E N  D R I S S Www Journaldunet Com Developpeur Tefdyntc
Khaled B E N D R I S S Www Journaldunet Com Developpeur TefdyntcKhaled Ben Driss
 
04 Comenius Holanda
04 Comenius Holanda04 Comenius Holanda
04 Comenius Holandaseiscentros
 
Tendencias De Las Plataformas De Hardware Y TecnologíAs Emergentes
Tendencias De Las Plataformas De Hardware Y TecnologíAs EmergentesTendencias De Las Plataformas De Hardware Y TecnologíAs Emergentes
Tendencias De Las Plataformas De Hardware Y TecnologíAs Emergentesmaximo coconi torres
 
Nicolas Hazard - Extrait Livre Blanc 80 #PortraitDeStartuper - Dessiner le futur
Nicolas Hazard - Extrait Livre Blanc 80 #PortraitDeStartuper - Dessiner le futurNicolas Hazard - Extrait Livre Blanc 80 #PortraitDeStartuper - Dessiner le futur
Nicolas Hazard - Extrait Livre Blanc 80 #PortraitDeStartuper - Dessiner le futurSébastien Bourguignon
 
Empresas Piratas.Ppt
Empresas Piratas.PptEmpresas Piratas.Ppt
Empresas Piratas.PptANahiMartinez
 
La veille de Ne Kid du 13.05.09 : la Télévision Mobile Personnelle
La veille de Ne Kid du 13.05.09 : la Télévision Mobile PersonnelleLa veille de Ne Kid du 13.05.09 : la Télévision Mobile Personnelle
La veille de Ne Kid du 13.05.09 : la Télévision Mobile PersonnelleNé Kid
 
Enseignement à travers les âges
Enseignement à travers les âgesEnseignement à travers les âges
Enseignement à travers les âgescorneau
 
Amenaza de ab home
Amenaza de ab homeAmenaza de ab home
Amenaza de ab homePrivada
 
Escribecreativo
EscribecreativoEscribecreativo
Escribecreativokatiapgm
 

Andere mochten auch (20)

Resumen Tema
Resumen TemaResumen Tema
Resumen Tema
 
El Amor
El AmorEl Amor
El Amor
 
Khaled B E N D R I S S Www Journaldunet Com Developpeur Tefdyntc
Khaled  B E N  D R I S S Www Journaldunet Com Developpeur TefdyntcKhaled  B E N  D R I S S Www Journaldunet Com Developpeur Tefdyntc
Khaled B E N D R I S S Www Journaldunet Com Developpeur Tefdyntc
 
Jesus
JesusJesus
Jesus
 
MrsBIllustrations
MrsBIllustrationsMrsBIllustrations
MrsBIllustrations
 
Amitie3
Amitie3Amitie3
Amitie3
 
04 Comenius Holanda
04 Comenius Holanda04 Comenius Holanda
04 Comenius Holanda
 
Tendencias De Las Plataformas De Hardware Y TecnologíAs Emergentes
Tendencias De Las Plataformas De Hardware Y TecnologíAs EmergentesTendencias De Las Plataformas De Hardware Y TecnologíAs Emergentes
Tendencias De Las Plataformas De Hardware Y TecnologíAs Emergentes
 
Nicolas Hazard - Extrait Livre Blanc 80 #PortraitDeStartuper - Dessiner le futur
Nicolas Hazard - Extrait Livre Blanc 80 #PortraitDeStartuper - Dessiner le futurNicolas Hazard - Extrait Livre Blanc 80 #PortraitDeStartuper - Dessiner le futur
Nicolas Hazard - Extrait Livre Blanc 80 #PortraitDeStartuper - Dessiner le futur
 
La Miseria Humana
La Miseria HumanaLa Miseria Humana
La Miseria Humana
 
Menu Principal IDE0317021
Menu Principal IDE0317021Menu Principal IDE0317021
Menu Principal IDE0317021
 
Portfolio
PortfolioPortfolio
Portfolio
 
Taller Cuenta1
Taller Cuenta1Taller Cuenta1
Taller Cuenta1
 
Empresas Piratas.Ppt
Empresas Piratas.PptEmpresas Piratas.Ppt
Empresas Piratas.Ppt
 
La veille de Ne Kid du 13.05.09 : la Télévision Mobile Personnelle
La veille de Ne Kid du 13.05.09 : la Télévision Mobile PersonnelleLa veille de Ne Kid du 13.05.09 : la Télévision Mobile Personnelle
La veille de Ne Kid du 13.05.09 : la Télévision Mobile Personnelle
 
Compu training pp
Compu training ppCompu training pp
Compu training pp
 
Enseignement à travers les âges
Enseignement à travers les âgesEnseignement à travers les âges
Enseignement à travers les âges
 
Conceptos de TIC
Conceptos de TICConceptos de TIC
Conceptos de TIC
 
Amenaza de ab home
Amenaza de ab homeAmenaza de ab home
Amenaza de ab home
 
Escribecreativo
EscribecreativoEscribecreativo
Escribecreativo
 

Ähnlich wie Meetup django-2012-06-14

Programmation concurrente en Java
Programmation concurrente en JavaProgrammation concurrente en Java
Programmation concurrente en JavaFlorian Beaufumé
 
Apache solr andré bois-crettez 08
Apache solr   andré bois-crettez 08Apache solr   andré bois-crettez 08
Apache solr andré bois-crettez 08Loïc Descotte
 
Perfug BOF devoxx2017.pptx
Perfug BOF devoxx2017.pptxPerfug BOF devoxx2017.pptx
Perfug BOF devoxx2017.pptxMarc Bojoly
 
Présentation Rex GWT 2.0
Présentation Rex GWT 2.0Présentation Rex GWT 2.0
Présentation Rex GWT 2.0Ippon
 
Presentation Rex Methodes Agiles
Presentation Rex Methodes AgilesPresentation Rex Methodes Agiles
Presentation Rex Methodes AgilesIppon
 
Elasticsearch 5.0 les nouveautés
Elasticsearch 5.0 les nouveautésElasticsearch 5.0 les nouveautés
Elasticsearch 5.0 les nouveautésMathieu Elie
 
Forum Zimbra 2012 Zimbra et la SSO
Forum Zimbra 2012 Zimbra et la SSOForum Zimbra 2012 Zimbra et la SSO
Forum Zimbra 2012 Zimbra et la SSOAntony Barroux
 
Game of upgrades to liferay dxp - ep1: Migration de données
Game of upgrades to liferay dxp - ep1: Migration de donnéesGame of upgrades to liferay dxp - ep1: Migration de données
Game of upgrades to liferay dxp - ep1: Migration de donnéesQuang Tu LE
 
Recueil des mauvaises pratiques constatées lors de l'audit de sites Drupal 7
Recueil des mauvaises pratiques constatées lors de l'audit de sites Drupal 7Recueil des mauvaises pratiques constatées lors de l'audit de sites Drupal 7
Recueil des mauvaises pratiques constatées lors de l'audit de sites Drupal 7OSInet
 
Toutes les raisons d'adopter MongoDB
Toutes les raisons d'adopter MongoDBToutes les raisons d'adopter MongoDB
Toutes les raisons d'adopter MongoDBContent Square
 
OpenLDAP - Astuces pour en faire l'annuaire d'entreprise idéal
OpenLDAP - Astuces pour en faire l'annuaire d'entreprise idéalOpenLDAP - Astuces pour en faire l'annuaire d'entreprise idéal
OpenLDAP - Astuces pour en faire l'annuaire d'entreprise idéalJonathan Clarke
 
Cours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdfCours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdfboulonvert
 
Des poneys à Liberation.fr
Des poneys à Liberation.frDes poneys à Liberation.fr
Des poneys à Liberation.frliberation_dev
 
Plongée au cœur du Framework .NET 4.5
Plongée au cœur du Framework .NET 4.5Plongée au cœur du Framework .NET 4.5
Plongée au cœur du Framework .NET 4.5Microsoft
 

Ähnlich wie Meetup django-2012-06-14 (20)

Programmation concurrente en Java
Programmation concurrente en JavaProgrammation concurrente en Java
Programmation concurrente en Java
 
Apache solr andré bois-crettez 08
Apache solr   andré bois-crettez 08Apache solr   andré bois-crettez 08
Apache solr andré bois-crettez 08
 
Perfug BOF devoxx2017.pptx
Perfug BOF devoxx2017.pptxPerfug BOF devoxx2017.pptx
Perfug BOF devoxx2017.pptx
 
Genielogiciel
GenielogicielGenielogiciel
Genielogiciel
 
Présentation Rex GWT 2.0
Présentation Rex GWT 2.0Présentation Rex GWT 2.0
Présentation Rex GWT 2.0
 
Presentation Rex Methodes Agiles
Presentation Rex Methodes AgilesPresentation Rex Methodes Agiles
Presentation Rex Methodes Agiles
 
Rails 3 au Djangocong
Rails 3 au DjangocongRails 3 au Djangocong
Rails 3 au Djangocong
 
Elasticsearch 5.0 les nouveautés
Elasticsearch 5.0 les nouveautésElasticsearch 5.0 les nouveautés
Elasticsearch 5.0 les nouveautés
 
Forum Zimbra 2012 Zimbra et la SSO
Forum Zimbra 2012 Zimbra et la SSOForum Zimbra 2012 Zimbra et la SSO
Forum Zimbra 2012 Zimbra et la SSO
 
Game of upgrades to liferay dxp - ep1: Migration de données
Game of upgrades to liferay dxp - ep1: Migration de donnéesGame of upgrades to liferay dxp - ep1: Migration de données
Game of upgrades to liferay dxp - ep1: Migration de données
 
4 Etude De Faisabilite
4 Etude De Faisabilite4 Etude De Faisabilite
4 Etude De Faisabilite
 
Recueil des mauvaises pratiques constatées lors de l'audit de sites Drupal 7
Recueil des mauvaises pratiques constatées lors de l'audit de sites Drupal 7Recueil des mauvaises pratiques constatées lors de l'audit de sites Drupal 7
Recueil des mauvaises pratiques constatées lors de l'audit de sites Drupal 7
 
Toutes les raisons d'adopter MongoDB
Toutes les raisons d'adopter MongoDBToutes les raisons d'adopter MongoDB
Toutes les raisons d'adopter MongoDB
 
OpenLDAP - Astuces pour en faire l'annuaire d'entreprise idéal
OpenLDAP - Astuces pour en faire l'annuaire d'entreprise idéalOpenLDAP - Astuces pour en faire l'annuaire d'entreprise idéal
OpenLDAP - Astuces pour en faire l'annuaire d'entreprise idéal
 
Cours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdfCours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdf
 
Rtlinux
RtlinuxRtlinux
Rtlinux
 
Des poneys à Liberation.fr
Des poneys à Liberation.frDes poneys à Liberation.fr
Des poneys à Liberation.fr
 
Formation Google App Engine
Formation Google App EngineFormation Google App Engine
Formation Google App Engine
 
Plongée au cœur du Framework .NET 4.5
Plongée au cœur du Framework .NET 4.5Plongée au cœur du Framework .NET 4.5
Plongée au cœur du Framework .NET 4.5
 
FinistJUG - Apache TomEE
FinistJUG - Apache TomEEFinistJUG - Apache TomEE
FinistJUG - Apache TomEE
 

Meetup django-2012-06-14

  • 2. Points communs • 2 gestionnaires de files d’attente • En python
  • 3. Celery en quelques mots • Au départ une application django • Devenu depuis un projet autonome • Mais il peut toujours fonctionner de concert avec django
  • 4. Celery en quelques mots • Distribué : – un broker va recevoir les demandes de traitement – des workers vont pouvoir les traiter – les workers ne sont pas forcément sur le même servery
  • 5. Celery en quelques mots • Projet déjà ancien, mais qui évolue beaucoup – La politique de stabilité est très claire et la déprécation d’une fonction intervient longtemps avant sa suppression • Très (trop ?) riche
  • 6. rq en quelques mots • Une alternative light à Celery – Pas besoin de différents types de tâches – Pas besoin de différents backends pour le broker  rq = Redis Queue – Pas besoin de webhooks
  • 7. Utilisation de Celery • Doc complète et prise en main assez facile – Malgré tout, il est souvent difficile de trouver certaines infos – On fait donc parfois des mauvais choix parfois pénalisants pour la suite
  • 8. Utilisation de Celery • Tuning du daemon prend du temps
  • 9. Utilisation de Celery • Pas de priorisation des tâches
  • 10. Utilisation de Celery • Monitoring : indispensable en asynchrone – dj-celery si vous utilisez celery avec django • 2 autres daemons à activer • activation des évènements au niveau des daemons surveillés – Si le broker est RabbitMQ: plugin d’admin
  • 11. Utilisation de rq • Doc minimaliste (mais il y a beaucoup moins à dire) • Pas de status du résultat
  • 12. Utilisation de rq • Pas distribué (pas de channel, ni d’exchange ni de router) • Plusieurs workers mais une tâche à la fois
  • 13. Utilisation de rq • Python only : pas de webhooks • Il existe une interface d'administration, mais pour Flask. • Ne fonctionne que sous Unix.