SlideShare ist ein Scribd-Unternehmen logo
1 von 26
Downloaden Sie, um offline zu lesen
www.fromdual.com




     MySQL Replikation

DOAG Konferenz 2012, Nürnberg


          Oli Sennhauser
   Senior MySQL Consultant, FromDual GmbH

    oli.sennhauser@fromdual.com


                                                    1 / 26
Über FromDual GmbH                              www.fromdual.com




●   FromDual bietet neutral und unabhängig:
    ●   Beratung für MySQL und Galera Cluster
    ●   Support für MySQL und Galera Cluster
    ●   MySQL Remote-DBA Dienstleistungen
    ●   MySQL Schulungen
●   Oracle Silver Partner (OPN)

                   www.fromdual.com


                                                        2 / 26
Kunden   www.fromdual.com




                 3 / 26
Inhalt                                         www.fromdual.com




     MySQL Replikation
     ➢
         Was ist Replikation?
     ➢
         Wie funktioniert MySQL Replikation?
     ➢
         Wie wird Replikation aufgesetzt?
     ➢
         Wann brauche ich MySQL Replikation?
     ➢
         Neuerungen in 5.1, 5.5 und 5.6




                                                       4 / 26
Was ist Replikation?                    www.fromdual.com




●   Daten von einer Datenbank auf eine oder
    mehrere andere Datenbanken weiterreichen:
            Applikation




              Master           Slave



●   Daten = UPDATE, INSERT, DELETE, ... (= DML
    Statements) oder (binäre) „Events“

                                                5 / 26
MySQL Replikation                                                                       www.fromdual.com




●   Wie funktioniert die MySQL Replikation?
    Applikation            binlog dump
                                                                      IO_thread
                              thread
                                                                                        master.info




                                   Initialer Dump                                     SQL_thread
          Master                     asynchron         Slave
                                                                                            relay-log.info

                                        binary log
                                       writer thread
    ...   bin-log.m   bin-log.n                           ...   relay-log.m   relay-log.n




                   bin-log.index




                                                                                                        6 / 26
Vorbereiten des Masters                               www.fromdual.com




●   Auf dem Master im my.cnf:
    ●   Binary log einschalten:
            log­bin = bin­log
    ●   Server ID setzen:
            server_id = 42
        ●   Muss im Replikations-Setup Unique sein!
●   Server neu starten (downtime!)




                                                              7 / 26
User anlegen und Dump                      www.fromdual.com




●   Auf dem Master:
●   Replikations-User anlegen:
      CREATE USER 'replication'@'192.168.1.%'
      IDENTIFIED BY 'secret';
      GRANT REPLICATION SLAVE ON *.*
      TO 'replication'@'192.168.1.%';
●   Initialen konsistenten! Dump ziehen:
      mysqldump ­­all­databases ­­single­
      transaction (­­lock­all­tables) 
      ­­master­data > full_dump.sql

                                                   8 / 26
Aufsetzen des Slaves                           www.fromdual.com



●   Neue Datenbank erstellen (2. Maschine)
        ./scripts/mysql_install_db  
        ­­datadir=/var/lib/mysql
●   Andere Server ID setzen:
    ●   server_id = 43
●   Slave auf seinen Master ansetzen:
    ●   CHANGE MASTER TO master_host='192.168.1.42'
        , master_port=3306, master_user='replication'
        , master_password='secret';
●   Initialen konsistenten Dump einspielen:
        mysql ­u root < full_dump.sql

                                                       9 / 26
Kontrolle und starten                        www.fromdual.com




●   Kontrolle:
      SHOW SLAVE STATUSG
          Slave_IO_State:
             Master_Host: 192.168.1.42
             Master_User: replication
             Master_Port: 3306
         Master_Log_File: bin­log.000001
     Read_Master_Log_Pos: 51819
          Relay_Log_File: relay­bin.000001
           Relay_Log_Pos: 4
        Slave_IO_Running: No
       Slave_SQL_Running: No


●   Starten des Slaves:
      SLAVE START;

                                                     10 / 26
Probleme beim Aufsetzen                                       www.fromdual.com



●   MySQL Replikation funktioniert grundsätzlich gut!
●   Gründe warum Probleme auftreten:
    ●   Nicht sauberes befolgen der Anleitungen!
    ●   Nicht konsistentes Backup
        ●   OHNE ­­single­transaction / ­­lock­all­tables :-(
        ●   Jedes Schema einzeln (­­all­databases) :-(
●   MySQL Dokumentation: How to Set Up Replication
        http://dev.mysql.com/doc/refman/5.5/en/replication-
        howto.html




                                                                      11 / 26
Probleme im Betrieb                              www.fromdual.com



●   Slave wird nicht überwacht
●   Binary logs werden nicht aufgeräumt
      expire_logs_days = n
      PURGE BINARY LOGS TO 'bin­log.000013';
●   „Fummeln“ auf dem Slave
●   Master/Slave Lag (hinterher hinken)
●   Master/Slave Drift (auseinander laufen)
      → Wenn Master und Slave auseinander laufen MUSS der
      Slave neu aufgesetzt werden
●   Filtern auf dem Master ist meist keine gute Idee!
                                                         12 / 26
Master/Slave Drift                                                      www.fromdual.com



●   Master und Slave können auseinander laufen weil:
    ●   Auf dem Slave geschrieben wird („rumfummeln“!)
    ●   sql_bin_log = 0
    ●   sql_slave_skip_counter = 1
    ●   slave_skip_errors=...
    ●   Nicht-deterministische Abfragen/Funktionen → viel besser mit Row Based
        Replikation (RBR)
    ●   Filtern auf Master oder Slave
    ●   Temporäre Tabellen mit SBR
●   Unterschiede können gefunden werden mit Tools aus dem Maatkit:
        mk­table­checksum
●   und gefixed werden mit:
        mk­table­sync
●   Ansonsten → Slave neu aufsetzen!!!

                                                                                 13 / 26
Wann brauche ich die MySQL
Replikation?                                    www.fromdual.com




●   Es gibt verschiedene Szenarien:
    ●   Scale-Out Lösungen
    ●   Backup Slave
    ●   Datenanalyse, Reporting
    ●   Hochverfügbarkeit (HA)
    ●   (Zeitversetzte Datenstände vorhalten)




                                                        14 / 26
MySQL Scale-Out vs Scale-Up               www.fromdual.com




         ● Kosten
                             Scale-Up
         ● MySQL Design

         ● Phsikalische Flaschenhälse




     ●   „Relaxation of Constraints“
                              Scale-Out

                                                  15 / 26
Der MySQL Scale-Out Ansatz                                        www.fromdual.com




                          Applikation
                    ro
                                  rtw
                                               Slave Reporting
          Slave M             Master

                                                   Slave Backup

     Slave 1        Slave 2        Slave 3
                                             ...


               Load balancer




                                                                          16 / 26
Neuerungen in MySQL 5.1, 5.5
und 5.6                                   www.fromdual.com




●   Row-Based Replikation (5.1)
●   Semi-Synchrone Replikation (5.5)
●   Transaktions Basierte Replikation (5.6)
●   Row Image Control (5.6)
●   Crash Safe Binary Logs (5.6)
●   Parallel Slave Worker Threads (5.6)
●   ...


                                                  17 / 26
Row-Based Replikation (5.1)                                www.fromdual.com



●   Alt (<= 5.0) Statement-Based Replikation (SBR)
        → Statements werden übermittelt
    ●   Problem: nicht-deterministische Abfragen/Funktionen
        → inkonsistente Daten zwischen Master und Slave
●   Neu (>= 5.1) Row-Based Replikation (RBR)
        → Events / Trx werden übermittelt
    ●   binlog_format = {ROW | MIXED | STATEMENT}
    ●   RBR ist die sicherste Art der Replikation!
    ●   Wie sehe ich trotzdem was passiert?
        mysqlbinlog ­­base64­output=DECODE­ROWS 
        ­­verbose bin­log.000069
    ●   Mehr binlog Traffic, unterschiedliche Performance → Testen!

                                                                   18 / 26
Semi-synchrone Replikation (5.5)                                   www.fromdual.com



●   Default asynchrone Replikation
    ●   Master wartet NICHT auf Slave!
    ●   Bei Crash: Trx ist nicht zwingend auf Slave
●   Neu (5.5) optional semi-synchrone Replikation
    ●   Plug-in (muss auf Master UND Slave aktiv sein!)
    ●   Master wartet auf Slave bis Timeout!
        ●   Nach Timeout (default 10 s) → Fallback auf asynchron
    ●   Bis Slave in Relay Log (sync) geschrieben hat
    ●   Bessere Datenintegrität (Master + mind. 1 Slave)
    ●   Schlechtere Performance (Commit + NW Roundtrip + Commit)
    ●   Master Commit, dann Crash, möglich dass Trx Slave nicht
        erreicht hat!

                                                                           19 / 26
Semi-synchrone Replikation                                                 www.fromdual.com




●   Wie funktioniert die semi-synchrone
    Replikation?
    Applikation

                                                                    master.info




          Master                   Slave
              OK                                                        relay-log.info




    ...   bin-log.m   bin-log.n       ...   relay-log.m      OK
                                                          relay-log.n




                   bin-log.index




                                                                                         20 / 26
Semi-synchrone Replikation                                                           www.fromdual.com



●   Plug-ins aktivieren:
      INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
      INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
●   Prüfen ob erfolgreich:

      SHOW PLUGINS;
      +­­­­­­­­­­­­­­­­­­­­­­­+­­­­­­­­+­­­­­­­­­­­­­­­­­­­­+­­­­­­­­­­­­­­­­­­­­+
      | Name                  | Status | Type               | Library            |
      +­­­­­­­­­­­­­­­­­­­­­­­+­­­­­­­­+­­­­­­­­­­­­­­­­­­­­+­­­­­­­­­­­­­­­­­­­­+
      | rpl_semi_sync_master  | ACTIVE | REPLICATION        | semisync_master.so |
      | rpl_semi_sync_slave   | ACTIVE | REPLICATION        | semisync_slave.so  |
      +­­­­­­­­­­­­­­­­­­­­­­­+­­­­­­­­+­­­­­­­­­­­­­­­­­­­­+­­­­­­­­­­­­­­­­­­­­+


●   Semi-synchrone Replikation einschalten:
      SET GLOBAL rpl_semi_sync_master_enabled = 1;
      SET GLOBAL rpl_semi_sync_slave_enabled  = 1;
●   Slave (neu) starten:
      STOP SLAVE IO_THREAD; START SLAVE IO_THREAD;


                                                                                             21 / 26
Replikation in MySQL 5.6 (1)                               www.fromdual.com



●   Transaktions Basierte Replikation (TBR?)
    ●   Global Transaction Identifiers (GTID)
    ●   Keine M/S Inkonsistenzen mehr möglich!?!
    ●   Noch etwas wenig geschmeidig / komplizierter :-(
●   Row Image Control
    ●   binlog_row_image = {full | minimal | noblob}
●   Parallele Worker Threads
    ●   slave_parallel_workers = <n>
    ●   Parallelisieren pro Schema
    ●   Gut für Hoster mit Traffic auf vielen Schemata!


                                                                   22 / 26
Replikation in MySQL 5.6 (2)                     www.fromdual.com




●   Crash safe Binary Logs
    ●   Vollständige Events/Trx werden geloggt
    ●   Event-Länge + CRC32 Checksumme
●   Slave: master.info und relay­log.info
    zusätzlich in (MyISAM) Tabellen
    ●   slave_master_info +
        slave_relay_log_info
    ●   Umwandeln in InnoDB!


                                                         23 / 26
Replikation in MySQL 5.6 (3)               www.fromdual.com



●   Remote Binary Log Shipping:
        mysqlbinlog ­­read­from­remote­server 
        ­­raw bin­log.000001 > bin­log.000001.dup
●   Delayed Replication
        CHANGE MASTER TO MASTER_DELAY=n;
    ●   Früher mk­slave­delay (Maatkit)
●   Slave kann auf ein Netzwerk Interface gebunden
    werden:
        MASTER_BIND='eth1'


                                                   24 / 26
Synchrone Replikation mit Galera                 www.fromdual.com




●   Codership (www.codership.com)
●   Synchrone Replikation
    ●   “Certification Based Replication”, kein 2PC!
●   Echte Multi-Master Replikation
●   Skaliert sowohl lesend als auch schreibend


           → mehr dazu Erkan & Alex/Seppo


                                                         25 / 26
Q&A                                                     www.fromdual.com




                               Fragen ?

                            Diskussion?

     Wir haben noch Zeit für ein persönliches Gespräch...

●   FromDual bietet neutral und unabhängig:
    ●   MySQL Beratung
    ●   Remote-DBA für MySQL
    ●   Support für MySQL und Galera
    ●   MySQL Schulung
                               www.fromdual.com/presentations
                                                                26 / 26

Weitere ähnliche Inhalte

Was ist angesagt?

DOAG 2010: MySQL Architekturen für Oracle DBA's
DOAG 2010: MySQL Architekturen für Oracle DBA'sDOAG 2010: MySQL Architekturen für Oracle DBA's
DOAG 2010: MySQL Architekturen für Oracle DBA's
FromDual GmbH
 
MySQL - New Features 5.6
MySQL - New Features 5.6MySQL - New Features 5.6
MySQL - New Features 5.6
FromDual GmbH
 
Internet Briefing 2010: Performance Tuning & Scale-Out mit MySQL
Internet Briefing 2010: Performance Tuning & Scale-Out mit MySQLInternet Briefing 2010: Performance Tuning & Scale-Out mit MySQL
Internet Briefing 2010: Performance Tuning & Scale-Out mit MySQL
FromDual GmbH
 
DOAG: NoSQL with MySQL
DOAG: NoSQL with MySQLDOAG: NoSQL with MySQL
DOAG: NoSQL with MySQL
FromDual GmbH
 

Was ist angesagt? (20)

NoSQL with MySQL
NoSQL with MySQLNoSQL with MySQL
NoSQL with MySQL
 
DOAG 2010: MySQL Architekturen für Oracle DBA's
DOAG 2010: MySQL Architekturen für Oracle DBA'sDOAG 2010: MySQL Architekturen für Oracle DBA's
DOAG 2010: MySQL Architekturen für Oracle DBA's
 
MySQL - New Features 5.6
MySQL - New Features 5.6MySQL - New Features 5.6
MySQL - New Features 5.6
 
MySQL-Server im Teamwork - Replikation und Cluster
MySQL-Server im Teamwork - Replikation und ClusterMySQL-Server im Teamwork - Replikation und Cluster
MySQL-Server im Teamwork - Replikation und Cluster
 
MySQL Beispiele aus der Praxis - Wie setzen Kunden MySQL ein?
MySQL Beispiele aus der Praxis - Wie setzen Kunden MySQL ein?MySQL Beispiele aus der Praxis - Wie setzen Kunden MySQL ein?
MySQL Beispiele aus der Praxis - Wie setzen Kunden MySQL ein?
 
MySQL für Oracle DBA's
MySQL für Oracle DBA'sMySQL für Oracle DBA's
MySQL für Oracle DBA's
 
MySQL Performance Tuning für Oracle-DBA's
MySQL Performance Tuning für Oracle-DBA'sMySQL Performance Tuning für Oracle-DBA's
MySQL Performance Tuning für Oracle-DBA's
 
MySQL Backup
MySQL BackupMySQL Backup
MySQL Backup
 
Der Datenbank-Backup ist gemacht - was nun?
Der Datenbank-Backup ist gemacht - was nun?Der Datenbank-Backup ist gemacht - was nun?
Der Datenbank-Backup ist gemacht - was nun?
 
Weltweite Produktionsdatenverwaltung mit MySQL-Replikation
Weltweite Produktionsdatenverwaltung mit MySQL-ReplikationWeltweite Produktionsdatenverwaltung mit MySQL-Replikation
Weltweite Produktionsdatenverwaltung mit MySQL-Replikation
 
MySQL Cluster with Galera Cluster for MySQL
MySQL Cluster with Galera Cluster for MySQLMySQL Cluster with Galera Cluster for MySQL
MySQL Cluster with Galera Cluster for MySQL
 
MySQL Hochverfügbarkeitslösungen
MySQL HochverfügbarkeitslösungenMySQL Hochverfügbarkeitslösungen
MySQL Hochverfügbarkeitslösungen
 
MySQL Performance Tuning für Entwickler
MySQL Performance Tuning für EntwicklerMySQL Performance Tuning für Entwickler
MySQL Performance Tuning für Entwickler
 
Internet Briefing 2010: Performance Tuning & Scale-Out mit MySQL
Internet Briefing 2010: Performance Tuning & Scale-Out mit MySQLInternet Briefing 2010: Performance Tuning & Scale-Out mit MySQL
Internet Briefing 2010: Performance Tuning & Scale-Out mit MySQL
 
MySQL Hochverfügbarkeitslösungen
MySQL HochverfügbarkeitslösungenMySQL Hochverfügbarkeitslösungen
MySQL Hochverfügbarkeitslösungen
 
DOAG: NoSQL with MySQL
DOAG: NoSQL with MySQLDOAG: NoSQL with MySQL
DOAG: NoSQL with MySQL
 
MySQL HA and Security
MySQL HA and SecurityMySQL HA and Security
MySQL HA and Security
 
Nagios Conference 2007 | Vmware Monitoring by Ingo Latschner
Nagios Conference 2007 | Vmware Monitoring by Ingo LatschnerNagios Conference 2007 | Vmware Monitoring by Ingo Latschner
Nagios Conference 2007 | Vmware Monitoring by Ingo Latschner
 
MySQL High Availability Solutions
MySQL High Availability SolutionsMySQL High Availability Solutions
MySQL High Availability Solutions
 
Microservices and Container Management with Mesosphere DC/OS
Microservices and Container Management with Mesosphere DC/OSMicroservices and Container Management with Mesosphere DC/OS
Microservices and Container Management with Mesosphere DC/OS
 

Ähnlich wie MySQL Replication for Beginners

Data Warehouse (DWH) with MySQL
Data Warehouse (DWH) with MySQLData Warehouse (DWH) with MySQL
Data Warehouse (DWH) with MySQL
FromDual GmbH
 
Einführung in Puppet und Vagrant
Einführung in Puppet und VagrantEinführung in Puppet und Vagrant
Einführung in Puppet und Vagrant
s0enke
 
Software Defined Freifunk Backbones
Software Defined Freifunk BackbonesSoftware Defined Freifunk Backbones
Software Defined Freifunk Backbones
Maximilian Wilhelm
 
Software Defined Freifunk Backbones
Software Defined Freifunk BackbonesSoftware Defined Freifunk Backbones
Software Defined Freifunk Backbones
Maximilan Wilhelm
 

Ähnlich wie MySQL Replication for Beginners (16)

MySQL Replikation - Die Eier legende Wollmilchsau?
MySQL Replikation - Die Eier legende Wollmilchsau?MySQL Replikation - Die Eier legende Wollmilchsau?
MySQL Replikation - Die Eier legende Wollmilchsau?
 
MySQL Security SLAC 2015
MySQL Security SLAC 2015MySQL Security SLAC 2015
MySQL Security SLAC 2015
 
Data Warehouse (DWH) with MySQL
Data Warehouse (DWH) with MySQLData Warehouse (DWH) with MySQL
Data Warehouse (DWH) with MySQL
 
Froscon 2012 DWH
Froscon 2012 DWHFroscon 2012 DWH
Froscon 2012 DWH
 
Best Practices 
Java und JVM in Containern
Best Practices 
Java und JVM in ContainernBest Practices 
Java und JVM in Containern
Best Practices 
Java und JVM in Containern
 
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im ÜberblickBig Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
 
Einführung in Puppet und Vagrant
Einführung in Puppet und VagrantEinführung in Puppet und Vagrant
Einführung in Puppet und Vagrant
 
Back to Basics - Webinar 6: Produktivsetzung einer Anwendung
Back to Basics - Webinar 6: Produktivsetzung einer AnwendungBack to Basics - Webinar 6: Produktivsetzung einer Anwendung
Back to Basics - Webinar 6: Produktivsetzung einer Anwendung
 
Software Defined Freifunk Backbones
Software Defined Freifunk BackbonesSoftware Defined Freifunk Backbones
Software Defined Freifunk Backbones
 
Software Defined Freifunk Backbones
Software Defined Freifunk BackbonesSoftware Defined Freifunk Backbones
Software Defined Freifunk Backbones
 
Icsug conf 14_tipps-und-skripts-fuer-ibm-connections-administratoren
Icsug conf 14_tipps-und-skripts-fuer-ibm-connections-administratorenIcsug conf 14_tipps-und-skripts-fuer-ibm-connections-administratoren
Icsug conf 14_tipps-und-skripts-fuer-ibm-connections-administratoren
 
bccon-2014 adm01 tipps-und-skripts-aus-dem-leben-eines-ibm-connections-admins
bccon-2014 adm01 tipps-und-skripts-aus-dem-leben-eines-ibm-connections-adminsbccon-2014 adm01 tipps-und-skripts-aus-dem-leben-eines-ibm-connections-admins
bccon-2014 adm01 tipps-und-skripts-aus-dem-leben-eines-ibm-connections-admins
 
Tipps und Skripts aus dem Leben eines Connections Admins
Tipps und Skripts aus dem Leben eines Connections AdminsTipps und Skripts aus dem Leben eines Connections Admins
Tipps und Skripts aus dem Leben eines Connections Admins
 
DB2 High Availability für IBM Connections, Sametime oder Traveler
DB2 High Availability für IBM Connections, Sametime oder TravelerDB2 High Availability für IBM Connections, Sametime oder Traveler
DB2 High Availability für IBM Connections, Sametime oder Traveler
 
Helma Workshop
Helma WorkshopHelma Workshop
Helma Workshop
 
Ausgewählte PL/SQL Packages (1)
Ausgewählte PL/SQL Packages (1)Ausgewählte PL/SQL Packages (1)
Ausgewählte PL/SQL Packages (1)
 

Mehr von FromDual GmbH

Mehr von FromDual GmbH (16)

MariaDB/MySQL pitfalls - And how to come out again...
MariaDB/MySQL pitfalls - And how to come out again...MariaDB/MySQL pitfalls - And how to come out again...
MariaDB/MySQL pitfalls - And how to come out again...
 
MariaDB / MySQL tripping hazard and how to get out again?
MariaDB / MySQL tripping hazard and how to get out again?MariaDB / MySQL tripping hazard and how to get out again?
MariaDB / MySQL tripping hazard and how to get out again?
 
PXC 5.5 to MariaDB 10.4 Galera Cluster Migration Workshop
PXC 5.5 to MariaDB 10.4 Galera Cluster Migration WorkshopPXC 5.5 to MariaDB 10.4 Galera Cluster Migration Workshop
PXC 5.5 to MariaDB 10.4 Galera Cluster Migration Workshop
 
IT Tage 2019 MariaDB 10.4 New Features
IT Tage 2019 MariaDB 10.4 New FeaturesIT Tage 2019 MariaDB 10.4 New Features
IT Tage 2019 MariaDB 10.4 New Features
 
MariaDB 10.4 New Features
MariaDB 10.4 New FeaturesMariaDB 10.4 New Features
MariaDB 10.4 New Features
 
MariaDB 10.2 New Features
MariaDB 10.2 New FeaturesMariaDB 10.2 New Features
MariaDB 10.2 New Features
 
PERFORMANCE_SCHEMA and sys schema
PERFORMANCE_SCHEMA and sys schemaPERFORMANCE_SCHEMA and sys schema
PERFORMANCE_SCHEMA and sys schema
 
Reading MySQL fingerprints
Reading MySQL fingerprintsReading MySQL fingerprints
Reading MySQL fingerprints
 
High-availability with Galera Cluster for MySQL
High-availability with Galera Cluster for MySQLHigh-availability with Galera Cluster for MySQL
High-availability with Galera Cluster for MySQL
 
MySQL always-up with Galera Cluster
MySQL always-up with Galera ClusterMySQL always-up with Galera Cluster
MySQL always-up with Galera Cluster
 
HA with Galera
HA with GaleraHA with Galera
HA with Galera
 
MySQL Indexierung CeBIT 2014
MySQL Indexierung CeBIT 2014MySQL Indexierung CeBIT 2014
MySQL Indexierung CeBIT 2014
 
Need for Speed: Mysql indexing
Need for Speed: Mysql indexingNeed for Speed: Mysql indexing
Need for Speed: Mysql indexing
 
MySQL for Oracle DBAs
MySQL for Oracle DBAsMySQL for Oracle DBAs
MySQL for Oracle DBAs
 
MySQL Security
MySQL SecurityMySQL Security
MySQL Security
 
MySQL Performance Tuning Variables
MySQL Performance Tuning VariablesMySQL Performance Tuning Variables
MySQL Performance Tuning Variables
 

MySQL Replication for Beginners

  • 1. www.fromdual.com MySQL Replikation DOAG Konferenz 2012, Nürnberg Oli Sennhauser Senior MySQL Consultant, FromDual GmbH oli.sennhauser@fromdual.com 1 / 26
  • 2. Über FromDual GmbH www.fromdual.com ● FromDual bietet neutral und unabhängig: ● Beratung für MySQL und Galera Cluster ● Support für MySQL und Galera Cluster ● MySQL Remote-DBA Dienstleistungen ● MySQL Schulungen ● Oracle Silver Partner (OPN) www.fromdual.com 2 / 26
  • 3. Kunden www.fromdual.com 3 / 26
  • 4. Inhalt www.fromdual.com MySQL Replikation ➢ Was ist Replikation? ➢ Wie funktioniert MySQL Replikation? ➢ Wie wird Replikation aufgesetzt? ➢ Wann brauche ich MySQL Replikation? ➢ Neuerungen in 5.1, 5.5 und 5.6 4 / 26
  • 5. Was ist Replikation? www.fromdual.com ● Daten von einer Datenbank auf eine oder mehrere andere Datenbanken weiterreichen: Applikation Master Slave ● Daten = UPDATE, INSERT, DELETE, ... (= DML Statements) oder (binäre) „Events“ 5 / 26
  • 6. MySQL Replikation www.fromdual.com ● Wie funktioniert die MySQL Replikation? Applikation binlog dump IO_thread thread master.info Initialer Dump SQL_thread Master asynchron Slave relay-log.info binary log writer thread ... bin-log.m bin-log.n ... relay-log.m relay-log.n bin-log.index 6 / 26
  • 7. Vorbereiten des Masters www.fromdual.com ● Auf dem Master im my.cnf: ● Binary log einschalten: log­bin = bin­log ● Server ID setzen: server_id = 42 ● Muss im Replikations-Setup Unique sein! ● Server neu starten (downtime!) 7 / 26
  • 8. User anlegen und Dump www.fromdual.com ● Auf dem Master: ● Replikations-User anlegen: CREATE USER 'replication'@'192.168.1.%' IDENTIFIED BY 'secret'; GRANT REPLICATION SLAVE ON *.* TO 'replication'@'192.168.1.%'; ● Initialen konsistenten! Dump ziehen: mysqldump ­­all­databases ­­single­ transaction (­­lock­all­tables)  ­­master­data > full_dump.sql 8 / 26
  • 9. Aufsetzen des Slaves www.fromdual.com ● Neue Datenbank erstellen (2. Maschine) ./scripts/mysql_install_db   ­­datadir=/var/lib/mysql ● Andere Server ID setzen: ● server_id = 43 ● Slave auf seinen Master ansetzen: ● CHANGE MASTER TO master_host='192.168.1.42' , master_port=3306, master_user='replication' , master_password='secret'; ● Initialen konsistenten Dump einspielen: mysql ­u root < full_dump.sql 9 / 26
  • 10. Kontrolle und starten www.fromdual.com ● Kontrolle: SHOW SLAVE STATUSG      Slave_IO_State:         Master_Host: 192.168.1.42         Master_User: replication         Master_Port: 3306     Master_Log_File: bin­log.000001 Read_Master_Log_Pos: 51819      Relay_Log_File: relay­bin.000001       Relay_Log_Pos: 4    Slave_IO_Running: No   Slave_SQL_Running: No ● Starten des Slaves: SLAVE START; 10 / 26
  • 11. Probleme beim Aufsetzen www.fromdual.com ● MySQL Replikation funktioniert grundsätzlich gut! ● Gründe warum Probleme auftreten: ● Nicht sauberes befolgen der Anleitungen! ● Nicht konsistentes Backup ● OHNE ­­single­transaction / ­­lock­all­tables :-( ● Jedes Schema einzeln (­­all­databases) :-( ● MySQL Dokumentation: How to Set Up Replication http://dev.mysql.com/doc/refman/5.5/en/replication- howto.html 11 / 26
  • 12. Probleme im Betrieb www.fromdual.com ● Slave wird nicht überwacht ● Binary logs werden nicht aufgeräumt expire_logs_days = n PURGE BINARY LOGS TO 'bin­log.000013'; ● „Fummeln“ auf dem Slave ● Master/Slave Lag (hinterher hinken) ● Master/Slave Drift (auseinander laufen) → Wenn Master und Slave auseinander laufen MUSS der Slave neu aufgesetzt werden ● Filtern auf dem Master ist meist keine gute Idee! 12 / 26
  • 13. Master/Slave Drift www.fromdual.com ● Master und Slave können auseinander laufen weil: ● Auf dem Slave geschrieben wird („rumfummeln“!) ● sql_bin_log = 0 ● sql_slave_skip_counter = 1 ● slave_skip_errors=... ● Nicht-deterministische Abfragen/Funktionen → viel besser mit Row Based Replikation (RBR) ● Filtern auf Master oder Slave ● Temporäre Tabellen mit SBR ● Unterschiede können gefunden werden mit Tools aus dem Maatkit: mk­table­checksum ● und gefixed werden mit: mk­table­sync ● Ansonsten → Slave neu aufsetzen!!! 13 / 26
  • 14. Wann brauche ich die MySQL Replikation? www.fromdual.com ● Es gibt verschiedene Szenarien: ● Scale-Out Lösungen ● Backup Slave ● Datenanalyse, Reporting ● Hochverfügbarkeit (HA) ● (Zeitversetzte Datenstände vorhalten) 14 / 26
  • 15. MySQL Scale-Out vs Scale-Up www.fromdual.com ● Kosten Scale-Up ● MySQL Design ● Phsikalische Flaschenhälse ● „Relaxation of Constraints“ Scale-Out 15 / 26
  • 16. Der MySQL Scale-Out Ansatz www.fromdual.com Applikation ro rtw Slave Reporting Slave M Master Slave Backup Slave 1 Slave 2 Slave 3 ... Load balancer 16 / 26
  • 17. Neuerungen in MySQL 5.1, 5.5 und 5.6 www.fromdual.com ● Row-Based Replikation (5.1) ● Semi-Synchrone Replikation (5.5) ● Transaktions Basierte Replikation (5.6) ● Row Image Control (5.6) ● Crash Safe Binary Logs (5.6) ● Parallel Slave Worker Threads (5.6) ● ... 17 / 26
  • 18. Row-Based Replikation (5.1) www.fromdual.com ● Alt (<= 5.0) Statement-Based Replikation (SBR) → Statements werden übermittelt ● Problem: nicht-deterministische Abfragen/Funktionen → inkonsistente Daten zwischen Master und Slave ● Neu (>= 5.1) Row-Based Replikation (RBR) → Events / Trx werden übermittelt ● binlog_format = {ROW | MIXED | STATEMENT} ● RBR ist die sicherste Art der Replikation! ● Wie sehe ich trotzdem was passiert? mysqlbinlog ­­base64­output=DECODE­ROWS  ­­verbose bin­log.000069 ● Mehr binlog Traffic, unterschiedliche Performance → Testen! 18 / 26
  • 19. Semi-synchrone Replikation (5.5) www.fromdual.com ● Default asynchrone Replikation ● Master wartet NICHT auf Slave! ● Bei Crash: Trx ist nicht zwingend auf Slave ● Neu (5.5) optional semi-synchrone Replikation ● Plug-in (muss auf Master UND Slave aktiv sein!) ● Master wartet auf Slave bis Timeout! ● Nach Timeout (default 10 s) → Fallback auf asynchron ● Bis Slave in Relay Log (sync) geschrieben hat ● Bessere Datenintegrität (Master + mind. 1 Slave) ● Schlechtere Performance (Commit + NW Roundtrip + Commit) ● Master Commit, dann Crash, möglich dass Trx Slave nicht erreicht hat! 19 / 26
  • 20. Semi-synchrone Replikation www.fromdual.com ● Wie funktioniert die semi-synchrone Replikation? Applikation master.info Master Slave OK relay-log.info ... bin-log.m bin-log.n ... relay-log.m OK relay-log.n bin-log.index 20 / 26
  • 21. Semi-synchrone Replikation www.fromdual.com ● Plug-ins aktivieren: INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so'; INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so'; ● Prüfen ob erfolgreich: SHOW PLUGINS; +­­­­­­­­­­­­­­­­­­­­­­­+­­­­­­­­+­­­­­­­­­­­­­­­­­­­­+­­­­­­­­­­­­­­­­­­­­+ | Name                  | Status | Type               | Library            | +­­­­­­­­­­­­­­­­­­­­­­­+­­­­­­­­+­­­­­­­­­­­­­­­­­­­­+­­­­­­­­­­­­­­­­­­­­+ | rpl_semi_sync_master  | ACTIVE | REPLICATION        | semisync_master.so | | rpl_semi_sync_slave   | ACTIVE | REPLICATION        | semisync_slave.so  | +­­­­­­­­­­­­­­­­­­­­­­­+­­­­­­­­+­­­­­­­­­­­­­­­­­­­­+­­­­­­­­­­­­­­­­­­­­+ ● Semi-synchrone Replikation einschalten: SET GLOBAL rpl_semi_sync_master_enabled = 1; SET GLOBAL rpl_semi_sync_slave_enabled  = 1; ● Slave (neu) starten: STOP SLAVE IO_THREAD; START SLAVE IO_THREAD; 21 / 26
  • 22. Replikation in MySQL 5.6 (1) www.fromdual.com ● Transaktions Basierte Replikation (TBR?) ● Global Transaction Identifiers (GTID) ● Keine M/S Inkonsistenzen mehr möglich!?! ● Noch etwas wenig geschmeidig / komplizierter :-( ● Row Image Control ● binlog_row_image = {full | minimal | noblob} ● Parallele Worker Threads ● slave_parallel_workers = <n> ● Parallelisieren pro Schema ● Gut für Hoster mit Traffic auf vielen Schemata! 22 / 26
  • 23. Replikation in MySQL 5.6 (2) www.fromdual.com ● Crash safe Binary Logs ● Vollständige Events/Trx werden geloggt ● Event-Länge + CRC32 Checksumme ● Slave: master.info und relay­log.info zusätzlich in (MyISAM) Tabellen ● slave_master_info + slave_relay_log_info ● Umwandeln in InnoDB! 23 / 26
  • 24. Replikation in MySQL 5.6 (3) www.fromdual.com ● Remote Binary Log Shipping: mysqlbinlog ­­read­from­remote­server  ­­raw bin­log.000001 > bin­log.000001.dup ● Delayed Replication CHANGE MASTER TO MASTER_DELAY=n; ● Früher mk­slave­delay (Maatkit) ● Slave kann auf ein Netzwerk Interface gebunden werden: MASTER_BIND='eth1' 24 / 26
  • 25. Synchrone Replikation mit Galera www.fromdual.com ● Codership (www.codership.com) ● Synchrone Replikation ● “Certification Based Replication”, kein 2PC! ● Echte Multi-Master Replikation ● Skaliert sowohl lesend als auch schreibend → mehr dazu Erkan & Alex/Seppo 25 / 26
  • 26. Q&A www.fromdual.com Fragen ? Diskussion? Wir haben noch Zeit für ein persönliches Gespräch... ● FromDual bietet neutral und unabhängig: ● MySQL Beratung ● Remote-DBA für MySQL ● Support für MySQL und Galera ● MySQL Schulung www.fromdual.com/presentations 26 / 26