SlideShare ist ein Scribd-Unternehmen logo
Ulrich, Krause 14.11.2013, IBM Schweiz, Zürich

Platz schaffen auf dem Domino
Compact, Compress, De-Duplicate
SNouG 2013, Platz schaffen auf dem Domino

About: Ulrich Krause
Administrator /Developer seit 1993
Senior Software Architect bei BCC
OpenNTF Contributor
IBM Champion 2011/2012/2013
Blog http://www.eknori.de

Notes Forum (http://www.atnotes.de)
SNouG 2013, Platz schaffen auf dem Domino

Agenda
Überblick über die Ausgangslage / Ziel
Aufbau einer Notes Applikation
Compact
Defrag
Design Note Compression
Document Body Compression
LZ1 Attachment Compression
DAOS Estimator
DAOS
DAOS auf NetApp / Block Deduplication
Verlagerung des Full Text Index
DBMT
SNouG 2013, Platz schaffen auf dem Domino

Ausgangslage
Immer mehr und umfangreichere Dokumente
Immer mehr teurer Speicherplatz wird benötigt
Die durchschnittliche Größe von Anwendungen wächst
Anhänge sind mehrfach vorhanden
Standard Tasks dauern immer länger
Zeitfenster für Backup reicht nicht mehr
Netzwerklast nimmt zu
I / O und Performance Einbußen
SNouG 2013, Platz schaffen auf dem Domino

Das Ziel
Bestmögliche Nutzung des vorhandenen Speicherplatzes
Größe der Anwendungen muss reduziert werden
Mehrfaches Speichern von Anhängen vermeiden
Beschleunigen von Standard Tasks
Reduzierung der Backupzeiten
Reduzierung der Netzwerklast
Reduzierung von I/O Operationen
Performanceverbesserungen
SNouG 2013, Platz schaffen auf dem Domino

Notes Anwendung (vereinfacht)
Designelemente
Design

Dokumente
• Text
• Attachments
• Embedded objects

Text

Transaction Log

Fulltext Index

Attachments
SNouG 2013, Platz schaffen auf dem Domino

Compact und Datenbankeigenschaften
Ein Compact reduziert nicht in jedem
Fall die Grösse einer Anwendung
Bei einer strukturelle Änderung
( z.B Wechsel des ODS ), wird ein
copy-style compact ausgeführt. (-L)
Ist die Transaktionsprotokollierung aktiviert, wird ein
einfaches in-place compact (-b) ausgeführt
Ist keine Transaktionsprotokollierung aktiviert, wird ein
in-place compact mit Reduzierung der Datenbankgrösse
ausgeführt. Entspricht dem –B
SNouG 2013, Platz schaffen auf dem Domino

load compact -c
Load compact –c erstellt (1) eine neue, leere
Datenbank mit der Dateiendung .tmp auf dem gleichen
Server mit der gleichen ReplikID, und (2) kopiert alle
Dokumente aus der Original Datenbank in die neue
Datenbank.
Nachdem alle Dokumente erfolgreich in die neue
Datenbank kopiert wurden, wird (3) die originale
Datenbank gelöscht und (4) die .tmp Datenbank erhält
die Endung .nsf.
SNouG 2013, Platz schaffen auf dem Domino

Load compact -ODS <version>
Führt ein copy-style compact nur bei solchen
Datenbanken aus, deren ODS kleiner als das
angegebene ODS ist
Unterschied zwischen ODS 43 und ODS 51 = bis zu 80%
weniger File I/O auf Server UND Client Hardware
SNouG 2013, Platz schaffen auf dem Domino

ODS und Notes Client
Neu in IBM Notes 8.5.2
• NSF_UpdateODS = 1
• Create_R85_Database = 1
• Default: ODS 51

Datenbanken, die in Verwendung sind, werden beim
nächsten Programmstart komprimiert
Alle anderen Datenbanken werden im Hintergrund
komprimiert.
Einmaliger Vorgang ( NSF_UpdatedToODS=51 )
SNouG 2013, Platz schaffen auf dem Domino

load compact #nn
Es werden nn parallele Komprimierungstasks gestartet
Es sollten nicht mehr als 8 Tasks parallel laufen
SNouG 2013, Platz schaffen auf dem Domino

load compact -*
Komprimiert *.NTF und .BOX Dateien zusätzlich zu .NSF
SNouG 2013, Platz schaffen auf dem Domino

load compact -upgrade
neuer compact Parameter in Notes 9

http://blog.nashcom.de/nashcomblog.nsf/dx/upgrading-ods-for-databases-with-old-db-class-indomino-9.htm?opendocument&comments
SNouG 2013, Platz schaffen auf dem Domino

Weitere Optionen
W nn – Es werden nur die Datenbanken komprimiert,
die nicht innerhalb der letzten nn Tage erfolgreich
bearbeitet wurden
w – ohne Systemdatenbanken (log.nsf, names.nsf).
X nn – Dauer der Komprimierung einer Anwendung auf
nn Minuten beschränken (nur bei “in-place”
Komprimierung)
x nn – Gesamtdauer des Komprimierungslaufs auf nn
Minuten begrenzen
DEBUG_ENABLE_COMPACT_8_5=1
SNouG 2013, Platz schaffen auf dem Domino

Defrag
Fragmentierung beeinträchtigt die I/O Performance
Auch eine nur leichte Fragmentierung kann die
Leistung von Leseoperationen um bis zu 50%
reduzieren
Load compact –c reserviert keinen Speicherplatz für die
neue Datenbank..
Fragmentierung ist vorprogrammiert
Auch der Volltextindex einer Anwendung wird
fragmentiert
Die NLO Dateien des DAOS Repositories werden
ebenfalls im Laufe der Zeit immer mehr fragmentiert
SNouG 2013, Platz schaffen auf dem Domino

DominoDefrag
Andrew Luder, OpenNTF
• http://www.openntf.org/Projects/pmt.nsf/ProjectLookup/DominoDefrag
SNouG 2013, Platz schaffen auf dem Domino

Defrag Beispiel
Lotus Software KnowledgeBase ( 5 * compact –c )
Vorher
• 68 Fragmente
• 7550 ms

Nachher
• 1 Fragment
• 125 ms
SNouG 2013, Platz schaffen auf dem Domino

Design Note Compression
SNouG 2013, Platz schaffen auf dem Domino

Design Note Compression
Neues Feature seit Domino 8
Benötigt ODS 48 oder größer
• Create_R8_Databases=1
• oder Create_R85_Databases=1
• load compact -c
• load compact -c –n
“Compress database design” anhaken
Reduziert die Größe der
Designelemente um 55 – 50 %
Reduziert Disk I/O
SNouG 2013, Platz schaffen auf dem Domino

Design Note Compression
Design

Design

Text

Text

Attachments

Attachments
SNouG 2013, Platz schaffen auf dem Domino

Document Body Compression
SNouG 2013, Platz schaffen auf dem Domino

Document Body Compression
Neues Feature seit Domino 8.0.1
Reduziert die Größe des Textanteils
im RichText Items um bis zu 60%
Benötigt ODS 48 oder größer
load compact -c –v

„Compress document data“ anhaken
SNouG 2013, Platz schaffen auf dem Domino

Document Body Compression
Design

Design

Text
Text

Attachments

Attachments
SNouG 2013, Platz schaffen auf dem Domino

LZ1 Attachment Compression
SNouG 2013, Platz schaffen auf dem Domino

LZ1 Attachment Compression
Gibt es schon seit Domino 6
Ersetzt den Huffmann Algorithmus
Bei neuen Datenbanken nicht aktiv
Vorhandene Anhänge komprimieren
• load compact -c –ZU
• Bei Domino 6.5.6 zusätzlich in notes.ini
DEBUG_ENABLE_LZ1_REPAIR=1

Probleme bei JAVA Applets in Domino <= 8.5 vermeiden
• DEBUG_ENABLE_LZ1_HOST_TYPES=0
• In 8.5.1 ist das Problem behoben und der Parameter nicht
mehr notwendig
SNouG 2013, Platz schaffen auf dem Domino

LZ1 Attachment Compression
Vereinzelt wurde von Problemen mit dem Volltextindex
einer Datenbank bei Verwendung der LZ1
Komprimierung berichtet.
Um Anhänge von LZ1 wieder zurück zu Huffmann zu
komprimieren
• Load compact –c –ZD
• In Domino 6.5.6 zusätzlich DEBUG_ENABLE_LZ1_REPAIR=1 in die notes.ini
eintragen
SNouG 2013, Platz schaffen auf dem Domino

LZ1 Attachment Compression
Design

Design

Text
Text

Attachments

Attachments
SNouG 2013, Platz schaffen auf dem Domino

DAOS Estimator
SNouG 2013, Platz schaffen auf dem Domino

DAOS Estimator
Tool zur Vorbereitung des DAOS Rollout
• Für alle unterstützten betriebssysteme
• http://www-01.ibm.com/support/docview.wss?rs=463&uid=swg24021920
SNouG 2013, Platz schaffen auf dem Domino

DAOS Estimator (notes.ini)
Beim DAOS Estimator gibt es eine große Lücke bei der
Darstellung von Attachments zwischen 64k und 1 MB
• DAOSEST_BUCKETS=16,64,128,256,512,768,1024,2048,3072,4096
• Diese Einstellung in der notes.ini ändert die Darstellung wie folgt:
• 16K, 64K, 128K, 256K, 512K, 768K, 1MB, 2MB, 3MB and 4MB

Source: Lotus Software Knowledge Base
• http://www01.ibm.com/support/docview.wss?rs=0&q1=1418102&uid=swg21418102
SNouG 2013, Platz schaffen auf dem Domino

LZ1 != HUFFMAN
Db1 – LZ1 aktiviert, Db2 – LZ1 nicht aktiviert
=> 2 .NLO Files !!
SNouG 2013, Platz schaffen auf dem Domino

DAOS
SNouG 2013, Platz schaffen auf dem Domino

DAOS
Domino Attachment Object Service
Anhänge werden nicht mehr in der Anwendung
gespeichert
Anhänge werden als NLO (Notes Large Object )
gespeichert
Das Notes Dokument enthält nur noch ein Ticket
Trennung von statischen und dynamischen Daten
Bit-identische Anhänge werden nur noch einmal als
NLO im DAOS Repository gespeichert
Für den Anwender und Programme von Drittanbietern
ist DAOS Volkommen transparent
SNouG 2013, Platz schaffen auf dem Domino

Voraussetzungen für DAOS
Domino 8.5 (ODS 51)
SHARED MAIL OFF
Transaktionsprotokollierung

DAOS Repository erstellen
DAOS auf dem Server aktivieren
DAOS auf Anwendungen aktivieren
SNouG 2013, Platz schaffen auf dem Domino

Shared Mail abschalten
Serverdocument – Shared Mail
Field Shared Mail = None
„Load object unlink shared.nsf“
SNouG 2013, Platz schaffen auf dem Domino

Transaktionsprotokollierung
Wird zwingend für DAOS benötigt
Serverdokument – Transactional Logging
Separates Laufwerk verwenden

Ausserhalb des Data Verzeichnisses
CREATE_R85_LOG=1
Erfordert Neustart des Servers
SNouG 2013, Platz schaffen auf dem Domino

Transaktionsprotokollierung
Protokollmethode
Circular
• 4GB Limit

Archive
• Keine Größenbegrenzung. Dateien werden
vom Backup Programm gelöscht

Linear
• Wie circular, aber ohne Größenbegrenzung
SNouG 2013, Platz schaffen auf dem Domino

DAOS Repository
Separates Laufwerk verwenden
SAN, NAS
Pro Server ein Repository
•
•
•
•
•

Max.1.000 Unterverzeichnisse
Max 40.000 .NLO / Verzeichnis
= 40.000.000 eindeutige .NLOs
Daos.cfg ( im Domino Data Directory)
Daoscat.nsf

.NLO wird mit der ServerID verschlüsselt
• Abschalten mit DAOS_ENCRYPT_NLO=0

Repository in Backupstrategie einplanen
SNouG 2013, Platz schaffen auf dem Domino

DAOS Repository
Kann der Wert für die max. Anzahl von .NLO pro
Unterverzeichnissen geändert werden?
Ja, DAOS_MAX_FILES_PER_SUBCONTAINER=40000
Kann Performanceprobleme verursachen
Nachträgliches Ändern ändert nicht die bestehende
Struktur. Dateien werden lediglich ab dem Zeitpunkt
der Aktivierung entsprechend den neuen Vorgaben auf
die Verzeichnisse verteilt.
Bei Reduzierung des Wertes reduziert sich auch die
Anzahl der insgesamt möglichen .NLO
• 1.000 * DAOS_MAX_FILES_PER_SUBCONTAINER = MAX_NLO
SNouG 2013, Platz schaffen auf dem Domino

DAOS auf dem Server aktivieren
Serverdokument – DAOS
Minimale Größe für Anhänge
• 64kB (= DEFAULT ab 8.5.1 )
• Wert mit DAOS Estimator ermitteln

DAOS Basispfad
• Außerhalb vom data directory!

Wann wird ein Objekt im Repository gelöscht?
• Hängt ab von der Backupstrategie
• 0 Tage = sofort, wenn der refcount = 0
• An der Serverkonsole: TELL DAOSMGR PRUNE 0

DAOS wird nach Neustart des Servers aktiviert
SNouG 2013, Platz schaffen auf dem Domino

DAOS Object Size ändern. Und dann ?
Die minimale Grösse kann nachträglich im
Serverdokument geändert werden
Nach Neustart des Servers werden nur noch Anhänge ab
der neuen Größe in das DAOS Repository übernommen
Load compact –c db.nsf
Anhänge kleiner als die eingestellte Grösse werden
wieder in der Anwendung gespeichert.
Wenn Referenz Counter = 0, dann werden die NLOs beim
nächsten prune Lauf gelöscht.
SNouG 2013, Platz schaffen auf dem Domino

DAOS auf Datenbanken aktivieren
Datenbank  Eigenschaften  „propeller hat“ für
einzelne Datenbanken
Verwenden Sie den Adminclient
für die Aktivierung mehrerer Datenbanken
Gültig für neue Attachments!
Bestehende Attachments werden mit folgendem Befehl
in das DAOS Repository übernommen
• Load compact –c –DAOS ON <PathNSFs>
SNouG 2013, Platz schaffen auf dem Domino

Bug Alert !!!
load compact -c –DAOS ON mail (ohne Backslash am
Ende) aktiviert DAOS auf allen Datenbanken auf dem
gesamten Server.

In Lotus Software Knowledge Base #1410926
dokumentiert
SPR AHOE7XHM9J (fixed in 8.5.2)
SNouG 2013, Platz schaffen auf dem Domino

Das Endresultat
Design

Design
Text

Text

Tickets

DAOS Repository

Attachments
SNouG 2013, Platz schaffen auf dem Domino

Die Transaktionsprotokoll Falle
load compact –c –DAOS ON
Kein Attachment wird ins DAOS
Repository übernommen
tell daosmgr dbsummary count = 0

load compact -c -T -DAOS on
SNouG 2013, Platz schaffen auf dem Domino

DAOS und Replizierung
DAOS ist ein Serverfeature!
Bei einer lokalen Replik auf dem Client werden auch die
Anhänge in der Replik gespeichert.
Das gilt auch für Repliken auf Servern, auf denen DAOS
nicht aktiv ist
Jeder Server im Cluster hat sein eigenes DAOS
Repository.
SNouG 2013, Platz schaffen auf dem Domino

DAOS und Replizierung
Client  Server (ab Release 8.5.1)
• Bekannte Anhänge werden nicht auf den Server übertragen = „smart
replication“
• Mailweiterleitung
• Antwort mit Historie

Server  Server (ab Release 8.5.1)
• Bekannte Anhänge werden nicht auf den Zielserver übertragen
SNouG 2013, Platz schaffen auf dem Domino

DAOS und Replizierung
Domino 8.5
Domino 8.5.1

Achtung!!: ADMINP_ACCELERATED_REPLICA_OVERRIDE=4 !!
SNouG 2013, Platz schaffen auf dem Domino

DAOS und Replizierung
SNouG 2013, Platz schaffen auf dem Domino

DAOS und die mail.box
RM_NO_LOG_OBJECTS_IN_MAILBOX aus notes.ini
entfernen
DAOS auf allen mail.box Dateien aktivieren
DAOS auf allen Maildateien der Anwender aktivieren
Erhöht die Performance bei der Mailzustellung
SNouG 2013, Platz schaffen auf dem Domino

DAOS und Verschlüsselung
Ergibt mehr .NLO Dateien als ohne Verschlüsselung
• User A schickt eine verschlüsselte Mail an User B
• User B schickt ein verschlüsselte Mail mit dem gleichen Anhang an User A
• Insgesamt werden 4 .NLO Dateien im Repository gespeichert

In diesem Fall gibt es also keine Platzersparnis.
Dennoch ergibt sich durch die Trennung von statischen
und dynamischen Daten eine Verbesserung der
Performance
SNouG 2013, Platz schaffen auf dem Domino

DAOS und Quotas
Technote: 1405456
Verhalten abhängig von den Quota Einstellungen
Belegter Speicherplatz beim Einfügen einer Note prüfen
• Überprüft die physikalische Größe der Datenbank (ohne Anhänge)
• Beim Deaktivieren von DAOS kann es aufgrund des 64GB Limits für die
maximale Datenbankgröße zu Problemen kommen

Dateigröße beim Vergrößern der Datenbank prüfen
Dateigröße beim Einfügen einer Note prüfen
• Überprüft die logische Größe der Datenbank (mit Anhänge)
SNouG 2013, Platz schaffen auf dem Domino

daoscat.nsf synchron halten
NICHT über DDM!!
Programmdokument verwenden
tell daosmgr resync

8.5.1 IF1 ermöglicht ein schnelleres Resync der
daoscat.nsf.
Der neue Schalter „quick“ aktualisiert die DIT und den
DOI, ohne jede Datenbank zu überprüfen und den
refcount zu aktualisieren.
SNouG 2013, Platz schaffen auf dem Domino

Immer wieder „Needs Resync“
DDM enthält einen Hinweis auf die erste Datenbank, die
das „Needs Resync“ ausgelöst hat.
Wenn sich die Ursache nicht genau ermitteln lässt,
dann:
• debug_threadid=1
• console_log_enabled=1
• daos_logging=<path/daos.txt>STATE_CHANGE

In 8.5.2 wurden viele der Umstände adressiert, die zu
einem „Needs Resync“ führen können (SPR#
RCOR83NLQK)
SNouG 2013, Platz schaffen auf dem Domino

DAOS abschalten
Was passiert, wenn DAOS wieder abgeschaltet wird
In den Datenbankeigenschaften
• Wenn sich keine Anhänge in einer Datenbank befinden passiert nichts
• Wenn sich Anhänge in einer Datenbank befinden
• Im Adminclient wechselt der Status der Datenbank in der Übersicht zu
„Read Only / Nur Lesen“
• DAOS funktioniert weiter. Es werden aber keine neuen Anhänge mehr
im Repository gespeichert. Neue Anhänge verbleiben in der Datenbank

Im Serverdokument
• Wie bei den Datenbankeigenschaften
SNouG 2013, Platz schaffen auf dem Domino

DAOS und fehlende NLO
Das NLO wurde auf Betriebssystemebene gelöscht
TELL DAOSMGR LISTNLO MISSING <application.nsf>
Ergebnis wird per Default in das data Verzeichnis
geschrieben
SNouG 2013, Platz schaffen auf dem Domino

Daosmgr in Domino 8.5.2
Domino 8.5.2 erweitert die Optionen des daosmgr
Fehlende NLOs können nun über alle Datenbanken eines
Verzeichnisses gesucht werden
• tell daosmgr listnlo missing mail
SNouG 2013, Platz schaffen auf dem Domino

Welches Attachment = welches .NLO
Objekt?
DEBUG_DAOS_DIAGNOSTICS=1
tell daosmgr LISTNLO MAP -V maildatabase.nsf
DataDirectory  listNlo.txt
SNouG 2013, Platz schaffen auf dem Domino

DAOS und Archivierung (8.5.2)
DAOS ON zusammen mit –a verwenden
• load compact -a -DAOS on maildb.nsf

Beim Erstellen der Archivdatenbank wird diese
automatisch DAOS enabled
• http://www-01.ibm.com/support/docview.wss?rs=899&uid=swg21426481
SNouG 2013, Platz schaffen auf dem Domino

DAOS und fehlende Datenbanken
Die Datenbank wurde auf Betriebssystemebene gelöscht
Fehlermeldung beim Serverstart
• „Informational - The DAOS catalog is not synchronized. Deletions will be
postponed. Please run 'tell daosmgr resync' at the next convenient
opportunity to re-synchronize“

Wurde die Datenbank zufällig gelöscht?
• Nein
• TELL DAOSMGR RESYNC oder RESYNC FORCE
• Ja
• Aus dem ( hoffentlich vorhandenem ) Backup zurückholen
• Eine neue Replik von einem Clusterserver erstellen

Gleiche Fehlermeldung, wenn Datenbanken auf
Betriebssystemebene verschoben werden
SNouG 2013, Platz schaffen auf dem Domino

Nochmal 50% ?
Wenn wir die Verschlüsselung mit der ServerID
abschalten können, dann können wir doch alle NLO in
nur einem Repository speichern, oder ? …
Theoretisch ja, praktisch NEIN !!
IBM plant zur Zeit kein zentrales Repository
SAN ( z.B. ) NetApp kann hier einen Vorteil bieten
• http://blog.nashcom.de/nashcomblog.nsf/dx/domino-with-netappstorage.htm
SNouG 2013, Platz schaffen auf dem Domino

NetApp Storage System
Block Storage Deduplication
SNouG 2013, Platz schaffen auf dem Domino

Verlagerung des FullText Index
Neu in 8.5.3
FTBasePath=d:full_text
Trennung von NSF und FT

Kann auch auf einem anderen Laufwerk liegen
• seperate Spindel = anderer I/O channel

Verhindert zusätzliche Fragmentierung des Data Dir
SNouG 2013, Platz schaffen auf dem Domino

DAOS und Statistiken
8 neue Statistiken (8.5.1)
• show stat DAOS

8.5.1

Debug_NSF_Show_Allstats=1
SNouG 2013, Platz schaffen auf dem Domino

DAOS und Statistiken
Windows

Linux
SNouG 2013, Platz schaffen auf dem Domino

DAOS und die daos.cfg
Enthält Informationen zu
Anzahl und Größe von NLO
Dateien
Wird beim Serverstart neu
erstellt, wenn sie gelöscht
wurde
Wird beim Herunterfahren des
Servers aktualisiert
Muss nicht gesichert werden;
nicht zurücksichern !!
SNouG 2013, Platz schaffen auf dem Domino

DAOS und die daoscat.nsf
Enthält Index und refcount der NLO Dateien
Enthält Index aller Anwendungen, die DAOS verwenden
Enthält keine Ansichten; Für Entwickler gibt es nichts
zu sehen
Wird bei einem Resync neu erstellt

Wird beim Serverstart neu erstellt, wenn sie gelöscht
wurde
Nicht sichern oder zurücksichern!!
SNouG 2013, Platz schaffen auf dem Domino

Admin Client (Dateiansicht)
Neue Spalten für DAOS
•
•
•
•
•

Logical size
Physical size
DAOS status
DAOS count
DAOS size

Neue Spalten für die Komprimierung
SNouG 2013, Platz schaffen auf dem Domino

Backup und Restore
Keine Änderung der Strategie bei .nsf Dateien
Ein zusätzlicher Job muss für .NLO Dateien eingeplant
werden
NLO Dateien benötigen keinen speziell Agenten oder
Software
WICHTIG: die Reihenfolge
• Wenn der Server während des Backups läuft
• NSF vor NLO sichern
• Wenn der Server während des Backups heruntergefahren ist
• Reihenfolge nach Belieben

IBM Technote # 1358548 - DAOS Backup und Restore
SNouG 2013, Platz schaffen auf dem Domino

DBMT
DataBase Maintenance Tool
• “It is a new feature to Domino R9.0 that allows you to configure the regular
maintenance options that you are familiar with to run automatically on
schedule to keep your databases running smoothly”
•
•
•
•
•
•
•
•

Copy-style Compacting
Incremental View Indexing
Full Text Index update and rebuild
Folder Reorganizing
Deletion Stub Purging
Expiring of Soft Deleted Entries
Updating of Unread Lists
Fixup of Corruption
SNouG 2013, Platz schaffen auf dem Domino

DBMT
SNouG 2013, Platz schaffen auf dem Domino

DBMT
Ralf Petter, Neues Feature Database Maintenance in
Domino 9
• http://petterralf.blogspot.de/2013/01/neues-feature-databasemaintenance-in.html

Open Mic Webcast: Using the Database Maintenance
Tool (DBMT) and Compact Replication in Domino 9 - 11
September 2013
• http://www-01.ibm.com/support/docview.wss?uid=swg27039379
SNouG 2013, Platz schaffen auf dem Domino

Ressourcen
DAOS Wiki
• http://www10.lotus.com/ldd/dominowiki.nsf/archive?openview&title=DAOS&type=cat
&cat=null&tag=DAOS

DAOS Backup and Restore
• http://www-10.lotus.com/ldd/dominowiki.nsf/dx/daosbackup-and-restore

DAOS Estimator
• http://www.ibm.com/support/docview.wss?rs=463&uid=swg24021920

DAOS Technical Overview
• http://www.nelotus.org/A55CBA/nelotus.nsf/87fde291d7608ada852564c9
006eeba5/b6523e7f4b15585b862575b5004d3488/$FILE/DAOSTechnicalOv
erview_NELotus.pdf
SNouG 2013, Platz schaffen auf dem Domino

Fragen?

Feedback gern auch per Email
ulrich_krause@bcc.biz
SNouG 2013, Platz schaffen auf dem Domino

Weitere ähnliche Inhalte

Was ist angesagt?

C1 Adcon Backup For Domino
C1 Adcon Backup For DominoC1 Adcon Backup For Domino
C1 Adcon Backup For Domino
Andreas Schulte
 
GWAVACon - Exchange 2013 Überblick (deutsch)
GWAVACon - Exchange 2013 Überblick (deutsch)GWAVACon - Exchange 2013 Überblick (deutsch)
GWAVACon - Exchange 2013 Überblick (deutsch)
GWAVA
 

Was ist angesagt? (19)

bccon-2014 adm06 hony,_i_shrunk_the_data
bccon-2014 adm06 hony,_i_shrunk_the_databccon-2014 adm06 hony,_i_shrunk_the_data
bccon-2014 adm06 hony,_i_shrunk_the_data
 
Ausgewählte Performance Technologien
Ausgewählte Performance TechnologienAusgewählte Performance Technologien
Ausgewählte Performance Technologien
 
Domino 9 - jetzt mit integrierten Features, die das Admin-Leben leichter machen
Domino 9 - jetzt mit integrierten Features, die das Admin-Leben leichter machenDomino 9 - jetzt mit integrierten Features, die das Admin-Leben leichter machen
Domino 9 - jetzt mit integrierten Features, die das Admin-Leben leichter machen
 
Domino Statistiken (noch besser) verstehen und nutzen (Teil 2) - 41. DNUG 2014
 Domino Statistiken (noch besser) verstehen und nutzen (Teil 2) - 41. DNUG 2014 Domino Statistiken (noch besser) verstehen und nutzen (Teil 2) - 41. DNUG 2014
Domino Statistiken (noch besser) verstehen und nutzen (Teil 2) - 41. DNUG 2014
 
Domino Statistiken verstehen und nutzen (Teil 1) - 41. DNUG Konferenz
Domino Statistiken verstehen und nutzen (Teil 1) - 41. DNUG KonferenzDomino Statistiken verstehen und nutzen (Teil 1) - 41. DNUG Konferenz
Domino Statistiken verstehen und nutzen (Teil 1) - 41. DNUG Konferenz
 
Advanced compression option: Entwicklung von 11g zu 12c
Advanced compression option: Entwicklung von 11g zu 12cAdvanced compression option: Entwicklung von 11g zu 12c
Advanced compression option: Entwicklung von 11g zu 12c
 
AdminCamp 2011 Performance
AdminCamp 2011 PerformanceAdminCamp 2011 Performance
AdminCamp 2011 Performance
 
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...
 
C1 Adcon Backup For Domino
C1 Adcon Backup For DominoC1 Adcon Backup For Domino
C1 Adcon Backup For Domino
 
Lotus Foundatons Workshop Teil 2
Lotus Foundatons Workshop Teil 2Lotus Foundatons Workshop Teil 2
Lotus Foundatons Workshop Teil 2
 
Share point rbs overview deutsch
Share point rbs overview deutschShare point rbs overview deutsch
Share point rbs overview deutsch
 
GWAVACon - Exchange 2013 Überblick (deutsch)
GWAVACon - Exchange 2013 Überblick (deutsch)GWAVACon - Exchange 2013 Überblick (deutsch)
GWAVACon - Exchange 2013 Überblick (deutsch)
 
Exchange Server 2019 MetaCache Database und BigFunnel
Exchange Server 2019 MetaCache Database und BigFunnelExchange Server 2019 MetaCache Database und BigFunnel
Exchange Server 2019 MetaCache Database und BigFunnel
 
aOS Aachen 2019 - Exchange Server 2019 - Wie macht man es richtig?
aOS Aachen 2019 - Exchange Server 2019 - Wie macht man es richtig?aOS Aachen 2019 - Exchange Server 2019 - Wie macht man es richtig?
aOS Aachen 2019 - Exchange Server 2019 - Wie macht man es richtig?
 
#DNUG45 - Manage Session IBM Notes & Domino - Fix & Feature Packs und Best ...
#DNUG45 - Manage Session   IBM Notes & Domino - Fix & Feature Packs und Best ...#DNUG45 - Manage Session   IBM Notes & Domino - Fix & Feature Packs und Best ...
#DNUG45 - Manage Session IBM Notes & Domino - Fix & Feature Packs und Best ...
 
Migration alter Öffentlicher Ordner zu modernen Öffentlichen Ordnern
Migration alter Öffentlicher Ordner zu modernen Öffentlichen OrdnernMigration alter Öffentlicher Ordner zu modernen Öffentlichen Ordnern
Migration alter Öffentlicher Ordner zu modernen Öffentlichen Ordnern
 
Modul 239 presentation
Modul 239 presentationModul 239 presentation
Modul 239 presentation
 
GWAVACon - SEP sesam Backup: we care about your data (deutsch)
GWAVACon - SEP sesam Backup: we care about your data (deutsch)GWAVACon - SEP sesam Backup: we care about your data (deutsch)
GWAVACon - SEP sesam Backup: we care about your data (deutsch)
 
Innobit.storage spaces.
Innobit.storage spaces. Innobit.storage spaces.
Innobit.storage spaces.
 

Ähnlich wie Platz schaffen auf dem Domino - Compact, Compress, De-Duplicate - Ulrich Krause (eknori) SNoUG 2013

AdminCamp 2014: Client Performance - Probleme verstehen und beheben
AdminCamp 2014: Client Performance - Probleme verstehen und behebenAdminCamp 2014: Client Performance - Probleme verstehen und beheben
AdminCamp 2014: Client Performance - Probleme verstehen und beheben
panagenda
 
sones auf windows azure whitepaper (german)
sones auf windows azure whitepaper (german)sones auf windows azure whitepaper (german)
sones auf windows azure whitepaper (german)
sones GmbH
 
Was ist neu in Lotus Notes/Domino 8.5.3, und was kommt dann? (We4IT)
Was ist neu in Lotus Notes/Domino 8.5.3, und was kommt dann? (We4IT)Was ist neu in Lotus Notes/Domino 8.5.3, und was kommt dann? (We4IT)
Was ist neu in Lotus Notes/Domino 8.5.3, und was kommt dann? (We4IT)
We4IT Group
 
Hadoop aus IT-Operations-Sicht - Teil 1 (Hadoop-Grundlagen)
Hadoop aus IT-Operations-Sicht - Teil 1 (Hadoop-Grundlagen)Hadoop aus IT-Operations-Sicht - Teil 1 (Hadoop-Grundlagen)
Hadoop aus IT-Operations-Sicht - Teil 1 (Hadoop-Grundlagen)
inovex GmbH
 

Ähnlich wie Platz schaffen auf dem Domino - Compact, Compress, De-Duplicate - Ulrich Krause (eknori) SNoUG 2013 (20)

Icsug conf 14_adm06honyishrunkthedata
Icsug conf 14_adm06honyishrunkthedataIcsug conf 14_adm06honyishrunkthedata
Icsug conf 14_adm06honyishrunkthedata
 
AdminCamp 2014: Client Performance - Probleme verstehen und beheben
AdminCamp 2014: Client Performance - Probleme verstehen und behebenAdminCamp 2014: Client Performance - Probleme verstehen und beheben
AdminCamp 2014: Client Performance - Probleme verstehen und beheben
 
AdminCamp2010, Closing General Session
AdminCamp2010, Closing General SessionAdminCamp2010, Closing General Session
AdminCamp2010, Closing General Session
 
Übersetzungsproduktivität: Der nächste Schritt
Übersetzungsproduktivität: Der nächste SchrittÜbersetzungsproduktivität: Der nächste Schritt
Übersetzungsproduktivität: Der nächste Schritt
 
sones auf windows azure whitepaper (german)
sones auf windows azure whitepaper (german)sones auf windows azure whitepaper (german)
sones auf windows azure whitepaper (german)
 
Was ist neu in Lotus Notes/Domino 8.5.3, und was kommt dann? (We4IT)
Was ist neu in Lotus Notes/Domino 8.5.3, und was kommt dann? (We4IT)Was ist neu in Lotus Notes/Domino 8.5.3, und was kommt dann? (We4IT)
Was ist neu in Lotus Notes/Domino 8.5.3, und was kommt dann? (We4IT)
 
Hadoop aus IT-Operations-Sicht - Teil 1 (Hadoop-Grundlagen)
Hadoop aus IT-Operations-Sicht - Teil 1 (Hadoop-Grundlagen)Hadoop aus IT-Operations-Sicht - Teil 1 (Hadoop-Grundlagen)
Hadoop aus IT-Operations-Sicht - Teil 1 (Hadoop-Grundlagen)
 
Back to Basics - Webinar 6: Produktivsetzung einer Anwendung
Back to Basics - Webinar 6: Produktivsetzung einer AnwendungBack to Basics - Webinar 6: Produktivsetzung einer Anwendung
Back to Basics - Webinar 6: Produktivsetzung einer Anwendung
 
Upgrade auf IBM Notes9 in der Kaffeepause
Upgrade auf IBM Notes9 in der KaffeepauseUpgrade auf IBM Notes9 in der Kaffeepause
Upgrade auf IBM Notes9 in der Kaffeepause
 
Openshift
OpenshiftOpenshift
Openshift
 
Deployment von Entwicklungsumgebungen eines TYPO3-Intranets mit Vagrant
Deployment von Entwicklungsumgebungen eines TYPO3-Intranets mit VagrantDeployment von Entwicklungsumgebungen eines TYPO3-Intranets mit Vagrant
Deployment von Entwicklungsumgebungen eines TYPO3-Intranets mit Vagrant
 
130605 buildfrei skalieren_fuer_bigdata
130605 buildfrei skalieren_fuer_bigdata130605 buildfrei skalieren_fuer_bigdata
130605 buildfrei skalieren_fuer_bigdata
 
Web Entwicklung mit PHP - Teil 3 Beta
Web Entwicklung mit PHP - Teil 3 BetaWeb Entwicklung mit PHP - Teil 3 Beta
Web Entwicklung mit PHP - Teil 3 Beta
 
Sql Server Grundlagen für Sharepoint Administratoren
Sql Server Grundlagen für Sharepoint AdministratorenSql Server Grundlagen für Sharepoint Administratoren
Sql Server Grundlagen für Sharepoint Administratoren
 
Sql Server GrundlagenfüR Share Point Admins
Sql Server GrundlagenfüR Share Point AdminsSql Server GrundlagenfüR Share Point Admins
Sql Server GrundlagenfüR Share Point Admins
 
Dnug35 ak-dev.071111-cookbook
Dnug35 ak-dev.071111-cookbookDnug35 ak-dev.071111-cookbook
Dnug35 ak-dev.071111-cookbook
 
SLAC 2008 RPMs selber bauen
SLAC 2008 RPMs selber bauenSLAC 2008 RPMs selber bauen
SLAC 2008 RPMs selber bauen
 
Die neuen Netzwerkfunktionen
Die neuen NetzwerkfunktionenDie neuen Netzwerkfunktionen
Die neuen Netzwerkfunktionen
 
DOAG2018 / Oracle DB erfolgreich betreiben auf SPARC/LDoms/Solaris/ZFS
DOAG2018 / Oracle DB erfolgreich betreiben auf SPARC/LDoms/Solaris/ZFSDOAG2018 / Oracle DB erfolgreich betreiben auf SPARC/LDoms/Solaris/ZFS
DOAG2018 / Oracle DB erfolgreich betreiben auf SPARC/LDoms/Solaris/ZFS
 
DNUG Domino Day 2018 - IBM Notes 10 & VOP 1.0.5 - What’s new and first „Lesso...
DNUG Domino Day 2018 - IBM Notes 10 & VOP 1.0.5 - What’s new and first „Lesso...DNUG Domino Day 2018 - IBM Notes 10 & VOP 1.0.5 - What’s new and first „Lesso...
DNUG Domino Day 2018 - IBM Notes 10 & VOP 1.0.5 - What’s new and first „Lesso...
 

Mehr von BCC - Solutions for IBM Collaboration Software

Mehr von BCC - Solutions for IBM Collaboration Software (20)

Connections 5.x to 6.0 migration
Connections 5.x to 6.0 migrationConnections 5.x to 6.0 migration
Connections 5.x to 6.0 migration
 
General Data Protection Regulation
General Data Protection RegulationGeneral Data Protection Regulation
General Data Protection Regulation
 
Systematisch: Von der alten in die neue Welt - Migrations-Szenarien
Systematisch: Von der alten in die neue Welt - Migrations-SzenarienSystematisch: Von der alten in die neue Welt - Migrations-Szenarien
Systematisch: Von der alten in die neue Welt - Migrations-Szenarien
 
MaRisk Andorderungen erfüllen - Analyse von Rechten und Rollen in IBM Domino ...
MaRisk Andorderungen erfüllen - Analyse von Rechten und Rollen in IBM Domino ...MaRisk Andorderungen erfüllen - Analyse von Rechten und Rollen in IBM Domino ...
MaRisk Andorderungen erfüllen - Analyse von Rechten und Rollen in IBM Domino ...
 
Protect your IBM Domino data from leaks with BCC DominoProtect
Protect your IBM Domino data from leaks with BCC DominoProtectProtect your IBM Domino data from leaks with BCC DominoProtect
Protect your IBM Domino data from leaks with BCC DominoProtect
 
IBM Connections Cloud Administration
IBM Connections Cloud AdministrationIBM Connections Cloud Administration
IBM Connections Cloud Administration
 
IBM Connect 2016: Speaker Session with Teresa Deane, Senior Developer, BCC
IBM Connect 2016: Speaker Session with Teresa Deane, Senior Developer, BCCIBM Connect 2016: Speaker Session with Teresa Deane, Senior Developer, BCC
IBM Connect 2016: Speaker Session with Teresa Deane, Senior Developer, BCC
 
Dr. Strangelove, or how I learned to love plug-in development - SNoUG 2014
Dr. Strangelove, or how I learned to love plug-in development - SNoUG 2014Dr. Strangelove, or how I learned to love plug-in development - SNoUG 2014
Dr. Strangelove, or how I learned to love plug-in development - SNoUG 2014
 
Using Social Business Software and being compliant with EU data protection la...
Using Social Business Software and being compliant with EU data protection la...Using Social Business Software and being compliant with EU data protection la...
Using Social Business Software and being compliant with EU data protection la...
 
XPages Performance Master Class - Survive in the fast lane on the Autobahn (E...
XPages Performance Master Class - Survive in the fast lane on the Autobahn (E...XPages Performance Master Class - Survive in the fast lane on the Autobahn (E...
XPages Performance Master Class - Survive in the fast lane on the Autobahn (E...
 
Keine Kompromisse! Mehr Sicherheit & Compliance für IBM Domino
Keine Kompromisse! Mehr Sicherheit & Compliance für IBM DominoKeine Kompromisse! Mehr Sicherheit & Compliance für IBM Domino
Keine Kompromisse! Mehr Sicherheit & Compliance für IBM Domino
 
Honey, I shrunk the data - Mehr Platz am IBM Domino Server
Honey, I shrunk the data - Mehr Platz am IBM Domino ServerHoney, I shrunk the data - Mehr Platz am IBM Domino Server
Honey, I shrunk the data - Mehr Platz am IBM Domino Server
 
Wie schützen Sie Ihre Messaging- & Collaboration-Infrastruktur? Lessons learn...
Wie schützen Sie Ihre Messaging- & Collaboration-Infrastruktur? Lessons learn...Wie schützen Sie Ihre Messaging- & Collaboration-Infrastruktur? Lessons learn...
Wie schützen Sie Ihre Messaging- & Collaboration-Infrastruktur? Lessons learn...
 
IBM Connect 2014 SPOT114: No Compromise on Compliance: Streamline Administrat...
IBM Connect 2014 SPOT114: No Compromise on Compliance: Streamline Administrat...IBM Connect 2014 SPOT114: No Compromise on Compliance: Streamline Administrat...
IBM Connect 2014 SPOT114: No Compromise on Compliance: Streamline Administrat...
 
XPages: Performance-Optimierung - Ulrich Krause (eknori) SNoUG 2013
XPages: Performance-Optimierung  - Ulrich Krause (eknori) SNoUG 2013XPages: Performance-Optimierung  - Ulrich Krause (eknori) SNoUG 2013
XPages: Performance-Optimierung - Ulrich Krause (eknori) SNoUG 2013
 
Deep Dive Domino Mail Routing - SMTP Cookbook - DNUG Herbstkonferenz 2013
Deep Dive Domino Mail Routing - SMTP Cookbook - DNUG Herbstkonferenz 2013Deep Dive Domino Mail Routing - SMTP Cookbook - DNUG Herbstkonferenz 2013
Deep Dive Domino Mail Routing - SMTP Cookbook - DNUG Herbstkonferenz 2013
 
Deep Dive AdminP Process - Admin and Infrastructure Track at UKLUG 2012
Deep Dive AdminP Process - Admin and Infrastructure Track at UKLUG 2012Deep Dive AdminP Process - Admin and Infrastructure Track at UKLUG 2012
Deep Dive AdminP Process - Admin and Infrastructure Track at UKLUG 2012
 
Wie gewährleisten Sie die Einhaltung von Sicherheitsanforderungen an Ihre Mes...
Wie gewährleisten Sie die Einhaltung von Sicherheitsanforderungen an Ihre Mes...Wie gewährleisten Sie die Einhaltung von Sicherheitsanforderungen an Ihre Mes...
Wie gewährleisten Sie die Einhaltung von Sicherheitsanforderungen an Ihre Mes...
 
Wie schützen Sie Ihre E-Mail-Kommunikation? Kurzfristige Lösungsansätze bis z...
Wie schützen Sie Ihre E-Mail-Kommunikation? Kurzfristige Lösungsansätze bis z...Wie schützen Sie Ihre E-Mail-Kommunikation? Kurzfristige Lösungsansätze bis z...
Wie schützen Sie Ihre E-Mail-Kommunikation? Kurzfristige Lösungsansätze bis z...
 
BCC solutions for IBM Notes & Domino Infrastructure & Administration
BCC solutions for IBM Notes & Domino Infrastructure & AdministrationBCC solutions for IBM Notes & Domino Infrastructure & Administration
BCC solutions for IBM Notes & Domino Infrastructure & Administration
 

Platz schaffen auf dem Domino - Compact, Compress, De-Duplicate - Ulrich Krause (eknori) SNoUG 2013

  • 1. Ulrich, Krause 14.11.2013, IBM Schweiz, Zürich Platz schaffen auf dem Domino Compact, Compress, De-Duplicate
  • 2. SNouG 2013, Platz schaffen auf dem Domino About: Ulrich Krause Administrator /Developer seit 1993 Senior Software Architect bei BCC OpenNTF Contributor IBM Champion 2011/2012/2013 Blog http://www.eknori.de Notes Forum (http://www.atnotes.de)
  • 3. SNouG 2013, Platz schaffen auf dem Domino Agenda Überblick über die Ausgangslage / Ziel Aufbau einer Notes Applikation Compact Defrag Design Note Compression Document Body Compression LZ1 Attachment Compression DAOS Estimator DAOS DAOS auf NetApp / Block Deduplication Verlagerung des Full Text Index DBMT
  • 4. SNouG 2013, Platz schaffen auf dem Domino Ausgangslage Immer mehr und umfangreichere Dokumente Immer mehr teurer Speicherplatz wird benötigt Die durchschnittliche Größe von Anwendungen wächst Anhänge sind mehrfach vorhanden Standard Tasks dauern immer länger Zeitfenster für Backup reicht nicht mehr Netzwerklast nimmt zu I / O und Performance Einbußen
  • 5. SNouG 2013, Platz schaffen auf dem Domino Das Ziel Bestmögliche Nutzung des vorhandenen Speicherplatzes Größe der Anwendungen muss reduziert werden Mehrfaches Speichern von Anhängen vermeiden Beschleunigen von Standard Tasks Reduzierung der Backupzeiten Reduzierung der Netzwerklast Reduzierung von I/O Operationen Performanceverbesserungen
  • 6. SNouG 2013, Platz schaffen auf dem Domino Notes Anwendung (vereinfacht) Designelemente Design Dokumente • Text • Attachments • Embedded objects Text Transaction Log Fulltext Index Attachments
  • 7. SNouG 2013, Platz schaffen auf dem Domino Compact und Datenbankeigenschaften Ein Compact reduziert nicht in jedem Fall die Grösse einer Anwendung Bei einer strukturelle Änderung ( z.B Wechsel des ODS ), wird ein copy-style compact ausgeführt. (-L) Ist die Transaktionsprotokollierung aktiviert, wird ein einfaches in-place compact (-b) ausgeführt Ist keine Transaktionsprotokollierung aktiviert, wird ein in-place compact mit Reduzierung der Datenbankgrösse ausgeführt. Entspricht dem –B
  • 8. SNouG 2013, Platz schaffen auf dem Domino load compact -c Load compact –c erstellt (1) eine neue, leere Datenbank mit der Dateiendung .tmp auf dem gleichen Server mit der gleichen ReplikID, und (2) kopiert alle Dokumente aus der Original Datenbank in die neue Datenbank. Nachdem alle Dokumente erfolgreich in die neue Datenbank kopiert wurden, wird (3) die originale Datenbank gelöscht und (4) die .tmp Datenbank erhält die Endung .nsf.
  • 9. SNouG 2013, Platz schaffen auf dem Domino Load compact -ODS <version> Führt ein copy-style compact nur bei solchen Datenbanken aus, deren ODS kleiner als das angegebene ODS ist Unterschied zwischen ODS 43 und ODS 51 = bis zu 80% weniger File I/O auf Server UND Client Hardware
  • 10. SNouG 2013, Platz schaffen auf dem Domino ODS und Notes Client Neu in IBM Notes 8.5.2 • NSF_UpdateODS = 1 • Create_R85_Database = 1 • Default: ODS 51 Datenbanken, die in Verwendung sind, werden beim nächsten Programmstart komprimiert Alle anderen Datenbanken werden im Hintergrund komprimiert. Einmaliger Vorgang ( NSF_UpdatedToODS=51 )
  • 11. SNouG 2013, Platz schaffen auf dem Domino load compact #nn Es werden nn parallele Komprimierungstasks gestartet Es sollten nicht mehr als 8 Tasks parallel laufen
  • 12. SNouG 2013, Platz schaffen auf dem Domino load compact -* Komprimiert *.NTF und .BOX Dateien zusätzlich zu .NSF
  • 13. SNouG 2013, Platz schaffen auf dem Domino load compact -upgrade neuer compact Parameter in Notes 9 http://blog.nashcom.de/nashcomblog.nsf/dx/upgrading-ods-for-databases-with-old-db-class-indomino-9.htm?opendocument&comments
  • 14. SNouG 2013, Platz schaffen auf dem Domino Weitere Optionen W nn – Es werden nur die Datenbanken komprimiert, die nicht innerhalb der letzten nn Tage erfolgreich bearbeitet wurden w – ohne Systemdatenbanken (log.nsf, names.nsf). X nn – Dauer der Komprimierung einer Anwendung auf nn Minuten beschränken (nur bei “in-place” Komprimierung) x nn – Gesamtdauer des Komprimierungslaufs auf nn Minuten begrenzen DEBUG_ENABLE_COMPACT_8_5=1
  • 15. SNouG 2013, Platz schaffen auf dem Domino Defrag Fragmentierung beeinträchtigt die I/O Performance Auch eine nur leichte Fragmentierung kann die Leistung von Leseoperationen um bis zu 50% reduzieren Load compact –c reserviert keinen Speicherplatz für die neue Datenbank.. Fragmentierung ist vorprogrammiert Auch der Volltextindex einer Anwendung wird fragmentiert Die NLO Dateien des DAOS Repositories werden ebenfalls im Laufe der Zeit immer mehr fragmentiert
  • 16. SNouG 2013, Platz schaffen auf dem Domino DominoDefrag Andrew Luder, OpenNTF • http://www.openntf.org/Projects/pmt.nsf/ProjectLookup/DominoDefrag
  • 17. SNouG 2013, Platz schaffen auf dem Domino Defrag Beispiel Lotus Software KnowledgeBase ( 5 * compact –c ) Vorher • 68 Fragmente • 7550 ms Nachher • 1 Fragment • 125 ms
  • 18. SNouG 2013, Platz schaffen auf dem Domino Design Note Compression
  • 19. SNouG 2013, Platz schaffen auf dem Domino Design Note Compression Neues Feature seit Domino 8 Benötigt ODS 48 oder größer • Create_R8_Databases=1 • oder Create_R85_Databases=1 • load compact -c • load compact -c –n “Compress database design” anhaken Reduziert die Größe der Designelemente um 55 – 50 % Reduziert Disk I/O
  • 20. SNouG 2013, Platz schaffen auf dem Domino Design Note Compression Design Design Text Text Attachments Attachments
  • 21. SNouG 2013, Platz schaffen auf dem Domino Document Body Compression
  • 22. SNouG 2013, Platz schaffen auf dem Domino Document Body Compression Neues Feature seit Domino 8.0.1 Reduziert die Größe des Textanteils im RichText Items um bis zu 60% Benötigt ODS 48 oder größer load compact -c –v „Compress document data“ anhaken
  • 23. SNouG 2013, Platz schaffen auf dem Domino Document Body Compression Design Design Text Text Attachments Attachments
  • 24. SNouG 2013, Platz schaffen auf dem Domino LZ1 Attachment Compression
  • 25. SNouG 2013, Platz schaffen auf dem Domino LZ1 Attachment Compression Gibt es schon seit Domino 6 Ersetzt den Huffmann Algorithmus Bei neuen Datenbanken nicht aktiv Vorhandene Anhänge komprimieren • load compact -c –ZU • Bei Domino 6.5.6 zusätzlich in notes.ini DEBUG_ENABLE_LZ1_REPAIR=1 Probleme bei JAVA Applets in Domino <= 8.5 vermeiden • DEBUG_ENABLE_LZ1_HOST_TYPES=0 • In 8.5.1 ist das Problem behoben und der Parameter nicht mehr notwendig
  • 26. SNouG 2013, Platz schaffen auf dem Domino LZ1 Attachment Compression Vereinzelt wurde von Problemen mit dem Volltextindex einer Datenbank bei Verwendung der LZ1 Komprimierung berichtet. Um Anhänge von LZ1 wieder zurück zu Huffmann zu komprimieren • Load compact –c –ZD • In Domino 6.5.6 zusätzlich DEBUG_ENABLE_LZ1_REPAIR=1 in die notes.ini eintragen
  • 27. SNouG 2013, Platz schaffen auf dem Domino LZ1 Attachment Compression Design Design Text Text Attachments Attachments
  • 28. SNouG 2013, Platz schaffen auf dem Domino DAOS Estimator
  • 29. SNouG 2013, Platz schaffen auf dem Domino DAOS Estimator Tool zur Vorbereitung des DAOS Rollout • Für alle unterstützten betriebssysteme • http://www-01.ibm.com/support/docview.wss?rs=463&uid=swg24021920
  • 30. SNouG 2013, Platz schaffen auf dem Domino DAOS Estimator (notes.ini) Beim DAOS Estimator gibt es eine große Lücke bei der Darstellung von Attachments zwischen 64k und 1 MB • DAOSEST_BUCKETS=16,64,128,256,512,768,1024,2048,3072,4096 • Diese Einstellung in der notes.ini ändert die Darstellung wie folgt: • 16K, 64K, 128K, 256K, 512K, 768K, 1MB, 2MB, 3MB and 4MB Source: Lotus Software Knowledge Base • http://www01.ibm.com/support/docview.wss?rs=0&q1=1418102&uid=swg21418102
  • 31. SNouG 2013, Platz schaffen auf dem Domino LZ1 != HUFFMAN Db1 – LZ1 aktiviert, Db2 – LZ1 nicht aktiviert => 2 .NLO Files !!
  • 32. SNouG 2013, Platz schaffen auf dem Domino DAOS
  • 33. SNouG 2013, Platz schaffen auf dem Domino DAOS Domino Attachment Object Service Anhänge werden nicht mehr in der Anwendung gespeichert Anhänge werden als NLO (Notes Large Object ) gespeichert Das Notes Dokument enthält nur noch ein Ticket Trennung von statischen und dynamischen Daten Bit-identische Anhänge werden nur noch einmal als NLO im DAOS Repository gespeichert Für den Anwender und Programme von Drittanbietern ist DAOS Volkommen transparent
  • 34. SNouG 2013, Platz schaffen auf dem Domino Voraussetzungen für DAOS Domino 8.5 (ODS 51) SHARED MAIL OFF Transaktionsprotokollierung DAOS Repository erstellen DAOS auf dem Server aktivieren DAOS auf Anwendungen aktivieren
  • 35. SNouG 2013, Platz schaffen auf dem Domino Shared Mail abschalten Serverdocument – Shared Mail Field Shared Mail = None „Load object unlink shared.nsf“
  • 36. SNouG 2013, Platz schaffen auf dem Domino Transaktionsprotokollierung Wird zwingend für DAOS benötigt Serverdokument – Transactional Logging Separates Laufwerk verwenden Ausserhalb des Data Verzeichnisses CREATE_R85_LOG=1 Erfordert Neustart des Servers
  • 37. SNouG 2013, Platz schaffen auf dem Domino Transaktionsprotokollierung Protokollmethode Circular • 4GB Limit Archive • Keine Größenbegrenzung. Dateien werden vom Backup Programm gelöscht Linear • Wie circular, aber ohne Größenbegrenzung
  • 38. SNouG 2013, Platz schaffen auf dem Domino DAOS Repository Separates Laufwerk verwenden SAN, NAS Pro Server ein Repository • • • • • Max.1.000 Unterverzeichnisse Max 40.000 .NLO / Verzeichnis = 40.000.000 eindeutige .NLOs Daos.cfg ( im Domino Data Directory) Daoscat.nsf .NLO wird mit der ServerID verschlüsselt • Abschalten mit DAOS_ENCRYPT_NLO=0 Repository in Backupstrategie einplanen
  • 39. SNouG 2013, Platz schaffen auf dem Domino DAOS Repository Kann der Wert für die max. Anzahl von .NLO pro Unterverzeichnissen geändert werden? Ja, DAOS_MAX_FILES_PER_SUBCONTAINER=40000 Kann Performanceprobleme verursachen Nachträgliches Ändern ändert nicht die bestehende Struktur. Dateien werden lediglich ab dem Zeitpunkt der Aktivierung entsprechend den neuen Vorgaben auf die Verzeichnisse verteilt. Bei Reduzierung des Wertes reduziert sich auch die Anzahl der insgesamt möglichen .NLO • 1.000 * DAOS_MAX_FILES_PER_SUBCONTAINER = MAX_NLO
  • 40. SNouG 2013, Platz schaffen auf dem Domino DAOS auf dem Server aktivieren Serverdokument – DAOS Minimale Größe für Anhänge • 64kB (= DEFAULT ab 8.5.1 ) • Wert mit DAOS Estimator ermitteln DAOS Basispfad • Außerhalb vom data directory! Wann wird ein Objekt im Repository gelöscht? • Hängt ab von der Backupstrategie • 0 Tage = sofort, wenn der refcount = 0 • An der Serverkonsole: TELL DAOSMGR PRUNE 0 DAOS wird nach Neustart des Servers aktiviert
  • 41. SNouG 2013, Platz schaffen auf dem Domino DAOS Object Size ändern. Und dann ? Die minimale Grösse kann nachträglich im Serverdokument geändert werden Nach Neustart des Servers werden nur noch Anhänge ab der neuen Größe in das DAOS Repository übernommen Load compact –c db.nsf Anhänge kleiner als die eingestellte Grösse werden wieder in der Anwendung gespeichert. Wenn Referenz Counter = 0, dann werden die NLOs beim nächsten prune Lauf gelöscht.
  • 42. SNouG 2013, Platz schaffen auf dem Domino DAOS auf Datenbanken aktivieren Datenbank  Eigenschaften  „propeller hat“ für einzelne Datenbanken Verwenden Sie den Adminclient für die Aktivierung mehrerer Datenbanken Gültig für neue Attachments! Bestehende Attachments werden mit folgendem Befehl in das DAOS Repository übernommen • Load compact –c –DAOS ON <PathNSFs>
  • 43. SNouG 2013, Platz schaffen auf dem Domino Bug Alert !!! load compact -c –DAOS ON mail (ohne Backslash am Ende) aktiviert DAOS auf allen Datenbanken auf dem gesamten Server. In Lotus Software Knowledge Base #1410926 dokumentiert SPR AHOE7XHM9J (fixed in 8.5.2)
  • 44. SNouG 2013, Platz schaffen auf dem Domino Das Endresultat Design Design Text Text Tickets DAOS Repository Attachments
  • 45. SNouG 2013, Platz schaffen auf dem Domino Die Transaktionsprotokoll Falle load compact –c –DAOS ON Kein Attachment wird ins DAOS Repository übernommen tell daosmgr dbsummary count = 0 load compact -c -T -DAOS on
  • 46. SNouG 2013, Platz schaffen auf dem Domino DAOS und Replizierung DAOS ist ein Serverfeature! Bei einer lokalen Replik auf dem Client werden auch die Anhänge in der Replik gespeichert. Das gilt auch für Repliken auf Servern, auf denen DAOS nicht aktiv ist Jeder Server im Cluster hat sein eigenes DAOS Repository.
  • 47. SNouG 2013, Platz schaffen auf dem Domino DAOS und Replizierung Client  Server (ab Release 8.5.1) • Bekannte Anhänge werden nicht auf den Server übertragen = „smart replication“ • Mailweiterleitung • Antwort mit Historie Server  Server (ab Release 8.5.1) • Bekannte Anhänge werden nicht auf den Zielserver übertragen
  • 48. SNouG 2013, Platz schaffen auf dem Domino DAOS und Replizierung Domino 8.5 Domino 8.5.1 Achtung!!: ADMINP_ACCELERATED_REPLICA_OVERRIDE=4 !!
  • 49. SNouG 2013, Platz schaffen auf dem Domino DAOS und Replizierung
  • 50. SNouG 2013, Platz schaffen auf dem Domino DAOS und die mail.box RM_NO_LOG_OBJECTS_IN_MAILBOX aus notes.ini entfernen DAOS auf allen mail.box Dateien aktivieren DAOS auf allen Maildateien der Anwender aktivieren Erhöht die Performance bei der Mailzustellung
  • 51. SNouG 2013, Platz schaffen auf dem Domino DAOS und Verschlüsselung Ergibt mehr .NLO Dateien als ohne Verschlüsselung • User A schickt eine verschlüsselte Mail an User B • User B schickt ein verschlüsselte Mail mit dem gleichen Anhang an User A • Insgesamt werden 4 .NLO Dateien im Repository gespeichert In diesem Fall gibt es also keine Platzersparnis. Dennoch ergibt sich durch die Trennung von statischen und dynamischen Daten eine Verbesserung der Performance
  • 52. SNouG 2013, Platz schaffen auf dem Domino DAOS und Quotas Technote: 1405456 Verhalten abhängig von den Quota Einstellungen Belegter Speicherplatz beim Einfügen einer Note prüfen • Überprüft die physikalische Größe der Datenbank (ohne Anhänge) • Beim Deaktivieren von DAOS kann es aufgrund des 64GB Limits für die maximale Datenbankgröße zu Problemen kommen Dateigröße beim Vergrößern der Datenbank prüfen Dateigröße beim Einfügen einer Note prüfen • Überprüft die logische Größe der Datenbank (mit Anhänge)
  • 53. SNouG 2013, Platz schaffen auf dem Domino daoscat.nsf synchron halten NICHT über DDM!! Programmdokument verwenden tell daosmgr resync 8.5.1 IF1 ermöglicht ein schnelleres Resync der daoscat.nsf. Der neue Schalter „quick“ aktualisiert die DIT und den DOI, ohne jede Datenbank zu überprüfen und den refcount zu aktualisieren.
  • 54. SNouG 2013, Platz schaffen auf dem Domino Immer wieder „Needs Resync“ DDM enthält einen Hinweis auf die erste Datenbank, die das „Needs Resync“ ausgelöst hat. Wenn sich die Ursache nicht genau ermitteln lässt, dann: • debug_threadid=1 • console_log_enabled=1 • daos_logging=<path/daos.txt>STATE_CHANGE In 8.5.2 wurden viele der Umstände adressiert, die zu einem „Needs Resync“ führen können (SPR# RCOR83NLQK)
  • 55. SNouG 2013, Platz schaffen auf dem Domino DAOS abschalten Was passiert, wenn DAOS wieder abgeschaltet wird In den Datenbankeigenschaften • Wenn sich keine Anhänge in einer Datenbank befinden passiert nichts • Wenn sich Anhänge in einer Datenbank befinden • Im Adminclient wechselt der Status der Datenbank in der Übersicht zu „Read Only / Nur Lesen“ • DAOS funktioniert weiter. Es werden aber keine neuen Anhänge mehr im Repository gespeichert. Neue Anhänge verbleiben in der Datenbank Im Serverdokument • Wie bei den Datenbankeigenschaften
  • 56. SNouG 2013, Platz schaffen auf dem Domino DAOS und fehlende NLO Das NLO wurde auf Betriebssystemebene gelöscht TELL DAOSMGR LISTNLO MISSING <application.nsf> Ergebnis wird per Default in das data Verzeichnis geschrieben
  • 57. SNouG 2013, Platz schaffen auf dem Domino Daosmgr in Domino 8.5.2 Domino 8.5.2 erweitert die Optionen des daosmgr Fehlende NLOs können nun über alle Datenbanken eines Verzeichnisses gesucht werden • tell daosmgr listnlo missing mail
  • 58. SNouG 2013, Platz schaffen auf dem Domino Welches Attachment = welches .NLO Objekt? DEBUG_DAOS_DIAGNOSTICS=1 tell daosmgr LISTNLO MAP -V maildatabase.nsf DataDirectory  listNlo.txt
  • 59. SNouG 2013, Platz schaffen auf dem Domino DAOS und Archivierung (8.5.2) DAOS ON zusammen mit –a verwenden • load compact -a -DAOS on maildb.nsf Beim Erstellen der Archivdatenbank wird diese automatisch DAOS enabled • http://www-01.ibm.com/support/docview.wss?rs=899&uid=swg21426481
  • 60. SNouG 2013, Platz schaffen auf dem Domino DAOS und fehlende Datenbanken Die Datenbank wurde auf Betriebssystemebene gelöscht Fehlermeldung beim Serverstart • „Informational - The DAOS catalog is not synchronized. Deletions will be postponed. Please run 'tell daosmgr resync' at the next convenient opportunity to re-synchronize“ Wurde die Datenbank zufällig gelöscht? • Nein • TELL DAOSMGR RESYNC oder RESYNC FORCE • Ja • Aus dem ( hoffentlich vorhandenem ) Backup zurückholen • Eine neue Replik von einem Clusterserver erstellen Gleiche Fehlermeldung, wenn Datenbanken auf Betriebssystemebene verschoben werden
  • 61. SNouG 2013, Platz schaffen auf dem Domino Nochmal 50% ? Wenn wir die Verschlüsselung mit der ServerID abschalten können, dann können wir doch alle NLO in nur einem Repository speichern, oder ? … Theoretisch ja, praktisch NEIN !! IBM plant zur Zeit kein zentrales Repository SAN ( z.B. ) NetApp kann hier einen Vorteil bieten • http://blog.nashcom.de/nashcomblog.nsf/dx/domino-with-netappstorage.htm
  • 62. SNouG 2013, Platz schaffen auf dem Domino NetApp Storage System Block Storage Deduplication
  • 63. SNouG 2013, Platz schaffen auf dem Domino Verlagerung des FullText Index Neu in 8.5.3 FTBasePath=d:full_text Trennung von NSF und FT Kann auch auf einem anderen Laufwerk liegen • seperate Spindel = anderer I/O channel Verhindert zusätzliche Fragmentierung des Data Dir
  • 64. SNouG 2013, Platz schaffen auf dem Domino DAOS und Statistiken 8 neue Statistiken (8.5.1) • show stat DAOS 8.5.1 Debug_NSF_Show_Allstats=1
  • 65. SNouG 2013, Platz schaffen auf dem Domino DAOS und Statistiken Windows Linux
  • 66. SNouG 2013, Platz schaffen auf dem Domino DAOS und die daos.cfg Enthält Informationen zu Anzahl und Größe von NLO Dateien Wird beim Serverstart neu erstellt, wenn sie gelöscht wurde Wird beim Herunterfahren des Servers aktualisiert Muss nicht gesichert werden; nicht zurücksichern !!
  • 67. SNouG 2013, Platz schaffen auf dem Domino DAOS und die daoscat.nsf Enthält Index und refcount der NLO Dateien Enthält Index aller Anwendungen, die DAOS verwenden Enthält keine Ansichten; Für Entwickler gibt es nichts zu sehen Wird bei einem Resync neu erstellt Wird beim Serverstart neu erstellt, wenn sie gelöscht wurde Nicht sichern oder zurücksichern!!
  • 68. SNouG 2013, Platz schaffen auf dem Domino Admin Client (Dateiansicht) Neue Spalten für DAOS • • • • • Logical size Physical size DAOS status DAOS count DAOS size Neue Spalten für die Komprimierung
  • 69. SNouG 2013, Platz schaffen auf dem Domino Backup und Restore Keine Änderung der Strategie bei .nsf Dateien Ein zusätzlicher Job muss für .NLO Dateien eingeplant werden NLO Dateien benötigen keinen speziell Agenten oder Software WICHTIG: die Reihenfolge • Wenn der Server während des Backups läuft • NSF vor NLO sichern • Wenn der Server während des Backups heruntergefahren ist • Reihenfolge nach Belieben IBM Technote # 1358548 - DAOS Backup und Restore
  • 70. SNouG 2013, Platz schaffen auf dem Domino DBMT DataBase Maintenance Tool • “It is a new feature to Domino R9.0 that allows you to configure the regular maintenance options that you are familiar with to run automatically on schedule to keep your databases running smoothly” • • • • • • • • Copy-style Compacting Incremental View Indexing Full Text Index update and rebuild Folder Reorganizing Deletion Stub Purging Expiring of Soft Deleted Entries Updating of Unread Lists Fixup of Corruption
  • 71. SNouG 2013, Platz schaffen auf dem Domino DBMT
  • 72. SNouG 2013, Platz schaffen auf dem Domino DBMT Ralf Petter, Neues Feature Database Maintenance in Domino 9 • http://petterralf.blogspot.de/2013/01/neues-feature-databasemaintenance-in.html Open Mic Webcast: Using the Database Maintenance Tool (DBMT) and Compact Replication in Domino 9 - 11 September 2013 • http://www-01.ibm.com/support/docview.wss?uid=swg27039379
  • 73. SNouG 2013, Platz schaffen auf dem Domino Ressourcen DAOS Wiki • http://www10.lotus.com/ldd/dominowiki.nsf/archive?openview&title=DAOS&type=cat &cat=null&tag=DAOS DAOS Backup and Restore • http://www-10.lotus.com/ldd/dominowiki.nsf/dx/daosbackup-and-restore DAOS Estimator • http://www.ibm.com/support/docview.wss?rs=463&uid=swg24021920 DAOS Technical Overview • http://www.nelotus.org/A55CBA/nelotus.nsf/87fde291d7608ada852564c9 006eeba5/b6523e7f4b15585b862575b5004d3488/$FILE/DAOSTechnicalOv erview_NELotus.pdf
  • 74. SNouG 2013, Platz schaffen auf dem Domino Fragen? Feedback gern auch per Email ulrich_krause@bcc.biz
  • 75. SNouG 2013, Platz schaffen auf dem Domino