Almacenamiento y backup open source de rango empresarial - WhiteBearSolutions #OpenExpoDay 2014

1. Ignacio Gilart
CEO & Co-founder
WhiteBearSolutions®
genuinely open (WBSgo®
)
Almacenamiento y backup
open source de rango empresarial

2. 2©WhiteBearSolutions - 2014
Agenda
Sobre WhiteBearSolutions (WBSgo)
Conceptos Almacenamiento y ZFS
Sobre Bacula
WBSAirback: módulos y características
Caso de estudio
Preguntas

3. Ignacio Gilart
CEO & Co-founder
WhiteBearSolutions®
genuinely open (WBSgo®
)
Sobre WhiteBearSolutions (WBSgo)

4. 4©WhiteBearSolutions - 2014
Sobre WBSgo®
Hace 10 años...

5. 5©WhiteBearSolutions - 2014
Sobre WBSgo®
Compañía local
y pequeña
Productos OpenSource
Pocas referencias
Gran compañía
multinacional
Productos Legacy
+1000 Referencias

6. 6©WhiteBearSolutions - 2014
Sobre WBSgo®
Actualmente...

7. 7©WhiteBearSolutions - 2014
Sobre WBSgo®
● 2 áreas de negocio: Storage & Backup | LDAP & IdM
● Parte del Grupo Cibernos
● Oficinas en España y Latam
● Cibernos OutSourcing Backup Services
● Referencias en todos los sectores
New !!!

8. 8©WhiteBearSolutions - 2014
Sobre WBSgo®
Nuestro secreto...

9. 9©WhiteBearSolutions - 2014
Sobre WBSgo®
● Inversión en I+D > 1M€
● Plataforma Appliance
● OpenSource y estándares abiertos
● Sólidos acuerdos y alianzas
● 100 % orientados al servicio

10. 10©WhiteBearSolutions - 2014
Sobre WBSgo®
Y por supuesto...

11. 11©WhiteBearSolutions - 2014
Nuestro equipo...

12. 12©WhiteBearSolutions - 2014
Nuestros Partners...

13. 13©WhiteBearSolutions - 2014
Nuestras Alianzas...

14. 14©WhiteBearSolutions - 2014
WBSgo®
- Principales Clientes

15. 15©WhiteBearSolutions - 2014
● Banca y Seguros
● Utilities y servicios
● Telco y Media
● Administración pública
● Tecnologías de la Información
WBSgo®
- Principales Clientes
● Educación

16. Ignacio Gilart
CEO & Co-founder
WhiteBearSolutions®
genuinely open (WBSgo®
)
Conceptos de almacenamiento

17. Un sistema de almacenamiento es cualquier dispositivo
(interno o externo) que nos permita almacenar datos.
Ejemplos: Discos duros, Memorias Flash, cintas LTO,
Arrays de discos, etc.
Conceptos almacenamiento

18. Los distintos tipos de almacenamiento remoto
utilizan diferentes protocolos y medios de
comunicación.
Conceptos almacenamiento
Sistema de
comunicación NAS
NFS
CIFS
FTP
HTTP (WebDAV)
Sistema de
comunicación SAN
Fibre Channel
FCoE
iSCSI
ATAoE
Sistema de
comunicación DAS
SAS
Fibre Channel
USB
FireWire

19. Un sistema de archivos es una parte integral de cualquier
sistema operativo y posee la capacidad de gestionar
almacenamiento a largo plazo.
● Presenta una vista lógica (abstracta) de ficheros y
directorios.
● Facilita el uso eficiente de los dispositivos que componen
los sistemas de almacenamiento.
Ejemplos: NTFS, XFS, ext3/4, ZFS, etc.
Conceptos almacenamiento

20. Los sistemas de archivos se caracterizan por:
– Mecanismos de seguridad o permisos
– Mecanismo para evitar la fragmentación
– Capacidad de enlaces simbólicos o duros
– Integridad del sistema de archivos (Journaling)
– Soporte para archivos dispersos
– Soporte para cuotas de discos
– Soporte de crecimiento del sistema de archivos
nativo
Conceptos almacenamiento

21. Metadatos: Existen datos asociados a los archivos que
es necesario almacenar.
– Tamaño.
– Fecha de creación.
– Fecha de últimos acceso.
– Propietario.
– Permisos…
– Algunos sistemas de archivo incluso permiten asociar nuevos
atributos.
Conceptos almacenamiento

22. Existen básicamente 4 tipos de sistemas de archivos :
– Sistemas de archivos de disco.
– Sistemas de archivos de red.
– Sistemas de archivos de propósito especial.
– Sistemas de archivos de Almacenamiento
compartido (SAN Filesystems).
Conceptos almacenamiento

23. Un sistema de archivo de disco está diseñado para el
almacenamiento de archivos en una unidad de disco, que
puede estar conectada directa o indirectamente al
ordenador.
A continuación se muestran algunos ejemplos de
sistemas de archivo de disco.
Conceptos almacenamiento

24. ● FAT (File Allocation Table, usado en WINDOWS).
● HFS+ (Sistema jerárquico de archivos, utilizado en MacOSX) .
● NTFS (NT File System)
● XFS (Linux)
● ReiserFX (Linux)
● Ext3/4 (Linux)
● UFS (Unix filesystem, BSD).
● ZFS (Solaris, Linux, BSD).
● ISO9660 (CD Rom)
● UDF (Universal disk Format, CD, DVD, Blue-Ray).
Conceptos almacenamiento

25. Un sistema de archivos de red es el que accede a sus
archivos a través de una red. Dentro de esta clasificación
encontramos dos tipos de sistemas de archivos:
- Sistemas de archivos distribuidos (no proporcionan E/S
en paralelo)
- Sistemas de archivos paralelos (proporcionan una E/S
de datos en paralelo).
Conceptos almacenamiento

26. A continuación se muestran algunos ejemplos de
sistemas de archivo de red:
● Distribuidos : AppleShare, CIFS (también conocido
como SMB o Samba) y NFS (Network File Systems).
● Paralelos : pNFS (Parallel NFS), Lustre, PVFS.
Conceptos almacenamiento

27. Sistemas de archivos de uso específico:
● Google File System, GmailFS, WBFS (Wii Backup File
System)...
Optimizados para dispositivos de estado sólido:
● exFAT, JFFS...
Encriptados:
● EFS, ecryptFS...
Conceptos almacenamiento

28. Sistemas de archivos de Almacenamiento compartido
(SAN Filesystems): Principalmente utilizados en redes de
área de almacenamiento, en las que los nodos acceden
directamente a nivel de bloque.
● CXFS (Cluster XFS)
● MPFS (EMC Celerra)
● HP Cluster File System (CFS)
● Oracle Cluster file system (OCFS)
● VMFS (VMWARE /EMC)
● WAFL, Write Anywhere File Layout (NetApp)
Conceptos almacenamiento

29. ¿Qué hay que proteger en un sistema de
almacenamiento?
● Integridad: Mediante Raid, Backup,
Replicación.
● Disponibilidad: Mediante Hot-Spare, Cluster.
● Acceso: Mediante Redundancia de paths.
Conceptos almacenamiento

30. Ignacio Gilart
CEO & Co-founder
WhiteBearSolutions®
genuinely open (WBSgo®
)
Almacenamiento open source ZFS

31. ZFS es un sistema de archivos y volúmenes
desarrollado por Sun Microsystems originalmente
para su sistema operativo Solaris.
ZFS integra los conceptos anteriormente
separados de sistema de ficheros y administrador
de volúmenes en un solo producto.
ZFS: Introducción

32. Por qué nace ZFS:
- Los costes de la gestión de la información son elevados,
requiriéndose un gestor de volúmenes.
- La información cada vez es más crítica y se producen
problemas de corrupción con los sistemas de archivos
existentes hasta entonces.
- La información crece de manera exponencial.
ZFS: Introducción

33. ZFS destaca por:
- sistema de archivos de gran capacidad,
- nueva estructura sobre el disco,
- sistema de archivos ligero y
- administración de espacios de almacenamiento
sencilla.
ZFS: Introducción

34. ZFS puede ser desplegado en múltiples
plataformas:
- Solaris / OpenSolaris / illumos.
- FreeBSD / BSD.
- Linux.
- OS X.
ZFS: Implementaciones

35. ZFS fué diseñado para proporcionar:
- Una gestión del almacenamiento basada en Pools
(eliminación de la noción de volúmenes).
- Integridad de datos extremo a extremo.
- Una operación transaccional (manteniendo la
consistencia de datos en el disco y reordenando las
transacciones para mejorar el rendimiento).
ZFS: Principios

36. ZFS: File Systems
Enfoque tradicional Enfoque con ZFS

37. ZFS: Deduplicación
- Target.
- in-line.
- 256 bit
hash.

38. ZFS: Deduplicación
Para mejorar el redimiento se basa en un sistema
de cachés:
- ARC: caché primaria que almacena los bloques
que se leen de forma más común de manera
que acelera las operaciones de lectura. Siempre
reside en memoria.

39. ZFS: Deduplicación
Para mejorar el redimiento se basa en un sistema de cachés:
- L2ARC: caché secundaria de lectura pensada para alojar en
dispositivos más baratos (aunque rápidos) una ampliación de
la ARC. Los dispositivos utilizados son SSD del tipo MLC y
puede ser grande para alojar el mayor número de bloques
posible. No permance tras el reinicio con lo cual se pueden
notar perdidas de rendimiento después de reiniciar el
sistema. La L2ARC requiere algo de memoria para operar.
Una porción de la ARC será utilizada para indexar y
administrar el contenido de la L2ARC. Por lo general se
necesitarán 1-2GB de ARC por cada 100GB de L2ARC.

40. ZFS: Deduplicación
Para mejorar el redimiento se basa en un sistema de
cachés:
- ZIL: caché de escritura pensada para acelerar las
escrituras de tipo síncrono. Conformada por
dispositivos rápidos de pequeño tamaño (no es
necesario que esta caché sea muy grande). Muy
importante que sean discos SSD de tipo SLC. Puesto
que si se pierde antes de volcar a disco se producirá
una perdida de datos, es muy recomendable que
esté en mirror.

41. ZFS: Compresión
ZFS permite aplicar además de algoritmos de
deduplicación, algoritmos de compresión. Los ahorros de
espacio pueden venir dados por la combinación de ambas
técnicas. En concreto ZFS permite los siguientes
algoritmos :
- GZIP.
- LZJB.
- ZLE.
- LZ4 (recomendado).

42. ZFS: Snapshots y Clones
Como ZFS no sobrescribe datos, las instantáneas
se toman rápidamente y son eficientes desde el
punto de vista del espacio, pues comparten los
datos sin modificar con el sistema de ficheros.
Se pueden crear instantáneas modificables
(llamadas clones).

43. Ignacio Gilart
CEO & Co-founder
WhiteBearSolutions®
genuinely open (WBSgo®
)
Backup open source: Bacula

44. Sobre Bacula
●
Software open source para Enterprise Backup
& Recovery.
●
Disponible desde 2002.
●
1000s de usuarios, >1.3M downloads.
●
Bacula Systems fundada en Julio de 2008.
●
HQ en Yverdon, Switzerland.

45. Sobre Bacula
●
Dos versiones:
– Community.
– Enterprise.
●
Gran número de plugins en la versión
Enterprise.

46. Ignacio Gilart
CEO & Co-founder
WhiteBearSolutions®
genuinely open (WBSgo®
)
WBSAirback®
Backup & Storage Appliance

47. 47©WhiteBearSolutions - 2014
Backup Overview
¿Que tenemos que tener en cuenta?
● Cuantos datos estoy dispuesto a perder (Como
de reciente es el dato).
– RPO : Recovery Point Objective
● Cuanto tardaré en volver a dar servicio.
– RTO : Recovery Time Objective

48. 48©WhiteBearSolutions - 2014
Backup Overview
Tiempo de Restore.
RPO
Recovery
Point
Objective
Al recuperar de
disco se
reduce el RTO
Haciendo copias
frecuentemente
se reduce el RPO
RTO
Recovery
Time
Objective

49. 49©WhiteBearSolutions - 2014
WBSAirback®
Overview
Classic Backup approach...

50. 50©WhiteBearSolutions - 2014
WBSAirback®
Overview
WBSAirback®
approach...
WBSAirback
V14
OpenSource
Deduplicated
Unified Storage
OpenSource
Enterprise Backup
(Bacula Enterprise
Enhanced)
Continuous
Data Protection
Management
Interfaces
Interoperability
(REST API)
Monitoring
&
Security

51. 51©WhiteBearSolutions - 2014
WBSAirback
V14
OpenSource
Deduplicated
Unified Storage
OpenSource
Enterprise Backup
(Bacula Enterprise
Enhanced)
Continuous
Data Protection
Management
Interfaces
Interoperability
(REST API)
Monitoring
&
Security
WBSAirback®
Módulos &
Características

52. 52©WhiteBearSolutions - 2014
Single Management Point
Principal Browsers Access
Multiple concurrent users
OS independent
Mobile browsers supported
HTML5, JS frameworks...
Management Interfaces
Web Interface
WBSAirback®
Módulos &
Características

53. 53©WhiteBearSolutions - 2014
Based in Bconsole
SSH access
Management Interfaces
CLI Interface
WBSAirback®
Módulos &
Características

54. 54©WhiteBearSolutions - 2014
WBSAirback
V14
OpenSource
Deduplicated
Unified Storage
OpenSource
Enterprise Backup
(Bacula Enterprise
Enhanced)
Continuous
Data Protection
Management
Interfaces
Interoperability
(REST API)
Monitoring
&
Security
WBSAirback®
Módulos &
Características

55. 55©WhiteBearSolutions - 2014
WBSAirback®
REST Interface
offers:
Programming Languaje
Independency
Legacy Applications Integration
Interoperability
(REST API)
WBSAirback®
Módulos &
Características

56. 56©WhiteBearSolutions - 2014
WBSAirback®
REST Interface
offers:
Complete Storage Management
Complete Backup Management
System Monitoring
Interoperability
(REST API)
WBSAirback®
Módulos &
Características

57. 57©WhiteBearSolutions - 2014
WBSAirback
V14
OpenSource
Deduplicated
Unified Storage
OpenSource
Enterprise Backup
(Bacula Enterprise
Enhanced)
Continuous
Data Protection
Management
Interfaces
Interoperability
(REST API)
Monitoring
&
Security
WBSAirback®
Módulos &
Características

58. 58©WhiteBearSolutions - 2014
Detects uncommon situations
Corrects uncommon situations
If is there any defined
protocol
Reports about them and about
executed actions
Monitoring & Security
(WatchDog)
WBSAirback®
Módulos &
Características

59. 59©WhiteBearSolutions - 2014
Based in standard SNMP
Push Mode: Sending TRAPS
Pull Mode: Connecting to public
community
Monitoring & Security
(SNMP)
WBSAirback®
Módulos &
Características

60. 60©WhiteBearSolutions - 2014
Two Modes supported :
Quorum Based Cluster
Sync Node Based Cluster
Monitoring & Security
(HA)
LUN
Cluster
Master Slave
Master Slave
WBSAirback®
Módulos &
Características

61. 61©WhiteBearSolutions - 2014
Multiple Access Roles
Https access
web/REST interface
SSH CLI Access
AD / LDAP Autenthication
Secure Updates (VPN)
Secure Support Access
On-Demand (VPN)
Monitoring & Security
(Others)
WBSAirback®
Módulos &
Características

62. 62©WhiteBearSolutions - 2014
WBSAirback
V14
OpenSource
Deduplicated
Unified Storage
OpenSource
Enterprise Backup
(Bacula Enterprise
Enhanced)
Continuous
Data Protection
Management
Interfaces
Interoperability
(REST API)
Monitoring
&
Security
WBSAirback®
Módulos &
Características

63. 63©WhiteBearSolutions - 2014
OpenSource Deduplicated Unified Storage
SAN / DAS NASREST TAPE
Heterogeneous Storage Management
WBSAirback®
Módulos &
Características

64. 64©WhiteBearSolutions - 2014
OpenSource Deduplicated Unified Storage
SAN / DAS NASREST TAPE
Storage virtualization
with multiples
File Systems
WBSAirback®
Módulos &
Características

65. 65©WhiteBearSolutions - 2014
OpenSource Deduplicated Unified Storage
SAN / DAS NASREST TAPE
Thin Provisioning
Snapshots
Deduplication
Compression
WBSAirback®
Módulos &
Características

66. 66©WhiteBearSolutions - 2014
OpenSource Deduplicated Unified Storage
SAN / DAS NASREST TAPE
Volumes Export
iSCSI
NFS
CIFS
FTP
WBSAirback®
Módulos &
Características

67. 67©WhiteBearSolutions - 2014
OpenSource Deduplicated Unified Storage
SAN / DAS NASREST TAPE
Data Replication
WBSAirback®
Módulos &
Características

68. 68©WhiteBearSolutions - 2014
WBSAirback
V14
OpenSource
Deduplicated
Unified Storage
OpenSource
Enterprise Backup
(Bacula
Enterprise
Enhanced)
Continuous
Data Protection
Management
Interfaces
Interoperability
(REST API)
Monitoring
&
Security
WBSAirback®
Módulos &
Características

69. 69©WhiteBearSolutions - 2014
OpenSource Enterprise Backup (Bacula Enterprise)
WBSAirback®
Módulos &
Características
Bacula Enterprise Plugins

70. 70©WhiteBearSolutions - 2014
OpenSource Enterprise Backup (Bacula Enterprise Enhanced)
Tier1 Tier3Tier2
Backup Tiering with chained jobs
WBSAirback®
Módulos &
Características

71. 71©WhiteBearSolutions - 2014
OpenSource Enterprise Backup (Bacula Enterprise Enhanced)
Data BackupSnapShot
Storage/OS/Application Vendors Integration
(Advanced Backup)
WBSAirback®
Módulos &
Características

72. 72©WhiteBearSolutions - 2014
OpenSource Enterprise Backup (Bacula Enterprise Enhanced)
Vmware Plugin Interface
WBSAirback®
Módulos &
Características

73. 73©WhiteBearSolutions - 2014
OpenSource Enterprise Backup (Bacula Enterprise Enhanced)
Error Management
WBSAirback®
Módulos &
Características

74. 74©WhiteBearSolutions - 2014
OpenSource Enterprise Backup (Bacula Enterprise Enhanced)
Three clicks updates
WBSAirback®
Módulos &
Características

75. 75©WhiteBearSolutions - 2014
WBSAirback
V14
OpenSource
Deduplicated
Unified Storage
OpenSource
Enterprise Backup
(Bacula
Enterprise
Enhanced)
Continuous
Data Protection
Management
Interfaces
Interoperability
(REST API)
Monitoring
&
Security
WBSAirback®
Módulos &
Características

76. 76©WhiteBearSolutions - 2014
Private Cloud Backup Service for remote servers
WBSAirback®
Módulos &
Características
Files / DBs / Mail / VMs
Continuous Data Protection – Remote Branch Offices

77. 77©WhiteBearSolutions - 2014
Continuous Data Protection – Laptop and Desktop Backup
Private Cloud Backup Service for Mobility
WBSAirback®
Módulos &
Características
Files/PSTs

78. 78©WhiteBearSolutions - 2014
Continuous Data Protection - Sync&Share
Private Storage Service for File Sync&Share
WBSAirback®
Módulos &
Características

79. Ignacio Gilart
CEO & Co-founder
WhiteBearSolutions®
genuinely open (WBSgo®
)
Caso de estudio

80. A continuación se muestra un caso de estudio
realizado con la plataforma WBSAirback®:
- Cliente: Entidad Financiera.
- Entorno: preproducción Windows y Linux.
- Datos diarios a proteger: 5TB.
- Tipo de backup: LAN 10GbE.
- Jobs diarios: 500 (225 Fulls y 275 incrementales).
Caso de estudio

81. 81©WhiteBearSolutions - 2014
Caso de estudio
27/05/2014 29/05/2014 31/05/2014 02/06/2014 04/06/2014
0
20
40
60
80
100
120
Allocated
Referenced

82. Ignacio Gilart
CEO & Co-founder
WhiteBearSolutions®
genuinely open (WBSgo®
)
Preguntas

83. Ignacio Gilart
CEO & Co-founder
WhiteBearSolutions®
genuinely open (WBSgo®
)
Gracias !!!
Ignacio Gilart
CEO & Co-founder WBSgo®
Ignacio.gilart@wbsgo.com