Keith Rajecki Education Solutions Architect Sun Microsystems, Inc.

1. Arquitecturas de
Referencia
para los Repositorios y
Preservación de
Archivos
Keith Rajecki
Education Solutions Architect
Sun Microsystems, Inc.
1

2. Agenda
• Desafíos
• Requisitos
• Arquitectura Física
• Soluciones Sun de
Almacenamiento de
Archivo
• Referencias
2

3. Desafíos
3

4. Requisitos de Almacenamiento
• El crecimiento exponencial de los contenidos
digitales, ahora y en el futuro
• Infraestructura flexible:
> Guardar contenido no estructurados, fijo
> Preservar contenido a largo plazo
4

5. Entendimiento del Modelo de OAIS
• De facto estándar para depósitos y preservación
• Términos tradicionales y definiciones
• Establece las funciones y flujos de información
aplicables a un archivo de depósito digital.
> Submission Information Package (SIP), comunica la
información proporcionada al sistema de depósito y el
archivo.
> Archival Information Package (AIP), la versión de
archivo.
> Dissemination Information Package (DIP), la versión de
la información disponible a usuarios.
5

6. Open Archive Information System (OAIS)
6

7. OAIS Descripción Funcional
• Ingesta - recepción y verificación de los registros
• Archivo de almacenamiento – asegurar el
almacenamiento de los registros
• Gestión de datos - asegurar el manejo de registros
• Administración - manejo de relaciones internas y
externas
• Preservación – manejo de la integridad y seguridad
de registros
• Acceso – suministro de registros, en respuesta a
las consultas de usuarios
• Generación y gestión de metadatos
7

8. Pautas y Recomendaciones
• Evaluar procesos comerciales
• Definición de objetivo
• Establecer políticas de preservación
• Evaluar tipo y tamaño de datos
• Definir métodos de acceso
• Establecer actividades de mantenimiento
• Documentar especificaciones técnicas
8

9. Valor de las Arquitecturas de Referenci
•Minimiza el costo, la complejidad y el tiempo
de despliegue
> Reduce los costos administrativos mediante una
gestión automatizada de datos y la migración a
través de niveles de almacenamiento
> Rentablemente empareja el valor de los datos
con la media apropiada de almacenamiento
> Costo de operación económico y bajo consumo
de electricidad
> Flexibilidad para mejorar el desempeño, la
economía o el almacenamiento de archivos
mixtos
> Escalabilidad de gestión de archivos infinita
9

10. Arquitecturas de Referencia Sun
Desarrollar Arquitecturas de referencia en colaboración, replicable
•Fedora
•Fedora/Drupal (Islandora)
•DSpace
•EPrints
•Duraspace (Cloud)
•Ex Libris Rosetta
•VTLS VITAL
•SAM/QFS
•Internet Archive in a Sun Modular Datacenter
•Tessella Safety Deposit Box*
10

11. Almacenamiento Sun
•Repositorios digitales y metadatos de almacenamiento
•Fedora, EPrints, y D-Space comunidades
•Ex Libris Rosetta y VTLS VITAL aplicaciones
StorageTek 7410
• Proyectos de preservación de niveles de
almacenamiento
SAM/QFS
•Gestión de archivos digitales
•eResearch databases
StorageTek7210
Identity Management
and SOA •Repositorios Federados
11

12. Repositorio Virtualizados
Objetos Digitales
Servidor Virtualizado Archive Máquina Virtual 2:
Repositorio Oracle, MySQL
Máquina Virtual 1: App. ●
Archivo DB
●
Repositorio
●
Políticas
Solaris + ZFS
Entidad de Conservación
●
Metadatos
●
Virtualized Server
●
Creación de índices
●
Gestión de Metadatos
Almacenamiento Máquina Virtual 3:
●
Almacenamiento Abierto
●
Seguridad ●
Preservación de
●
Motor de búsqueda almacenamiento
●
Almacenamiento físico
12

13. Repositorio Abierto de Niveles
Usuario Objetos Digitales
Servidor
Aplicaciones
●
Entidad de Conservación
●
Gestión de Metadatos
●
Relación con las DB Servidor
conexiones
Normas de archivos
●
Seguridad digitales
●
Motor de búsqueda Metadatos
●
Gestión de Nomas
●
Almacenamiento Abierto Bibliotecas de
●
Preservación de almacenamiento Cintas
●
OpenSolaris, ZFS, SAM ●
●
Almacenamiento físico de componentes
●
Migración de media 13

14. Archivo de Configuración SAM
QFS SAM-QFS
Solaris Solaris
Copia 5
Copia 6
Copia 3 Copia 4
NFS File System or
Appliance
TCP/IP Copia 2
SAM-QFS
Solaris Copia 1
14

15. Archivo Activo Sun “Appliance”
Ideal para:
• Repositorios
Institucionales
• Gestión de
documentos
• Imagen / Audio /
Video
Repositorios
• Libros / Revistas
SAM / Noticias
digitales
• Entornos
Virtuales de
Investigación -
Bioscience
15

16. Arquitectura del Software
Colaboración y Descubrimiento Drupal Creación y Adquisición datos
LDAP Djatoka R
LDAP Sherpa
Imagenes Datos Numéricos
Orquestación Islandora Interfaz de Aplicación
BLAST ABBYY
LDAP
Scripts Gene Sequences Rich Metadata Solr/Lucene
Preservación
Fedora Administración inteligente
Note: Islandora = Drupal/Fedora module + componentes adicionales 16

17. Ejemplo: Repositorio del Patrimonio Cultural
17

18. Ejemplo 2: Colaboración Ciencias
18

19. Ejemplo 3: Repositorio Institucional
19

20. TACC Almacenamiento de Supercómputo
HPC Soluciones de Almacenamiento
Supercomputadora Retención y Archivo
Datos de caché • Escalable a
• Escalable a > 200 Petabytes de near-line
> 72 GB / seg. ancho de banda sostenido > 3.1 Petabytes de on-line
> 1,728 petabytes de capacidad
• Configuración incluye > Configuración incluye
> 72 SunFire x4500s > 5 StorageTek SL8500s
> Más de 3,000 500GB discos > 48 StorageTek T10000Bs
> 8 estantes > 10 StorageTek 6540s
> 6 SunFire Metadata
servidor con
SAM-QFS
Transferencia
20

21. SAM-QFS
Biblioteca del Congreso de Estados
Unidos • Desafíos
•Convertir millones de grabaciones, vídeos, clips de película, y fotos a la forma digital
•Mejorar su capacidad de adquirir y proporcionar el acceso público al contenido
audiovisual
•Archivar para “la vida de la república”
• Solución • Resultados
•Una red de área de almacenaje robusta • Aumento considerable de:
basada en tecnología de almacenaje de >Velocidad para adquirir el nuevo contenido
cinta y disco Sun
>Cantidad del contenido almacenable
•SAM-QFS software de almacenaje
Sun >Tiempo de conservación de contenido
21

22. http://www.healthimaging.com/index.php?option=com_articles&view=article&id=8528
SAM-QFS: Asistencia Médica / Ciencias
Cleveland Clinic
• Desafíos
•Archivar 10 TB de datos de imagen por semana
•Acceder 20 TB de datos de imagen por semana
•Acceder imágenes diagnósticas desde cualquier parte del mundo tan pronto el examen
es completado
•Continuidad del negocio... en caso de un desastre
• Solución • Resultados
•“SAM QFS es una tecnología •“SAM-FS and QFS software es el centro
clave que nos deja hacer algunas de nuestra estrategia de almacenaje de
cosas muy críticas” representación digital. "
• - Robert Cecil, PhD, •"La pérdida de datos en la institución es
Cleveland Clinic’s network tan pequeña, que no puede ser medida"
director •"... una ventaja tremenda en términos de
recuperación de datos y disponibilidad de
datos"
22

23. http://www.sun.com/customers/storage/hbo.xml
SAM-QFS: Medios, Entretenimiento y Servicios de Internet
HBO • Desafíos
•Convertir 5,000 horas de programación de videocinta - a almacenaje digital
•Reducir el uso de la costosa videocinta y su gasto de mantenimiento
•Permitir la entrega rentable, segura y muy confiable de la programación
digital a millones de suscriptores
• Solución
•Estandarizar con la tecnología de Grass • Resultados
Valley y Sun para un sistema de play y •Entrega transparente de contenido a
almacenaje a base de servidor con una emisión y suscriptores
disponibilidad de sistema de 99.999 por
ciento •Repositorios digitales para programación SD y
HD eliminaron 80 % del equipo de videocinta
•Sun QFS software de archivo para existente
proporcionar rendimiento escalable
•Ahorros significativos tanto en mano de obra
como en gastos de mantenimiento
23

24. SAM-QFS: Gobierno
Ministerio de Finanzas, Alemania
• Desafíos
•Desarrollar e implementar sistemas de manejo automatizada de
tarifas y aduana locales (ATLAS) para el procesamiento de
aduana
•Proporcionar una infraestructura segura, escalable, y altamente
disponible con capacidad de replicación
• Solución • Resultados
•Una nueva arquitectura de replicacion de •La autorización de aduana es ahora completada
tres gradas con navegadores de Web que más exactamente y mucho más rápido que antes
nivelan la primera grada
•Expectativas de servidor excedidas y solución
•Datos almacenados en sistemas de Sun entregada seis meses antes de lo previsto
10 kilómetros aparte con Sun StorageTek
6540 series para recuperación de desastre •“Tenemos una tasa de fallos cero .....”
•Sun QFS software de archivo
24

25. Archivo de Internet
Arquitectura de Almacenamiento Integrado
Requisitos Solución Sun Resultados
• Centro de datos fiable y
• Construir una infraestructura • Sun Modular Datacenter S20
flexible que soporta múltiples
de servidores para respaldar • Servidor Sun Fire X4500 PB de almacenamiento
grandes cantidades de datos - • Solaris 10 con ZFS
2 PB de almacenamiento, un • Mayor capacidad de
• Administración Remota Sun almacenamiento de sus
crecimiento del 1 PB por año
servidores
• Proporcionar un centro de
datos eficiente, confiable y • Espacio, energía, y costos
escalable reducidos
• Mantener bajos los costos de • Integridad de datos superior
espacio, energía, gestión y para protegerse contra la
mantenimiento pérdida de datos
• Toma instantánea Web 100 • Implementación rápida - Sun
TB de datos - MD entregados en menos de
aproximadamente 4 mil 45 días
millones de páginas Web
• Soportar hasta 500 consultas
de usuarios por segundo.
25

26. Próximos Pasos
• Sun Edu Essentials – Descuentos
http://www.sun.com/solutions/landing/industry/education/edu_essentials.jsp
• Probar & Comprar – 60 dias hasta 40% menos
en Productos Sun
http://www.sun.com/tryandbuy
• Evaluación de Arquitectura de Archivo Abierto
26

27. Para Más Información
•Storage Archive Manager
http://www.sun.com/storagetek/management_software/data_management/sam/index.xml/
•Join the Sun Preservation and Archiving Community
http://www.sun-pasig.org
•Sun Open Archive Solutions
http://www.sun.com/openarchive
•Join the OpenSolaris Storage community
http://www.opensolaris.org/os/community/storage/
•Open Storage
http://www.sun.com/openstorage
•Open Storage Servers
http://www.sun.com/featured-articles/2008-0709/feature/index.jsp
27

28. Muchas Gracias
Keith Rajecki
Education Solutions Architect
Global Education & Research
Sun Microsystems, Inc.
28