Charla impartida en la Agrupación Astronómica Aragonesa y en las Jornadas "Estrellas en el Pirineo" 2014 de Aínsa y Boltaña.

1. Astronomía
y Big Data
Juan Ignacio Pérez Sacristán
linkedin.com/in/semanticwebarchitect

2. ¿Qué es Big Data?
● Big Data son PB, PetaBytes.
● Bytes, KB, MB, GB, TB, PB, EB
● 1 foto = 1 MB
● 1.000 fotos = 1 GB
● 1.000.000 fotos = 1 TB

4. Ejemplos de Big Data
● Al usar un buscador de Internet
10^10 páginas web
● Al escribir en redes sociales
10^12 mensajes
● Google Knowledge Vault, una Wikipedia
hecha por robots
10^9 hechos

6. Hype Cycle
Ciclo de sobreexpectación
● El proceso de asimilación de las nuevas tecnologías en la sociedad casi
siempre sufre un período inicial de gran emoción y crecimiento,
alcanzando un máximo para después desinflarse al no cumplir las
exageradas expectativas que se prometían al principio. Por último, se
alcanza un estado de equilibrio cuando la sociedad convive con
normalidad con dicha tecnología.
● Ejemplos: Inteligencia Artificial, Ordenadores Cuánticos, ...

9. La ley de Moore
● Cada 2 años la capacidad de un ordenador
(memoria y velocidad) se multiplica por 2.
● ¿El Big Data cumple esta ley?

11. ¿Qué es Cloud Computing?
● El Cloud (Nube) son enormes datacenters
donde es fácil montar un cluster, o
superordenador paralelo.
● Si el Cloud es el hardware del Big Data
¿cuál es su software?

13. ¿Qué es Data Science?
● Los Data Scientists aplican sofisticados
algoritmos estadísticos y de Inteligencia
Artificial (Machine Learning) para extraer
conclusiones de los datos.
● Es el software del Big Data.

15. Adquisición de Datos
● Evolución histórica de los catálogos que
contienen datos astronómicos
● ¿Nos acercamos al Big Astronomy / Big
Science?

17. Sala de los Toros
Cueva de Lascaux, Francia, (15.000 a.C.)
Alcance: 10 estrellas
Magnitud límite: 2

19. Catálogo Estelar Babilónico
La astronomía babilónica recoge observaciones de
estrellas y constelaciones, durante y después de la
dinastía Kassite (en torno al año 1750 a.C.) en Babilonia
en una serie de catálogos estelares en escritura
cuneiforme. En ellos figuran listas de constelaciones
(antiguas), planetas y estrellas.
Alcance: 75 estrellas
Magnitud límite: 3

21. Carta estelar de Dunhuang
China, Dinastía Tang (940 a.C.)
Alcance: 1.300 estrellas
Magnitud límite: 6

23. Almagesto
Nombre árabe del tratado astronómico escrito en el siglo II por Claudio
Ptolomeo de Alejandría, Egipto (¿plagio de Hiparco 300 años antes?).
Contiene el catálogo estelar más completo de la antigüedad que fue utilizado
ampliamente por los árabes y luego los europeos hasta la alta Edad media, y
en el que se describen el sistema geocéntrico y el movimiento aparente de las
estrellas y los planetas. Contiene más de 1.000 estrellas hasta magnitud 6,
límite visual sin telescopio.
Alcance: 1.022 estrellas
Magnitud límite: 6

25. Catálogo de Bayer, Uranometría
Realizado por Johann Bayer en el año 1.603,
incorpora la nomenclatura del tipo "alfa Orionis"
=> Betelgeuse
Alcance: 788 estrellas
Magnitud límite: 5

27. LAL
Jérôme Lalande y sus ayudantes, publicaron
"Histoire Céleste Française" en 1801 desde el
Observatorio de París con las posiciones de
47.390 estrellas hasta magnitud 9.
Alcance: 47.390 estrellas
Magnitud límite: 9

29. SAO
Smithsonian Astrophysical Observatory.
Realizado en 1966, es un catalogo fotográfico.
Introduce la nomenclatura SAO NNNNNN,
donde NNNNNN es un número comprendido
entre 1 y 258.997.
Alcance: 258.997 estrellas
Magnitud límite: 10

31. Catálogo Hipparcos
Creado en el año 1989 a partir de la misión
astrométrica Hipparcos de la Agencia Espacial
Europea (ESA).
Alcance: 2,5 millones de estrellas
Magnitud límite: 13

33. GSC
Hubble Space Telescope Guide Star
Catalogue.
Alcance: 19 millones de estrellas
Magnitud límite: 16

35. Catálogo NOMAD
Naval Observatory Merged Astrometric Dataset: Derivado
de otros catálogos como Hipparcos, Tycho-2, UCAC2,
Yellow-Blue 6, USNO-B y 2MASS.
Alcance: 1.100 millones de estrellas
Magnitud límite: 18 (~ 1.5m OTA)
Archivo total: 100 GB
==> Stellarium.org (resumido a 1 GB y 100M de estrellas)

37. Catálogo IPHAS DR2
The INT Photometric H-alpha Survey of the Northern
Galactic Plane
Isaac Newton Telescope (INT) en la isla de La Palma,
Canarias, España
Alcance: 219 millones de estrellas
Magnitud límite: 20 (~ 2.5m OTA)
Archivo total: 2,5 TB

39. The SDSS (1999-2005)
Sloan Digital Sky Survey, Telescopio en Nuevo México de 2,5 m de apertura.
Fotografió 1,3 millones de imágenes astronómicas, cubriendo 1/4 del cielo.
Alcance: 360M objs, 930K galaxias, 100K cuásares
Magnitud límite: 22 (~ 10m OTA)
Flujo de datos: 0,2 TB/día.
Archivo total: 80 TB
==> Sky-map.org, Google Sky

41. NASA Mars Reconnaissance Orbiter
La Mars Reconnaissance Orbiter (MRO) es una nave espacial, lanzada el 12
de agosto de 2005 para el avance del conocimiento de Marte.
Los datos se almacenan en una grabadora de estado sólido que usa más de
700 chips de memoria de 256MB, en total su capacidad es de 160GB.
Archivo total: 200 TB

43. Dark Energy Camera, Chile
La Dark Energy Camera (DECam) es uno de los sensores del Dark Energy
Survey (DES).
Mediante técnicas de Advanced Machine Learning (Data Science) se realizan
clasificaciones automáticas de objetos astronómicos, usando los algoritmos
MCMC (Markov chain Monte Carlo).
Alcance: 300 millones de galaxias
Flujo de datos: 0,4 TB/día.
Archivo total: 1 PB

45. CEFCA
Centro de Estudios de Física del Cosmos de Aragón, Javalambre, Teruel,
España. Telescopio JST/T250 de 2,55m de diámetro y cámara panorámica
científica. La JPCam tiene 1.300 Megapixels, compuesta por un mosaico de 14
CCD.
Alcance: 100 millones de galaxias
Magnitud límite: 22 (~ 10m OTA)
Tecnología: 300 cores cluster
Flujo de datos: 2 TB/día.
Archivo total: 2,5 PB

47. Off-topic: Walmart
Wal-Mart Stores, Inc., marcada como Walmart, es una corporación
multinacional de minoristas de origen estadounidense, que opera cadenas de
grandes almacenes.
Archivo total: 2,5 PB

48. Very Long Baseline Array (VLBA)
Diez radiotelescopios con reflectores de 25
metros.
Tecnología: Linux Beowulf cluster
Flujo de datos: 100 TB/día.
Archivo total: 10 PB

50. Pan-STARRS
El Panoramic Survey Telescope and Rapid Response System, son dos
telescopios de 1.8 m tipo Ritchey-Chretien en Hawaii. Es el mayor survey
operativo del mundo y su misión principal es la detección de asteroides
potencialmente peligrosos. Un sensor mosaico de CCD, en total 1.400
megapixels.
Magnitud límite: 24 (~ 40m OTA, como el European Extremely Large
Telescope)
Tecnología: PSPS
Flujo de datos: 5 TB/día.
Archivo total: 20 PB

52. LSST, Chile
En construcción y operativo hacia el 2020, el Large Synoptic Survey Telescope
será un telescopio de 8.4 metros equipado con una cámara digital de 3.200
Megapixels. La cámara digital más grande del mundo tomará 800 imágenes
cada noche.
Alcance: 4.000 millones de galaxias
Magnitud límite: 24 (~ 40m OTA, como el European Extremely Large
Telescope)
Flujo de datos: 10 TB/día.
Archivo total: 60 PB

54. Off-topic: CERN, LHC
Large Hadron Collider: 150 millones de sensores ofreciendo datos 40 millones
de veces por segundo.
Experimento ATLAS, Higgs boson
Tecnología: MongoDB/CouchDB
Flujo de datos: 100 TB/día.
Archivo total: 140 PB

55. Square Kilometer Array (SKA)
Proyecto de radiotelescopio ubicado en Australia y
Sudáfrica, con 3.000 antenas haciendo interferometría,
operativo en el 2024.
"Massive Processing: 10^9 top range PCs" (como 1.000 Googles)
Flujo de datos: 10 EB(exabytes)/día, aunque la mayoría se descarta...
Archivo total: 200 PB (todo lo impreso en el mundo)

57. Off-topic: Facebook
Tecnología: Apache Hadoop/MapReduce
Flujo de datos: 500 TB/día.
Archivo total: 300 PB

58. Off-topic: Google
Tecnología: BigTable, Mesa
Flujo de datos: 25 PB/día.
Archivo total: 2 EB (exabyte, 10^18 bytes)

59. Off-topic: Internet
Flujo de datos: 5 EB/día.
Archivo total: 250 EB

60. Off-topic: Información digital en todo el mundo
Archivo total: 1 ZB (zettabyte, 10^21 bytes)

61. Universo
Información que contiene el Universo entero según un
cálculo de Seth Lloyd, investigador de Complex Systems
en el MIT.
Archivo total: 10^91 bytes

62. Procesamiento de Datos
● ¿Cómo son los datos astronómicos?
● ¿Cómo se almacenan?
● ¿Qué podemos hacer con ellos?

63. Ficheros FITS
● Flexible Image Transport System
● Cabeceras ASCII de metadatos: ubicación, condiciones
ambientales, instrumentación, etc.
● Caben imágenes (visible, infrarrojos, rayos X),
espectros electromagnéticos, listas de fotones, cubos
de datos, incluso tablas de datos.

65. Soluciones de Archivo
En Big Data / Cloud se usan sistemas distribuidos de
archivo:
● Google File System (GFS)
● Hadoop Distributed File System (HDFS), Yahoo
● Amazon S3 (Simple Storage Service)
● Windows Azure Storage

67. Soluciones de Procesamiento
● ¿Cómo sumar imágenes?
● ¿Cómo reducir/transformar datos?
● ¿Cómo ordenar los objetos detectados?

68. Coaddition mediante MapReduce
● MapReduce es multiplicar una orden en el
cluster.
● La solución de código abierto más extendida
de MapReduce es Hadoop.
● Amazon EC2 ofrece un servicio de Hadoop.

69. Coaddition mediante MapReduce
Ejemplo de co-addition:
Región del cielo: SDSS Stripe
82, R bandpass. Tras sumar
79 exposiciones el ratio S/N
(signal/noise) mejora en un
factor 9, y se detectan nuevos
objetos.

70. Selección de imágenes: Apache Pig
Con Pig Latin, al igual que usa Yahoo para
gestionar su enorme cantidad de datos, es
posible ejecutar operaciones de Hadoop con
un lenguaje de alto nivel, similar a SQL.

72. Reducción de datos
● Imágenes FITS
● magnitudes, variabilidad, espectro
● curva de luz, corrimiento al rojo, líneas de
emisión

73. Clasificación de objetos
● Técnicas de Advanced Machine Learning
(Data Science)
● Por ejemplo, la DECam usa MCMC (Markov
chain Monte Carlo) para diferenciar galaxias

74. Support Vector Machines (SVM)
● Algoritmo de clasificación que encuentra el “hiperborde” entre distintos
tipos de datos.
● Reconocimiento de habla y escritura, visión artificial,...
● Mediante lenguaje R y librerías CRAN
función svm ( install.packages('e1071') )
● Es el método que mejor funciona para discernir estrellas de la secuencia
principal, de enanas blancas y de cuásares, respecto a otros como LDA,
k-Nearest-neighbor, Regression Trees.
● ¿Cómo hacer esto con Big Data? ... Existen librerías de código abierto
que implementan Support Vector Machines (SVM) paralelizado en GPUs,
sistemas multinúcleo en CPU y también sistemas distribuidos tipo Cloud.

75. The SVM must be trained, just as Artificial Neural
Networks. It maps training data in the "input
space" into a high dimensional "feature space". It
determines a linear decision boundary in the
feature space by constructing the "optimal
separating hyperplane" distinguishing the classes.
This allows the SVM to achieve a nonlinear
boundary in the input space. The "support
vectors" are those points in the input space which
best define the boundary between the classes.
Work on SVMs began in the 1960s but recent
developments in the 1990s have made SVMs
much more useful for application to real-world
problems.

76. Plataformas comerciales Cloud
● Google Compute Engine
● Amazon Elastic Compute Cloud (EC2)
● Microsoft Azure
● Rackspace
● Salesforce
● IBM

78. Creating A Galactic Plane Atlas
● Ejemplo de Big Data en Astronomía
● Amazon EC2
● Un cluster de máquinas Unix
● Equivalente a 30 años de ejecución en CPU.
● "Creating A Galactic Plane Atlas With Amazon Web
Services" por G. Bruce Berriman, Ewa Deelman, John
Good, Gideon Juve, Jamie Kinney, Ann Merrihew,
Mats Rynge.

79. Galaxy Zoo Supernovae
● Ejemplo de Big Data en Astronomía
● Amazon EC2 y Amazon S3 como almacenamiento
● "Galaxy Zoo Supernovae", A. M. Smith, et all.
● Se han descubierto asteroides, supernovas y estrellas variables.

80. LSST
● Ejemplo de Big Data en Astronomía
● Google Exacycle
● "Simulating a Dynamic Universe with the Large Synoptic Sky Survey" por
Jeff Gardner, University of Washington, Seattle, WA

81. Unificando el Big Data astronómico
Los Observatorios Virtuales son centros abiertos de datos
donde se aglutinan las observaciones realizadas en
distintos observatorios a lo largo del planeta.
● International Virtual Observatory Alliance (IVOA)
ivoa.net
● The European Virtual Observatory Euro-VO
euro-vo.org
● Spanish Virtual Observatory
svo.cab.inta-csic.es

82. Citizen Science, eScience
Ciencia Ciudadana: investigación científica llevada a cabo por una suma de colaboradores, en su totalidad
o en parte por científicos, profesionales junto a gente común.
● Galaxy Zoo: Creado en el 2007 con el objeto de clasificar 900.000 galaxias, explorando visualmente
los últimos surveys disponibles.
● Stardust@home: Se estudian el polvo recogido del Cometa Wild2 por la sonda espacial Stardust.
Aquél que realice un descubrimiento co-firmará los artículos científicos del proyecto Stardust@home.
● SETI@home: científicos utilizan los ordenadores de voluntarios conectados a Internet para la
búsqueda de inteligencia extraterrestre: setiathome.berkeley.edu
● Otros: asteroids@home, cosmology@home, einstein@home, milkyway@home, SETIlive, …
● Off-topic: Mención especial a ibercivis.es, proyecto aragonés de ciencia ciudadana, desarrollado en el BIFI.

83. Pregunta Abierta
● ¿Cómo serán los telescopios de
aficionados del futuro?
● ¿Se comercializará en el año
2020 el C14 series Big Data?
● ¿Qué sorprendentes
funcionalidades incluirá?
Juan Ignacio Pérez Sacristán
linkedin.com/in/semanticwebarchitect

84. Bibliografía
* Big Data en la Astronomía: Una copia digital del universo, Sara Zambrano,
blog.nul-unu.com/2013/10/08/big-data-en-la-astronomia-una-copia-digital-del-universo/
* The Observatorio Astrofísico de Javalambre: current status and future developments, A.J. Cenarro, M. Moles, D. Cristóbal-Hornillos, et all.
sea-astronomia.es/drupal/sites/default/files/archivos/proceedings10/instrumentacion/ORALES/cenarroaj.pdf
* Large Scale Data Processing and Astronomy: Mashups, Widgets, and Custom Configurable Data Applications, Andrew Connolly
escience.washington.edu/get-help-now/astronomy-large-scale-data-processing
* Astronomical Image Processing with Hadoop, Keith Wiley
escience.washington.edu/get-help-now/astronomical-image-processing-hadoop
* Big data challenges in astronomy, Juande Santander-Vela
slideshare.net/juandesant/10-astronomy-bigdatachallenges

85. Bibliografía
* From Big Bang to Big Data, wordlessTech
wordlesstech.com/2012/04/04/from-big-bang-to-big-data/
* Analytics Astronomy: Unlocking the Physics of the Web, Kris Bishop
exchanges.wiley.com/blog/2013/06/06/analytics-astronomy-unlocking-the-physics-of-the-web/
* Putting Astronomy's Head in the Cloud, CluE
ssg.astro.washington.edu/clue.shtml?clue/CluE1
* Wiley, Keith, et al. "Astronomy in the cloud: using mapreduce for image co-addition." Astronomy 123.901 (2011): 366-380.
* Loebman, Sarah, et al. "Analyzing massive astrophysical datasets: Can Pig/Hadoop or a relational DBMS help?." Cluster Computing and
Workshops, 2009. CLUSTER'09. IEEE International Conference on. IEEE, 2009.
* Ekanayake, Jaliya, Shrideep Pallickara, and Geoffrey Fox. "Mapreduce for data intensive scientific analyses." eScience, 2008. eScience'08.
IEEE Fourth International Conference on. IEEE, 2008.

86. Bibliografía
* Tim Adams, Galaxy Zoo and the New Dawn of Citizen Science, The Guardian, Mar. 17, 2012
guardian.co.uk/science/2012/mar/18/galaxy-zoo-crowdsourcing-citizen-scientists
* Space telescopes and human genomes: How researchers share petabyte data sets, Sean Gallagher
arstechnica.com/information-technology/2013/04/the-troubles-with-storing-and-sharing-the-universe-and-our-dna/
* 219 million stars: a detailed catalogue of the visible Milky Way
ras.org.uk/news-and-press/2507-219-million-stars
* Prolific NASA Mars Orbiter Passes Big Data Milestone
jpl.nasa.gov/news/news.php?release=2013-324
* Students tackle astronomically big data challenges in Chile
iacs.seas.harvard.edu/news/students-tackle-astronomically-big-data-challenges-chile

87. Bibliografía
* Google's fact-checking bots build vast knowledge bank, 20 August 2014, Hal Hodson
newscientist.com/article/mg22329832.700-googles-factchecking-bots-build-vast-knowledge-bank.html
* How to Manage Exabytes of Distributed Data?, Rich Brueckner
insidehpc.com/2014/03/manage-exabytes-distributed-data/
* NASA uses big data to confirm 715 strange new exoplanets
geek.com/science/nasa-uses-big-data-to-confirm-715-strange-new-exoplanets-1586061/
* Astronomy and Big Data: A Data Clustering Approach to Identifying Uncertain Galaxy Morphology by Kieran Jay Edwards and Mohamed
Medhat Gaber
ISBN: 331906598X, 2014

88. Bibliografía
* Advances in Machine Learning and Data Mining for Astronomy by Michael J. Way, Jeffrey D. Scargle, Kamal M. Ali and Ashok N. Srivastava
* Machine Learning Algorithm Cheat Sheet
lauradhamilton.com/machine-learning-algorithm-cheat-sheet
* Sakr, S., Liu, A., & Fayoumi, A. G. (2013). The family of MapReduce and large-scale data processing systems. ACM Computing Surveys
(CSUR), 46(1), 11.
* Scientists show what 100M computing hours on Google’s cloud can do
gigaom.com/2012/12/17/scientists-show-what-100m-computing-hours-on-googles-cloud-can-do/
googleresearch.blogspot.com.es/2012/12/millions-of-core-hours-awarded-to.html