O documento discute a integração do design nas humanidades digitais para analisar grandes acervos de imagens, como fotografias. A autora propõe o uso de técnicas de reconhecimento de imagem e visualização de dados para explorar as características espaciais, temporais e semânticas de imagens, permitindo novas formas de investigação cultural destes acervos.

1. Perspectivas para integração do Design
nas Humanidades Digitais frente ao desafio
da análise de artefatos visuais
Júlia Rabetti Giannella
@juliagiannella
juliagiannella@gmail.com

2. Doutorado em
Design e Tecnologia
PPDESDI - UERJ
Assistente
de pesquisa
Visgraf - IMPA
LUGAR DE FALA
Julia Rabetti GiannellaHDRio2018

3. Diante de milhares de fotografias, como tornar
este acervo mais explorável e compreensível?
Como entender os conteúdos semânticos
contidos nas imagens e como comparar ou
encontrar exemplos para um determinado
recorte geográfico ou temporal se não
manualmente?
Julia Rabetti GiannellaHDRio2018
PERGUNTA DE PARTIDA

4. UM PROBLEMA ENTRE DUAS ABORDAGENS
Julia Rabetti GiannellaHDRio2018
Computação
Social
Humanidades
Digitais
Objeto: redes sociais
Domina: observação
quantiativa, com foco
nas generalizações
e uso de tecnolgias de
reconhecimento de imagem
Objeto: Patrimônio cultural
Domina: observação
qualitativa, com foco nas
particularidades

5. Design
sanar a falta de interfaces
gráficas de usuário (GUI) para
investigar grandes coleções
fotográficas conjugando
tecnologias computacionais e
recursos para explorar, visualizar
e comparar o acervo
UM PROBLEMA ENTRE DUAS ABORDAGENS
Objeto: redes sociais
Domina: observação
quantiativa, com foco
nas generalizações
e uso de tecnolgias de
reconhecimento de imagem
Objeto: Patrimônio cultural
Domina: observação
qualitativa, com foco nas
particularidades
Julia Rabetti GiannellaHDRio2018
Computação
Social
Humanidades
Digitais

6. DISCUSSÕES PARA O CAMPO DAS HDs
1. Investigação de grandes coleções de imagens (fotografias,
pinturas, ilustrações, vídeos, GIFs, etc) recorrendo a
técnicas de reconhecimento de imagem derivadas de
Aprendizagem de Máquina (Machine Learning);
2. Valorização de textos e mídias produzidas em redes sociais
como patrimônio cultural relevante para as HDs;
3. Integração de princípios e metodologias do Design (HCI e
visualização) na construção de ferramentas para recuperar,
explorar e visualizar imagens.
Julia Rabetti GiannellaHDRio2018

7. interfaces tradicionais (sistemas de recuperação de informação)
Europeana Collections
https://www.europeana.eu/portal/en
ACERVOS DE IMAGEM E GUI
Julia Rabetti GiannellaHDRio2018
Brasiliana Fotográfica
http://brasilianafotografica.bn.br/

8. Photogrammar - Trabalho apresentado no DH2016
http://photogrammar.yale.edu/
Julia Rabetti GiannellaHDRio2018
interfaces com técnicas de visualização da informação
ACERVOS DE IMAGEM E GUI

9. Julia Rabetti GiannellaHDRio2018
interfaces com técnicas de visualização de mídia e processamento de imagem
para extração de cor média
ACERVOS DE IMAGEM E GUI
New York Public Library Visualization Tool
http://publicdomain.nypl.org/pd-visualization/

10. Julia Rabetti GiannellaHDRio2018
GIANNELLA, J.; VELHO (2017). ObservatóR!O2016: Exploring Rio-2016 image dataset throughDeep Learning and visualization
techniques (DH2017, Montreal)
http://lvelho.impa.br/dl_rio2016/index.html
interfaces com técnicas de visualização de mídia e visão computacional para
reconhecimento de objeto (tocha olímpica)
ACERVOS DE IMAGEM E GUI

11. LIMITAÇÕES TECNOLÓGICAS SUPERADAS
Julia Rabetti GiannellaHDRio2018
https://xkcd.com/1425/ (Junho, 2014)

12. propriedades como
cor, brilho, textura
reconhecimento de
objetos, cenas e pessoas
dimensão SEMÂNTICA
contribui para avançar o estado da arte da extração de características de
imagen por meio do desenvolvimento e avaliação de algoritmos
VISÃO COMPUTACIONAL
Julia Rabetti GiannellaHDRio2018

13. propriedades como
cor, brilho, textura
reconhecimento de
objetos, cenas e pessoas
dimensão SEMÂNTICA
Aprendizado
de Máquina
Redes
Neurais
Convolucionais
VISÃO COMPUTACIONAL
Julia Rabetti GiannellaHDRio2018

14. HDs E VISÃO COMPUTACIONAL
Julia Rabetti GiannellaHDRio2018
Computer Vision in Digital Humanties Workshop - DH2017 (Montreal)
https://avindhsig.wordpress.com/workshop-2017-montreal/
- 1 palestra principal
- 8 apresentações de trabalho
- 9 lightening talks
- 1 prática envolvendo Deep Learning

15. THOMEE et al, 2015. YFCC100M: The New Data in Multimedia Research
Yahoo Flickr Creative Commons 100 Million Dataset
maior coleção multimídia pública já lançada para fins de pesquisa
compreendendo ~ 100M de objetos de mídia (2004 - 2014)
OBJETO DE INVESTIGAÇÃO: COLEÇÃO YFCC100M
Julia Rabetti GiannellaHDRio2018

16. Abordagem-método para analisar grandes conjuntos de dados
culturais usando técnicas computacionais e técnicas de visualização
ANALÍTICA CULTURAL (Lev Manovich)
Julia Rabetti GiannellaHDRio2018
1. Domínio: culturas visuais-fotográficas de diferentes
cidades a partir de registros georreferenciados
2. Objeto: a coleção YFCC100M
3. Características: geo-espaciais, temporais e semânticas
4. Visualização de mídia: espaços de representação para
recuperar, visualizar e comparar imagens
MANOVICH, 2015. Data science and digital art history

17. MODELAGEM DAS CARACTERÍSTICAS
Julia Rabetti GiannellaHDRio2018
1. Que características aparecem nas fotografias e quais
são relevantes para estudar a dimensão cultural
desse acervo?
Lugar
Onde a foto
foi tirada
Quando
Quando a foto
foi tirada
Semântica
Que conteúdos,
objetos e cenas
estão contidos
nas fotos
metadados fornecidos pela câmera propriedades extraídas pela máquina

18. por meio de 1.570 autotags -> Flickr Vision team
ANÁLISE SEMÂNTICA
Julia Rabetti GiannellaHDRio2018
MMC search: http://search.mmcommons.org/

19. RECORTE
Julia Rabetti GiannellaHDRio2018
As sete capitais brasileiras com mais fotografias na coleção
São Paulo
242 363
Rio de Janeiro
112 287
Salvador
47 392
Porto Alegre
44 617
Brasília
22 276
Florianópolis
15 493
Belo Horizonte
11 457
465 885 fotografias

20. DISTRIBUIÇÃO SEMÂNTICA
Julia Rabetti GiannellaHDRio2018
indoor: 88 577
outdoor: 78 614
people: 51 741
nature: 35 537
architecture: 29 066
sport: 23 355
art: 22 413
text: 20 075
plant: 18 470
monochrome: 18 246
landscape: 16 997
vehicle: 16 681
surreal: 16 661
music: 16 579
food: 16 575
black: 16 410
photo border: 16 346
blackandwhite: 16 114
building: 15 486
performer: 14 861
outdoor: 64 259
nature: 32 374
indoor: 28 571
landscape: 23 361
people: 21 687
architecture: 18 154
water: 16 994
sport: 16 425
shore: 13 401
vehicle: 12 964
seaside: 10 490
art: 9 536
plant: 9 258
building: 9 084
coast: 8 747
text: 8 518
lake: 8 498
slope:8 400
mountain: 74 71
beach: 72 58
overalls: 2
anemone: 2
scallop: 2
feverfew: 2
bactrian camel: 2
sorrel horse:2
meadow cranesbill: 2
buck: 2
dik-dik: 2
elk: 2
new england aster: 2
fly agaric: 2
briefcase: 2
peacock butterfly: 2
gaillardia: 1
chicory: 1
glacier lily: 1
cornflower: 1
nigella: 1
spur gear: 1
chaetodon: 6
brain coral: 5
chest of drawers: 5
gnu: 5
jackal: 4
coltsfoot: 4
whale shark: 4
sea trout: 4
buck: 4
ram: 4
common spotted orchid: 3
chicory: 3
new england aster: 3
clipper ship: 2
water vole: 2
nigella: 2
dik-dik: 2
yacht: 2
gazelle: 2
peacock butterfly: 2
São Paulo
20 + citadas
Rio de Janeiro
20 - citadas 20 + citadas 20 - citadas

21. INQUIETAÇÕES E DESAFIOS
Julia Rabetti GiannellaHDRio2018
1. Existe espaço para uma curadoria semântica da máquina
e até que ponto podemos utilizá-la para refletir sobre um
domínio de análise a partir da perspectiva das
Humanidades Digitais;
2. Como lidar com a descontinuidade semântica entre a
cognição do homem e da máquina;
3. Deveríamos pensar a curadoria da máquina conjugada
com outras estratégias de taxonomia (folkosonomia?);
4. Como construir GUIs que integrem objetos de mídia e
suas características (temporais, espaciais e semânticas)
de maneira a potencializar a experiência de consulta,
exploração, comparação e visualização do acervo.

22. BLOG | MediaScopium: computer vision, information design e new media
Julia Rabetti GiannellaHDRio2018
https://www.visgraf.impa.br/mediascopium/

23. OBRIGADA!
juliagiannella@gmail.com
@juliagiannella