introducció a les dades obertes i altres hypes
•
2 gefällt mir•707 views
xerrada sobre dades obertes al cicle Idees x Business
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Andere mochten auch
Andere mochten auch (12)
Mehr von Julià Minguillón
Mehr von Julià Minguillón (20)
introducció a les dades obertes i altres hypes
- 2. introducció a les DADES OBERTES i altres hypes J. Minguillón EIMT / UOC
- 3. què és Open Data?
- 4. què és Open?
- 5. què es Data?
- 6. plural de "datum" (cosa donada) idea: la mesura / quantitat / ... d'alguna cosa "Qualsevol informació que facilita la formació d'una idea, d'un judici, d'una conclusió."
- 8. "42" és una dada "la temperatura del pacient és de 42 ºC" és informació "una febre de 42 ºC pot causar danys cerebrals" és coneixement la saviesa és usar aquest coneixement pel bé comú
- 9. les dades no són només números font: https://flic.kr/p/5A9X6P
- 10. taules, documents wikipedia: pàgines / articles flickr, instagram: imatges twitter: tweets metadades
- 12. Locals and Tourists Eric Fischer metadades de flickr
- 15. atòmiques enters, reals, complexos vectors (RGB, ...) caràcters, cadenes
- 16. dades estructurades tabulars: 1D, 2D, 3D, ... jeràrquiques: tweets relacions: grafs
- 17. dades semi-estructurades documents (text) pàgines web (HTML)
- 18. en resum conèixer com són les dades facilita la seva manipulació posterior
- 19. què és Open?
- 20. obert com a llibertat font: https://flic.kr/p/6p2kFa
- 21. model de les 5 Rs Reuse Revise Remix Redistribute Retain
- 24. obert és una combinació de la manca de barreres tecnològiques barreres legals
- 26. barreres tecnològiques les dades han de ser accessibles descarregables manipulables
- 27. el model de 5 estrelles * no manipulables: pdf, tiff ** propietàries: doc, ppt, xls *** formats oberts: txt, csv, json **** enllaçades: xml, rdf ***** contextualitzades: xml, rdf http://5stardata.info/en/
- 28. per ser obertes calen 3 estrelles formats oberts programari lliure
- 30. linked data
- 31. linked data usar URIs per identificar usar HTTP per accedir descriure dades amb metadades enllaçar a dades relacionades pensat per a màquines
- 33. perquè linked data? extracció de dades de la web intercanvi / enriquiment de dades construcció de coneixement cerques semàntiques
- 34. exemple: wikidata quins són els municipis confrontants amb Reus? https://ca.wikipedia.org/wiki/Reus https://www.wikidata.org/wiki/Q487096
- 35. accés a les dades
- 36. accés "estàtic" dades en fitxers "fotografies" del passat no definits pels usuaris finals repositoris de dades consumides per humans http://dadesobertes.gencat.cat/ca/cercador/detall-cataleg/?id=5
- 37. accés "dinàmic" dades com un flux "fotografies" del present parametritzades (API) serveis online consumides per aplicacions
- 39. exemple: el Tecnoparc de Reus equipaments (Generalitat de Catalunya) ↓ geolocalització ↓ API de flickr
- 40. <?xml version="1.0" encoding="UTF-8"?><rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" xmlns:v="http://www.w3.org/2006/vcard/ns#" xml:base="http://opendata.gencat.cat/recursos/equipaments/vcard"> <v:VCard rdf:about="49176"> <v:fn xml:lang="ca"><![CDATA[Tecnoparc Reus]]></v:fn> <v:nickname xml:lang="ca"><![CDATA[Tecnoparc]]></v:nickname> <v:adr> <rdf:Description> <v:street-address><![CDATA[ Av. de la Cambra de Comerç]]></v:street-address> <v:locality><![CDATA[Reus]]></v:locality> <v:postal-code><![CDATA[43204]]></v:postal-code> <v:region><![CDATA[Baix Camp]]></v:region> <v:country-name>Spain</v:country-name> <rdf:type rdf:resource="http://www.w3.org/2006/vcard/ns#Work"/> </rdf:Description> </v:adr> <v:geo> <rdf:Description> <v:latitude rdf:datatype="http://www.w3.org/2001/XMLSchema#double">41.1591820489808</v:latitude> <v:longitude rdf:datatype="http://www.w3.org/2001/XMLSchema#double">1.118734064933219</v:longitude> </rdf:Description> </v:geo> <v:tel> <rdf:Description> <rdf:value><![CDATA[977 276977]]></rdf:value> <rdf:type rdf:resource="http://www.w3.org/2006/vcard/ns#Tel"/> <rdf:type rdf:resource="http://www.w3.org/2006/vcard/ns#Pref"/> <rdf:type rdf:resource="http://www.w3.org/2006/vcard/ns#Work"/> </rdf:Description> </v:tel> <v:category xml:lang="ca">Recerca</v:category> <v:category xml:lang="ca">Parcs científics i tecnològics</v:category> </v:VCard>
- 42. barreres legals accessible no vol dir obert llicències condicions d'ús EULAs
- 43. llicències per dades obertes per fitxers / bases de dades els fets no es poden registrar... ...però les col·leccions sí! http://opendatacommons.org/licenses/
- 44. condicions d'ús per dades de la web llenguatge legal http://www.coca-colacompany.com/our-company/the-coca-cola-company-terms-of-use
- 45. EULA End-User License Agreement per aplicacions i serveis online llenguatge legal poden ser absurdes! https://www.eff.org/wp/dangerous-terms-users-guide-eulas
- 47. males pràctiques AOL's searcher 4417749 Ashley Madison hackejat AEMET de pagament
- 48. altres aspectes a vigilar qualitat traçabilitat actualització
- 49. en resum abans de publicar / reutilizar dades cal ser conscients dels límits
- 50. per què open data?
- 51. per què no?
- 52. a qui pertanyen les dades? qui es/són els productors? en molts casos, els usuaris! promouen la participació redueixen el frau permeten generar valor afegit "data is the new oil" (C. Humby) "data is the new soil" (D. McCandless)
- 53. RISP (reutilització informació sector públic) lleis, normatives, ... certes incoherències context legal
- 54. fonts de dades obertes xarxes socials scraped web data repositoris administració organitzacions
- 56. cicle de vida de les dades obertes
- 58. generació per humans / sensors / serveis en qualsevol moment / lloc persistents / volàtils captura emmagatzemament publicació
- 59. captura repositoris APIs xarxes socials dases de dades / logs web scrapping humans (captcha)
- 60. preprocessament filtrat / selecció fusió (enriquiment) extracció de característiques conversió resums / agregats
- 61. anàlisi descriptors estadístics inferència no supervisat (clustering) supervisat (classificació) importància de les variables ...
- 62. visualització anàlisi visual resums informes dashboards mapes / grafs interactivitat
- 63. eines ...
- 64. big data
- 66. volum és el nombre d'elements mida de la mostra / població
- 67. varietat és el nombre de valors diferents dimensionalitat
- 68. velocitat és com de ràpid es genera o canvia longitudinal
- 70. exemple: Wal-Mart (2015) 37 millions de clients compren a Wal-Mart cada dia d'una llista de 140,000 ítems qui compra què i quan? per què?
- 71. exemple incloure dades de context targetes de punts inspecció dels productes (RFID) ús de càmeres i sensors xarxes socials ...
- 75. contacte jminguillona[at]uoc[dot]edu @jminguillona webpage This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License .