Session vid WebCoast 2012.

1. Nätet och nyheterna :
Om insamling och
bevarande av
webbtidningar
Pär Nilsson / Kungliga biblioteket
@selanna / @kungbib
12-03-19 par.nilsson@kb.se
Sidnummer 1
www.kb.se

2. Kungliga biblioteket - historia och mål
• Sveriges nationalbibliotek och statlig
myndighet – kungligt från 1500-1877
• Stockholm: Humlegården, över och
under jord – och Karlavägen
• Bålsta: Statens biblioteksdepå – bland
annat 122 miljoner sidor dagstidningar
• Strängnäs: Roggebiblioteket – stifts- och
läroverksbibliotek och bokbinderi
• Samlar, bevarar och lånar ut allt svenskt
tryck, ljud och rörlig bild
• KB:s uppdrag: att bevara för samtida och
framtida forskning.
12-03-19
Sidnummer 2

3. Pliktleveranser av tryck, ljud och rörlig bild
• Lagen om leveransplikt från 1661 – från kontroll till forskning.
• Tryckt material till KB och 6 universitetsbibliotek: böcker, tidskrifter,
dagstidningar, kartor, noter, reklam, medlemsblad, instruktionsböcker,
broschyrer med mera.
• Etermedia, film, video och fonogram som sprids till svensk allmänhet till KB.
• Digitalt material endast om det getts ut på fysisk bärare (diskett, CD)
www.kb.se/plikt/
12-03-19
Sidnummer 3

4. Dagstidningar - tryck, mikrofilm, digitaliserat
• Alla nuvarande svenska dagstidningar (cirka 200), inklusive alla editioner,
bilagor och löpsedlar. Sammanlagt cirka 2 miljoner sidor per år.
• Mikrofilmning (i svartvitt!) av allt unikt innehåll sedan 1979 och en stor del av
den svenska pressen även tidigare. 70 av 122 miljoner sidor på mikrofilm.
• Digitalisering av 2-3 miljoner sidor (Aftonbladet 1830-2010 och Svenska
dagbladet 1884-2010) i projekt med EU-stöd och samarbete med Riksarkivet.
Webbpublicering av det som är upphovsrättsligt fritt (t.o.m.1850).
12-03-19
Sidnummer 4

5. Webben i backspegeln
• CERN:s tillkännagivande att World Wide
Web skulle vara fritt för alla – 30 april
1993
• NCSA Mosaic – 10 september 1993
• Aftonbladet som första svenska
dagstidningen på webben – 25 augusti
1994
• Första insamlingen av Aftonbladet hos
Internet Archive – 23 oktober 1996
• Första insamlingen av Aftonbladet i KB:s
webbinsamling Kulturarw3 – 1997
12-03-19
Sidnummer 5

6. Insamling och arkivering av webben
• The Internet Archive 1996
• Pandoraprojektet (Australien) oktober 1996
• Kulturarw3-projektet på Kungliga biblioteket sommaren 1997
• Kungliga biblioteket medlem av International Internet Preservation Consortium
(IIPC) sedan 2003
(www.kb.se/om/projekt/Svenska-webbsidor---Kulturarw3/)
12-03-19
Sidnummer 6

7. ”Kungl. bibliotekets digitala kulturarvsprojekt”
• Den svenska webbinsamlingen (Kulturarw3) reglerad i förordning sen maj 2002
• Förordningen tillåter KB att “med hjälp av automatiserad robotteknik samla in,
bevara och tillhandahålla det nationella digitala kulturarvet i form av det
svenska material som publiceras på Internet”.
• Förordningen gäller “material som går att hänföra till Sverige genom sådan
anknytning som adress, adressat, språk, upphovsman eller avsändare.”
• "Personuppgifter får behandlas i projektet för att tillgodose behovet av
forskning och information", även när det gäller ras eller etniskt ursprung,
politiska åsikter, religiös eller filosofisk övertygelse, medlemskap i fackförening
och uppgifter som rör hälsa eller sexualliv.
(www.riksdagen.se/webbnav/index.aspx?nid=3911&bet=2002:287)
12-03-19
Sidnummer 7

8. Vad har samlats in och hur?
Vad?
• Alla svenska webbplatser sedan 1997 – 1-3 gånger per år
• Cirka 140 svenska dagstidningars webbplatser på daglig basis sedan 2004
• 1,7 miljarder objekt och 1,5 petabyte data
Hur?
• Helt automatiserad robotinsamling utan manuella kontroller
• Ett begränsat antal objekt per webbplats
• Ett begränsat djup i insamlingen per webbplats
12-03-19
Sidnummer 8

9. Resultat av Kulturarw3 för dagstidningarna
• En omfattande samling som täcker stora och små tidningar
• Snapshots vid tidpunkten för insamlingen
• Ofta ofullständiga sidor där stilmallar och bilder saknas
• En hel del av överflödigt material, upprepat från dag till dag
• De arkiverade sidorna innehåller ibland länkar till reklam som inte har samlats
in och i stället visas nuvarande annonser
12-03-19
Sidnummer 9

10. Tillgång till materialet i Kulturarw3
• Två allmänt tillgängliga datorer på biblioteket, utan anslutning till Internet.
• Kopiering av arkiverade sidor är inte tillåtet, men utskrift är OK.
• Inga sökfunktion för sidorna, men åtkomst genom URL till sidor och länkar som
presenteras i resultatet, med en länk för varje gång sidan arkiveras.
Dagstidningars webbplatser förtecknas separat
• Arkiverade webbsidor lagras på band och hämtas till disk på begäran, vilket tar
cirka två minuter.
12-03-19
Sidnummer 10

11. Fyra scenarier för webbarkivering
• The "Nirvana" Scenario
• The "Apocalypse" Scenario
• The "Singularity" Scenario
• The "Dusty Archive" Scenario
Web Archives: The Future(s) / Eric T. Meyer, Arthur Thomas, Ralph Schroeder
30 juni 2011 - Oxford Internet Institute, University of Oxford
(netpreserve.org/publications/2011_06_IIPC_WebArchives-TheFutures.pdf)
12-03-19
Sidnummer 11

12. The ”Nirvana” scenario
“… web archives would be at once robust, standardized, and securely
preserved while at the same time, open, flexible, widely used, and part
of the standard research toolkit in Internet science, political science,
economics, sociology, contemporary history (and, in the future, history
of the late 20th and early 21st century), journalism, linguistics,
communications, business, media studies, and other disciplines …
usable and useful for the general public, governments, policy units and
think tanks, businesses, and non-governmental organizations.”
Web Archives: The Future(s) / Eric T. Meyer, Arthur Thomas, Ralph Schroeder
12-03-19
Sidnummer 12

13. The ”Apocalypse” scenario
“The vast amount of information being created globally today may just
as well have been written on scraps of paper storied in a billion
shoeboxes, for all the good it will do towards understanding
developments in the world as reflected by the content on the Internet.”
Web Archives: The Future(s) / Eric T. Meyer, Arthur Thomas, Ralph Schroeder
12-03-19
Sidnummer 13

14. The ”Singularity” scenario
"a world in which human and machine intelligence become inextricably
inter-twined, and the boundary between them diffuse. In such a world,
it is not even clear what “archiving” could possibly mean, so as time
goes forward, the past is inevitably and irretrievably lost. "
Web Archives: The Future(s) / Eric T. Meyer, Arthur Thomas, Ralph Schroeder
12-03-19
Sidnummer 14

15. The "Dusty Archive" Scenario
“often well-curated and maintained, but hardly used.
Even though the web archiving community continues to develop
standards and practices for preserving portions of the Internet, few
really impressive uses emerge from the research community.
Pages may be individually consulted via online tools, and some
researchers will continue to build small archives for particular research
topics, but Internet research will continue to focus primarily on the live
web, and little interest will develop in using the past web for serious
research any time in the near future.”
Web Archives: The Future(s) / Eric T. Meyer, Arthur Thomas, Ralph Schroeder
12-03-19
Sidnummer 15

16. E-plikt - vad är det?
Elektroniskt material som:
• är av avslutad och permanent karaktär, formuleras:
”en avgränsad enhet av elektroniskt material med text, ljud eller bild som har
ett på förhand bestämt innehåll som är avsett att presenteras vid varje
användning”
• gjorts tillgängligt för allmänheten genom överföring via nätverk
• riktar sig till allmänheten i Sverige eller till personer som förstår svenska
språket eller om materialet har en svensk upphovsman
12-03-19
Sidnummer 16

17. E-plikt – vad ska levereras?
• Artiklar (reportage, krönikor, debattartiklar, bloggposter, recensioner)
• Egenpublicerade annonser
• Broschyrer, vägledningar, guider
• Egenproducerad rörlig bild (webb-tv, videoklipp)
• Webbradio
• Poddradio
• Bilder
12-03-19
Sidnummer 17

18. E-plikt - vad ska inte levereras?
• Hela webbsidor, hela databaser
• Programkod som bygger upp databaser
• Direktsändning
• Material som förs fortlöpande (t.ex. wikiwebbplats som uppdateras av vem som
helst)
• Krönikor som är identiska med den i den tryckta versionen av dagstidningen
• Seminarieinbjudan
• Innehåll på intranät eller andra slutna nätverk
• Privatpublicerade bilder, musik, filmer, bloggar och kommentarer
• Kalendarier, tablåer
• Artiklar utgivna av nyhetsbyråer
• Reklamfilm/text som inleder egenproducerat tv-inslag
12-03-19
Sidnummer 18

19. Vad kommer e-plikten att ge?
Metadata
<vem>SVD</vem>
<när>2010-05-24</när>
Etc
Metadata
<vem>Försäkringskassan</vem>
<när>2010-05-24</när>
Etc
12-03-19
Sidnummer 19

20. Metoder för leverans av e-pliktmaterial
• Fysisk bärare
– Leverans av pliktmaterial ska enligt lagförslaget ske via fysisk bärare
– KB kommer att föreskriva att USB-minne ska användas för detta ändamål
• Nätverk
– KB kommer att tillhandahålla leverans via nätverk
– Ger möjlighet att automatisera inleverans
– Olika metoder, leverantören väljer det som passar bäst utifrån karaktären
på materialet
– KB tillhandahåller specifikationer och genomför testleveranser i samarbete
med leverantören
12-03-19
Sidnummer 20

21. Leverans av e-pliktmaterial via nätverk
• FTP
– Metadata samt filresurser förs över via ftp
– Möjligt med flera ftp-kanaler för en och samma leverantör
– Automatiserat, eller manuellt, flöde hos leverantören
• RSS
– RSS 2.0 med tillägg av vissa element från MediaRSS och DCMI Metadata
Terms (Dublin Core)
– Möjligt med flera RSS-flöden för en och samma leverantör
– Helt automatiserat flöde för leverantören
– KB läser med lämpligt intervall RSS-flöden och hämtar pliktmaterial
• Webbgränssnitt
– Manuell uppladdning av filresurser via webbgränssnitt
– Metadata anges i formulär, alternativt bifogas som fil
– Lämpligt för leverantörer med liten mängd material
12-03-19
Sidnummer 21

22. Vad kan bevaras av nätets nyheter?
Via robotinsamlingen:
• Helheten, så gott det går
• Utseendet
• En ögonblicksbild
Via e-plikten:
• Delarna, så gott det går
• Ren information, i text, bild, ljud eller video
• En nyhets utveckling över dygnet
12-03-19
Sidnummer 22

23. Hur bevara nyheterna på nätet?
• Fortsatt dagliga insamling med mer kontroll över vad vi får
• Bättre kontroll över stilmallar etc för att bevara layout
• Möjligen insamling en gång per månad till ett större djup
• Styrd insamling så att viktiga nyheter fångas i sitt sammanhang
• E-pliktleveranser som representerar tidslinjen för en nyhet
• Nytt gränssnitt och indexering för att söka i arkivet och se tidslinjer
• Och - i Nirvana - inte bara bitar av papper i en skokartong, men en sömlös
integration av robotinsamlat material och e-pliktmaterial
12-03-19
Sidnummer 23