Open Scraper Challenge 2014

Cez víkend 12. a 13. júla 2014 sa v Bratislave a Brne uskutočnila akcia Open Scraper Challenge (OSC), ktorú organizovala SOIT v spolupráci s iniciatívou OpenData.sk. Išlo už o jej druhé opakovanie.

Cieľom OSC je odstraňovanie mreží údajom, ktoré sú uväznené v súboroch vo formátoch rtf a pdf alebo sú porozsýpané po rôznych html stránkach. Takéto údaje sú síce čitateľné pre človeka, ale nie sú použiteľné na ďalšie spracovanie a analýzu. Na to je potrebné, aby údaje mali zrozumiteľnú štruktúru - treba z nich vytvoriť štruktúrovaný dataset.

Účastníci OSC 2014 sa popasovali s viacerými zdrojmi údajov, ktoré sú dostupné na českom a slovenskom webe, a vytvorili z nich nasledujúce štruktúrované datasety:

• štatistiky nehôd na cestách
• https://morph.io/soit-sk/statistics_of_traffic_accidents_all
• https://morph.io/soit-sk/statistics_of_traffic_accidents
  
• patenty UPV
  
• https://morph.io/soit-sk/patenty_-_upv
  
• žiadosti o absencie poslancov NR SR
  
• https://morph.io/soit-sk/slovakia_parliament
• https://morph.io/soit-sk/excused_absence_requests_of_slovak_parliament_memb
  
• zoznam firiem z OR SR
• https://morph.io/soit-sk/scraper-sk_company_register
  
• finančné údaje mesta Bratislava
  
• https://morph.io/soit-sk/bratislava_faktury, 
• https://morph.io/soit-sk/zmluvy_bratislava
  
• údaje mesta Brno
  
• https://morph.io/soit-sk/brno_scrapers,
  
• https://morph.io/soit-sk/brno_councillors_meetings, 
• https://morph.io/soit-sk/brno_councillors_minutes,
  
• https://morph.io/soit-sk/brno_councillors_protocols, 
• https://morph.io/soit-sk/brno_councillors_votes,
  
• https://morph.io/soit-sk/brno_councillors_retrieval,
  
• https://morph.io/soit-sk/brno_councillors_downloader,
  
• https://morph.io/soit-sk/brno_councillors_votes_renaming
  
• údaje z MF SR
  
• https://morph.io/soit-sk/nehnutelny_majetok_statu_v_sprave_riadenych_organizacii 
• údaje o zmluvách, faktúrach atď. prokuratúr SR
  
• https://morph.io/soit-sk/objednavky_faktury_a_zmluvy_prokuratur_sr
  
• údaje o výberových konaniach na MS SR
• https://morph.io/soit-sk/vyberove_konania_ms_sr
  
• štatistika smrteľný nehôd v horách
• https://morph.io/soit-sk/montain-rescue-service-deaths
• https://morph.io/soit-sk/avalanche
  
• údaje o rokovaniach Vlády SR
•  https://morph.io/soit-sk/rokovaniask 
• finančné údaje niektorých miest v SR
• https://morph.io/soit-sk/digitalne_mesto
  
• zoznam PSČ, miest a ulíc v SR
• https://morph.io/soit-sk/slovakia_post_codes
  
• štatistické údaje ku kriminalite v SR
• https://morph.io/soit-sk/morph-crime-in-sk
  

Vytiahnuté dáta si z horeuvedených odkazov môžete na ďalšie použitie stiahnuť vo formáte sqlite databázy alebo vo formáte csv. Aktuálny a kompletný zoznam zrealizovaných scraperov tiež môžete nájsť na adrese https://morph.io/soit-sk/.

Na adrese scrapers (na) soit.sk vítame akékoľvek otázky, pripomienky či patche k existujúcim scraperom, či nové scrapery.

Ďakujeme všetkým účastníkom Open Scraper Challenge 2014 a tešíme sa na ďalšie kolo! Ďakujeme aj Marekovi Mahutovi z Red Hatu a Martinovi Habovštiakovi z Progressbaru za pomoc s priestormi a OpenAustralia Foundation za službu Morph, ktorú sme pri scrapovaní využili. Ak niektorý z datasetov vzbudil váš záujem, budeme radi ak nám o tom napíšete na adresu predseda {na} soit.sk.