Beñat Arzadun, Imanol Egaña*, Galder Gonzalez**, Itziar Irigoien*,
Shalva Jokhadze*, Joseba Makazaga*, Kepa Sarasola ** eta Ana Zelaia*

* Informatika Fakultatea, UPV/EHU
** Euskal Wikilarien Kultur Elkartea (EWKE)

Euskal Wikipedia eta Informatika Fakultatearen artean martxan jartzen ari gara Beñat Arzadun nazioarteko kooperantearen proposamen esanguratsu bat. Zaila zen Wikipedian urte askotako datu estatistikoak taxuz biltzea eta erabiltzea; adibidez, irudiko per capita errentako datuak munduko 250 herrialdeetakoa. Aurten egindako lankidetzari esker, datuak biltzeko eta dokumentatzeko modu bat proposatu dugu, gero mundu mailako Wikimedia erakundean ontzat hartu dute, eta probatu egin dugu bederatzi adierazle estatistikorekin. Gainera, Imanol Egaña eta Shalva Jokhadze ikasleek sortu dituzten Python programak erabiliz… udazkenean mila adierazle estatistikoren datuak igo ahal izango ditugu Wikimediara.

1. Motibazioa

Gizartea aztertu, ulertu eta eraldatzeko funtsezkoa da hari buruzko datuak eskura izatea (demografia, osasuna, hezkuntza, ekonomia, kultura, elikadura, kutsadura, aberastasuna…). Mundu mailako erakunde askok biltzen dituzte gizarteari buruzko horrelako datu estatistikoak:

• Gobernuek (adb: https://www.insee.fr, https://gobiernoabierto.navarra.es/eu/open-data…)
• Nazioarteko Erakundeek (adb: https://ec.europa.eu/eurostat…)
• Talde ekologistek (adb: https://globalcarbonbudget.org/datahub/…)
• Bakearen aldeko taldeak (adb: https://www.sipri.org/databases…)

Baina…

• Datuak oso sakabanatuta daude Interneten eta sarri aurkitzen zailak dira.
• Datuak formatu desberdin askotako fitxategietan daude gordeta (xlsx, csv, API…).
• Datuak era desberdinetan daude idatzita (1.000,00 vs 1,000.00; 2026/05/14 vs 05/14/2026; Côte d’Ivoire vs Costa de Marfil vs Ivory Coast; …).

Alegia, datuak aurkituz gero ere, datu horiek jaitsi, garbitu eta formatu amankomun batean txukuntzea lan handia izaten da. Tamalgarria da, baina munduan barrena ehundaka pertsonak, bakoitzak bere aldetik, errepikatzen dute egokitze-lan nekez hori, antzeko moduan beti ere.

Urteetan zehar saiakerak izan dira datu horiek batu eta era erabilterrazean antolatzeko. Aipagarrienak hauek izan dira: 1) Mundu Bankuaren ‘World Development Indicators’, 2) Gapminder eta 3) OurWorldInData – OWID gaur egun sona gehien duena.

Baina saiakera guzti horiek badituzte hainbat gabezia:

• Orokorrean estatu mailako datuak bakarrik batzen dituzte. Horrek datu kopuru ikaragarria uzten du bildu gabe, izan ere munduan Portugal, Espainia edo Frantzia bezalako estatuak 250 inguru dira munduan, baina Eusko Autonomi Erkidegoa edo Nafar Foru Erkidegoa bezalako eremu administratiboak 4.000 pasa dira.
• Ekimen horiek mendebaldeko herrialdeetan sortuak dira eta hortik kanpokoei (Txina, India, Nigeria…) buruzko datu gutxi biltzen dute.
• Lantalde mugatuak izanagatik, sortzen den datu pilaren aukeraketa mugatuak bakarrik biltzen dituzte.

Gauzak horrela daudela ikusi dugu Wikimedia ekosistema erabiltzea (Wikipedia, Wikidata eta Wikimedia Commons) aukera ona dela erronka horiei aurre egiteko aukera ona dela. Gaur egun, hasieran aipatutako gizarte estatistika batzuek ere badaude wikidatan gordeta (adb. Indian bizi-itxaropena = https://www.wikidata.org/wiki/Q668). Baina orokorrean badaude hainbat gabezia:

• Datuak nondik lortu diren eta wikidatako formatura moldatzeko zer aldaketa egin zaizkien ez da idatzita gelditzen.
• Datuak eskuz, edo ia eskuz, sartzen dira eta sarri ondorengo urteetan ez da haiek eguneratzeko lana egiten.

Zer egin?
Gabezia horiek, ETL funtzioak (Export-Transfer-Load) erabiliaz gainditu ahal daitezke. ETL funtzio horiek beren baitan izaten dute, informazioa nondik lortu den eta helburu duen sisteman sartu aurretik egin zaizkion moldaketa guztien informazioa. Eta etorkizunean datuak eguneratu nahi izanez gero, ETL script-a berriro exekutatu besterik ez da egin behar datuak erraz berriro kargatzeko. Wikipediarako ETL funtzioak garatzea aurrerapauso garrantzitsua da. Datuak askoz ere modu errazagoan sartu ahalizateko, datuen jatorriari buruzko informazio argia gordetzeko, eta, batez ere, haien eguneraketa bermatzeko. Zorionez, ETL horiek sortzeko lana ez dago hutsetik hasi beharrik. Gorago aipatutako OurWorldInData – OWID erakundeak horrelako ehundaka ETL sortu ditu, kode irekian idatzitako python script-ak dira (https://github.com/owid/etl).

2. Datu serieak Wikimedian biltzeko bide sendo berri bat: Wikicommons+Wikidata aukera

Bazegoen beste aukera bat datu-seriak Wikimedian errepresentatzeko (datu guztiak Wikidatan biltzea), baina apostu egin dugu datu segidak errepresentatzeko aukera misto baten alde: datu masa handiena Wikicommons-en ‘tabular data file’ moduan sartzea, honela:

• Datu-serie bakoitza tabular data gisako fitxategi batean gorde Commons-en. Nonbait kalkulu-orri baten baliokide den egitura bat adierazle estatistiko baten balioak lerroka antolatuta dituenak. Lerro bakoitzean lau balio azaltzen dira: Entitatea, urtea, balioa eta oharrak.

• Datu-seriearen metadatuak ere gordetzen ditugu Commons-en (datua nork sortu duen, noiz, zer metodologiarekin, zer muga metodologiko dituen, non eta noiz argitaratu den…).

• Datu-serie bakoitzarentzat Qxxxx item berri bat sortzen dugu Wikidatan eta hari bere propietate nagusiak erantsi

• Datu-serie bakoitzaren datuak non dauden zehaztearren, Wikidatan duen itemean ‘Datu-serie tabular‘ predikatuarekin sententzia bat gehitzen diogu Commonseko bere “.tab” fitxategiarekin lotzeko.

Eta datu-serieak errepresentatzeko gure proposamen horrek harrera ezin hobea jaso du Parisen Wikimania 2026 biltzarrean aurkeztu dugunean. Wikidatako arduradunek onartu dute proposamena, eta onartu dute Wikidatan propietate berri bat sortzea, guk proposatu bezala. ‘Datu-serie tabular‘ (P14687) Propietate berri horrek Wikidatako datu-serie bat eta bere Commons tab-fitxategia lotzeko balioko du eta erabilera orokorra izango du hemendik aurrera. Adibidez, guk bizi-esperantzako datuekin wikidatan sortu dugun datu-serie itema (Q140402222 datu-seriea, WB-WDI-SP.DYN.LE00.IN datu-seriea) ‘Datu-serie tabular‘ propietatean duen balioa serie horren datuak dituen c:Data:WDI/SP.DYN.LE00.IN data.tab datu-taula izango da.

3. Egindako ekarpena

Proiektu honetan bi ekarpen nagusi egin ditugu: Batetik frogatu dugu gure Commons+Wikidata diseinu berria bideragarria, koherentea eta ulergarria dela, eta bestetik, Python lengoaia erabiliz, ETL script-ak sortu ditugu gizarte-estatistiketarako datu segidak Wikimedia ekosisteman sortu eta eguneratzeko.

ETL script horiek Wikimediako kide guztiek berrikusi, moldatu eta baliatu ahal izan dezaten, irailean kode ireki moduan eskuragarri ipiniko ditugu Wkimedia GitLab-en eta zerbitzu gisa Wikimediako Toolforge-n

Script horien erabilgarritasuna frogatzeko nonbaitetik hasi behar zen eta munduaren egungo egoerari lehen itxura bat hartzeko garrantzitsu diren bederatzi adierazleren datuak igo ditugu. Hauek dira adierazle horiek: Bizi-itxaropena, demografia, alfabetatze-tasa, CO2 isurpenak, haurren hilkortasuna, barne-produktu gordina, per capita errenta, heriotza tasa eta giza-hilketa.

Commonseko kategoria honetan ikus daitezke igo ditugun datuak:

https://commons.wikimedia.org/wiki/Category:World_Development_Indicators

• Data:WB WDI NY.GDP.PCAP.PP.CD data.tab (per capita errenta)
• Data:WDI/EN.GHG.CO2.PC.CE.AR5 data.tab (heriotza-tasa, 5 urte azpikoetan)
• Data:WDI/NE.GDI.TOTL.ZS data.tab (barne-produktu gordina)
• Data:WDI/SE.ADT.LITR.ZS data.tab (alfabetatze-tasa)
• Data:WDI/SH.DYN.MORT data.tab (heriotza-tasa)
• Data:WDI/SP.DYN.LE00.IN data.tab (bizi-itxaropena)
• Data:WDI/SP.POP.TOTL data.tab (biztanleria)
• Data:WDI/VC.IHR.PSRC.P5 data.tab (giza-hilketak)

Bukaeran eta Wikipedian datu horiek duten baliagarritasuna erakusteko asmoz, hainbat grafiko gehitu ditugu Wikipedian munduko herrialdeen artikuluetan (India, AEB, Txina, Nigeria…) eta beste grafiko eta mapa batzuk adierazle estatistikoen artikuluetan ere bai.

Esate baterako, bizi-itxaropeneko datuekin 200dik gora grafiko gehitu ditugu munduko herrialdeen artikuluetan (ikus Data:Life expectancy.chart), eta datu orokorren grafikoak gehitu ditugu Wikipediako Bizi itxaropen artikuluan.

Klima-aldaketa artikuluan CO2 isurpenen grafikoak gehitu ditugu, mapa moduan:

eta grafiko moduan ere bai:

4. Etorkizunerako lana

Gainera, sortu ditugun Python programak erabiliz… udazkenean mila adierazle estatistikoren datuak igo ahal izango ditugu Wikimediara. Munduko Bankuaren ‘World Development Indicators’, eta OurWorldInData – OWID atarietan badira 1.400 adierazleren datuak lizentzia librearekin. Datu horiek igo Wikimediara, ondo dokumentatu, eta ETL scriptak aktibatu ditzakegu urtez-urte modu semiautomatikoan datu horiek eguneratu ahal izateko.

Herrialde mailako datuez gain, eskualde mailakoaz ere gehitu nahi ditugu. Orain arte igo ditugun datuak estatu mailakoak dira. Horrek datu kopuru ikaragarria uzten du bildu gabe, izan ere munduan Portugal, Espainia edo Frantzia bezalako estatuak 250 inguru dira munduan, baina Eusko Autonomi Erkidegoa edo Nafar Foru Erkidegoa bezalako eremu administratiboak 4.000 pasa dira.

Maila lokaleko datuak ere igo ahal izango dira Wikimediara guk sortutako tresnekin. Baina Euskal Herri osoko datu estatistikoak biltzea ez da erraza, hainbat erakunde ofizialen artean oso barreiatuta egoten dira, adibidez, datu meteorologikoak bildu genituen 2023an eta lau erakundetako datuekin aritu behar izan ginen (ikus: Datu-meteorologikoak-wikipedian-eta-wikidatan). Gaindegia elkartea Euskal Herri osoko datuak biltzen saiatzen denez, Gaindegik eskaintzen dituen datuekin lan egitea nahiko genuke.