Obrint l'organigrama de la Generalitat

Dimecres a la tarda vaig arribar al taller d'Introducció a les Dades Obertes organitzat per la Universitat Oberta de Catalunya dins el BigDataWeek Barcelona. Erem quaranta persones i després d'una presentació d' @jminguillona, l'objectiu era conéixer-nos i compartir idees per crear projectes. Al cap de mitja hora ens haviem trobat tres persones amb un objectiu comú i amb habilitats complementàries.

 Teniem el web de l'organigrama de l'estructura de Govern de la Generalitat, que només dóna accés a una pàgina alhora amb el nom del responsable i no permet relacionar la informació ni re-utilitzar-la. Teniem un pdf amb un organigrama similar, sense cap nom. I teniem moltes preguntes: Quantes secretaries generals o sectorials depenen de cada departament? Quantes direccions generals pengen de cada secretaria? Quantes persones poden considerar-se alts càrrecs? D'aquestes persones, quantes són dones? O quants es diuen Jordi?

 

@tavigon i @sejoska van posar-se a la feina i van començar a crear un script. Un script és la màgia que desxifra el llenguatge en què s'escriuen els webs, la informació amagada per a molts de nosaltres. @tavigon domina la programació, @sejoska coneix una llibreria (un pack de funcions que una altra persona ha programat i ha compartit amb tothom) que pot funcionar.

 Dissabte ens hem tornat a trobar al hackaton de Catalunya Dades Weekend, també organitzat per Catalunya Dades. Hem presentat el projecte als company@s i en El primer intent de fer servir l'script ens ha creat un document amb 52 milions de registres. Tots han dit: “no pot ser, no pot ser, ha fallat alguna cosa!”

Treballant al FabLab de Barcelona

Des de la pàgina de recerca d'organismes del web intentem un altre procediment: activar totes les possibilitats de cerca i copiar els resultats. Amb això hem aconseguit un nou document. Surten 6939 entitats però només tenim el nom i un parell de codis.

Després d'una interessant conversa amb @mvtango sobre l'avió d'Angela Merkel, s'afegeix al nostre grup. S'ha posat a llegir els comentaris dels codis font html i java que van deixar els dissenyadors del web i ha fet enginyeria inversa. Ara ja tenim un document amb 7905 entitats, o branques que pengen de l'arbre de l'organigrama. Hi ha 132 Jordis, 136 Joans i 232 Marias. Anem avançant. Fins demà.

Cupcakes d'una pastisseria innovadora

L'script en python que semblava que no funcionava perquè entrava en un bucle sí funciona! Està baixant la informació que relaciona les diverses entitats amb l'entitat de que depenen. 

Fins demà!