Vés al contingut

Tema de Viquipèdia:La taverna/Propostes

Llistes automàtiques de topònims de municipis

38
Isidre blanc (discussiócontribucions)

Després del debat del Tema:Vz8akdoqx6eft63d em vaig proposar fer una llista automàtica de topònims per cada municipi. D'això ja fa sis mesos. No em pensava que seria tan feixuc: durant aquest mig any només he sigut capaç de fer una cinquantena de llistes: les de tots els municipis de la Segarra i del Solsonès i unes quantes més de les comarques dels voltants. M'agrada deixar les coses ben endreçades i, per fer-ho, cal dedicar-hi molt temps. Per exemple: en la llista de Navès hi vaig esmerçar tres setmanes.

Fins ara, aquestes llistes no les he publicat fins que han estat ben repassades. Però si continuo així, no acabaré mai. Per aquest motiu el que suggereixo és crear les llistes i publicar-les amb les dades que actualment hi ha a WD, sense repassar res, tal com he fet a Llista de topònims de Fígols i Alinyà i Llista de topònims d'Abella de la Conca. Fent-ho així, probablement tindré enllestides les llistes de tots els municipis de Catalunya en tres o quatre mesos. Després vindrà la feinada de repassar les dades: vegeu, per exemple, a la Llista de topònims d'Abella de la Conca#masia la quantitat de fotos que encara no estan categoritzades a Commons. Paucabot, Pere prlpz, Medol i altres interessats, què us sembla?

Aquestes llistes estan pensades perquè no es perdin i es puguin consultar les dades dels microarticles o esborranys que tenen la sentència de ser fusionats. Per això recomano que els editors que "executin" aquestes fusions passin primerament totes les dades possibles a WD i després redirigeixin a la llista de topònims corresponent (si existeix). A tall d'exemple vegeu com ho va fer Amortres a una masia de Pinós

Amadalvarez i Pere: En aquestes llistes tinc indicat que el bot d'actualització les executi cada trenta dies. Crec que no funciona. Pot representar un problema greu de manteniment. En sabeu quelcom?

Antecedents relacionats: Tema:Wat8guqcq96ytwco Tema:Tgkf0t5m8rmo3w76

Pere prlpz (discussiócontribucions)

Sobre el ListeriaBot, la meva impressió és que passa quan vol, que de vegades vol dir molt sovint i de vegades vol dir mai, que això no sembla tenir relació amb com de sovint canvien les dades a Wikidata, i que si es vol tenir actualitzada una llista no hi ha més remei que prémer el botonet a mà.

Sobre publicar les llistes abans d'haver acabat de repassar les dades a Wikidata, l'únic problema pràctic que hi veig és si el que falta repassar són errors importants, perquè aleshores publicaríem una llista amb aquests errors i potser val més evitar-ho. Si el que s'ha de repassar és només que les dades són incompletes (hi falten topònims) aleshores crec que no és problema, i més perquè els que falten tendeixen a ser menys importants que els que ja hi ha. Jo també he estat temptat de publicar les llistes de masies amb les dades que hi ha ara a Wikidata abans d'haver-hi pujat tots els edificis que pugui i un dels motius per no fer-ho és pràctic, que és que vaig al límit del nombre de masies que caben en una llista automàtica (funcionant bé) i si publico una llista massa aviat pot ser que després l'hagi de dividir, però crec que això no t'afecta amb els topònims.

Sobre les fusions i redireccions, crec que hi ha dues coses problemàtiques:

  • No sempre la llista inclou totes les dades de l'esborrany, i en aquest cas cal veure si la diferència justifica conservar l'article.
  • La redirecció d'un topònim a la llista, en general, no té cap utilitat i més aviat és contraproduent.

Aleshores crec que en la majoria de casos en que l'article d'un topònim quedi redundant amb la llista el que cal fer és proposar-ne l'esborrat. El que no s'ha de fer és aprofitar que hi ha la llista per esborrar-lo dissimuladament dient que es fa una fusió i sense passar per procés que tenim per esborrar pàgines.

A l'exemple d'Ainès no acabo de veure la utilitat de la redirecció ni ara que redirigeix a la llista de topònims, ni quan redirigia al municipi, ni li veuria si redirigís a la llista de masies.

Amadalvarez (discussiócontribucions)

@Isidre blanc Subscric el que diu en Pere sobre la irregularitat del bot. A temporades passa cada dia, tot i tenir una indicació de 30 dies, i després passen mesos sense actuar.

Publicar llistes amb errors no és el mateix que llistes incomplertes. El primer cas s'hauria d'evitar per no confondre els lectors; el segon cas em sembla totalment permissible i convida a que sigui ampliat per qui ho vegi i passi per WD a deixar la seva aportació.

Et felicito per la bona i ingrata feina que fas !. Salut !!

Amadalvarez (discussiócontribucions)

@Isidre blanc Per si t'ajuda a treballar per visualitzar ràpidament quins continguts manquen i on, t'he creat aquest dashboard. Encara que el codi et soni estrany, s'hi assembla molt al del Listeriabot: un codi pseudo-SPARQL per definir la condició de la selecció (files) i una llista de propietats de les que mostrar la quantitat (columnes), un altre paràmetre li diu quina és la propietat d'agrupació i, per últim, una xifra per sota de la qual no mostrarà el detall, sinó que anirà a parar a "altres".

Es guarda i cal "prémer el botó" per a què generi la llista cada cop que el vulguis veure actualitzat.

Totes les instruccions a {{property dashboard}} . Per algun problema d'instal·lació que haurem de resoldre, no funciona a l'espai VP, per això t'he creat la pàgina a WD.

Isidre blanc (discussiócontribucions)
@Amadalvarez Hi he donat una ullada i dedueixo que:
  • Es tracta dels topònims de Navès Navès (Q1917511).
  • Hi ha 147 ítems amb imatge i el mateix nombre amb categoria a Commons, tal com cal.
  • L'elevació sobre el nivell del mar és normal que no figuri als rius, ja que hi poso les elevacions del naixement i de la desembocadura. També és normal que no surti en algunes masies i edificis que no vaig poder localitzar al mapa de l'ICGC.
  • L'estat de conservació només el poso quan no és bo. Només el podem trobar a ítems d'edificacions (masies, esglésies,etc.)
  • Coordenades: han de figurar en tots els ítems al cent per cent, però en alguns edificis no les vaig poder obtenir.
  • De l'estatus patrimonial només podem deduir la quantitat d'ítems que tenen algun model de protecció.
  • Conclusió: tot està correcte.
Crec que he interpretat bé el resultat de l'aplicació. No sé si en faré gaire ús, però de moment t'agraeixo la lliçó tan pràctica com totes les que em facilites. Una abraçada (encara amb mascareta).
Amadalvarez (discussiócontribucions)

Certament el cas que he posat era poc útil perquè tu ja havies fet una bona revisió.

És una eina de treball per controlar l'estat de completesa d'un tema sobre el que s'està treballant, però no pretén ser utilitzat com a "producte final". Penso que et serà útil quan comencis a treballar amb un municipi, perquè això d'un cop d'ull ja veus on hi ha mancances i centres l'activitat. Però no sempre s'ha de tenir el 100%.

Isidre blanc (discussiócontribucions)

@Pere prlpz@Amadalvarez Acabo de general la "Llista de topònims de Conca de Dalt" que podeu veure a Usuari:Isidre blanc/proves/WIKIDATA LIST 4 (wikishootme). Sembla que és una llista massa llarga (té més de 1.500 ítems) i, cap al final, em dona l'avís: "S'ha exhaurit el temps assignat per a l'execució d'scripts.S'han passat arguments no vàlids a la funció {{#coordinates:}}: latitud no vàlida". Havia pensat treure la informació de Coordenades, a veure què passa. Posaria una nota al principi de la llista dient que es poden obtenir les coordenades clicant al llapis de la columna de WD. Què n'opineu? Hi ha alguna altra solució?

Pere prlpz (discussiócontribucions)

@Isidre blanc La meva solució és dividir la llista, però no es mala idea deixar córrer les coordenades, especialment si hi ha un mapa. Dividir la llista es podria fer segons la longitud, una llista a l'est de la Pobla de Segur i l'altra a l'oest.

Ara bé, hi acabo de caure que posar les coordenades, en el fons, només és posar un enllaç com https://geohack.toolforge.org/geohack.php?pagename=Llista_de_top%C3%B2nims_de_Bellpuig&language=ca&params=41.625719444444_N_1.0117194444444_E_ amb el text 41° 37′ 33″ N, 1° 00′ 42″ E, i això ho podria fer directament la query sense plantilla. Sortiria una expressió complicada però potser serviria per ajuntar totes les llistes que he hagut de dividir i la feina de dividir les que queden.

Això sí, amb aquest sistema es perdria el mapa desplegable que poses a cada coordenada.

Isidre blanc (discussiócontribucions)
Pere: Si fas alguna llista amb aquest últim sistema, fes-m'ho saber per a veure com ho resolts.
Pere prlpz (discussiócontribucions)

Males notícies. Estric provant de fer la consulta de la latitud i la longitud de les masies del Segrià (unes 2200), i li falta temps tot i no haver-li posat encara que munti l'enllaç. Si no es pot optimitzar d'alguna manera em temo que el meu sistema no funciona per les llistes llargues.

Isidre blanc (discussiócontribucions)

@Pere prlpz@Amadalvarez Tinc dos temes a consultar-vos. Amdós tenen a veure amb la dispersió (no homogeïnatzació) de Instància de (P31) que embolica la visió global de les llistes resultants. Ho podeu constatar a Llista de topònims de Girona.

  • Tema biblioteques: Observeu que a la llista de continguts hi ha set seccions referides a aquest tema. I si aneu a "Misc" en veureu cinc més. Si vull tenir-los agrupats, no tinc altra solució (senzilla) que afegir com a "P31" inicial "Biblioteca", deixant els altres, és clar. És un tema recurrent en les llistes de qualsevol municipi que tingui més d'una biblioteca.
  • Tema de col·leccions d'art: en aquest cas objectes de la col·lecció de la Casa Masó. Crec que cal trobar un comú "P31" per tal d'agrupar tots aquests ítems que es barregen amb els autèntics topònims. A tal fi havia pensat crear l'element nou "Col·lecció Casa Masó" que serviria com a P31 dels ítems actuals. Aquest tema també complica la Llista de topònims de Vilanova i la Geltrú.

Algun consell? Gràcies.

Amadalvarez (discussiócontribucions)

Bon any, @Isidre blanc. Afegir una P31 a les biblios.... NO!. Ja diu que són una biblioteca a la P279 de la P31. Estic fent proves per veure quin impacte té a la resta de casos.

El cas de la casa Masó, et passarà per tots aquells objectes que formin part d'un museu. La solució és excloure els items que tinguin Col·lecció (P195).


Faig una prova

Isidre blanc (discussiócontribucions)
Amadalvarez (discussiócontribucions)

@Isidre blanc Ja tens fora lo de la Masó. Lo de les biblios m'ho haig de mirar, perquè no sé com es fa per a que només et passi el primer valor d'instància. Després ho miro que estava acabant una cosa.

En tot cas, hauràs de pensar a fer una llista d'allò que "no s'ha d'agafar" perquè no són topònims sinó esdeveniments (com els festivals o manifestacions) o són elements no materials com les organitzacions, perquè s'haurien d'excloure directament, o bé dir que és una "llista de coses de Girona"

Pere prlpz (discussiócontribucions)

Diria que el que fa sempre el Listeria és agafar per fer seccions la primera declaració (de la instància, en aquest cas). Canviar l'ordre a Wikidata per millorar una llista no hauria de ser la manera però des que me'n vaig adonar ho he tingut en compte en pujar edificis. Suposo que amb BIND, BOUND, COALESCE o ORDER es podria agrupar i ordenar, però tot complica la consulta i augmenta el risc que s'acabi el temps.

A la majoria de municipis la llista de topònim és força equivalent a la llista de tot, perquè hi ha pocs esdeveniments i organitzacions. En municipis grans on hi ha més coses es complica molt la selecció. Per això l'Isidre que va començar a fer llistes pel seu municipi va poder fer llistes de topònims però jo que vaig començar pel meu vaig tirar cap a fer llistes més concretes (per començar les de masies) perquè fer una llista de topònims de Barcelona ha de ser força complicada, a més de que sortiria una llista massa llarga a causa dels edificis i carrers. Girona i altres ciutats grans estan en un cas intermedi.

I un problema potencial pel futur: el nombre de topònims dels municipis tendirà a augmentar. Si augmenta més ràpid que el nombre de plantilles que poden cabre en una pàgina sense que peti res, pot ser que tinguem problemes.

Amadalvarez (discussiócontribucions)

D'acord amb el @Pere prlpz. Cal canviar el focus, ja què, a més del que diu, les seccions només les fa amb propietats, no amb variables calculades dins el codi.

Ho sento @Isidre blanc.

Pere prlpz (discussiócontribucions)

Tens raó. El que jo proposava de fer servir BIND, BOUND o COALESCE per fer seccions no serveix, i no sé si la declaració que agafa per fer seccions canvia ordenant la consulta, però em temo que no.

Una altra solució pels municipis grans pot ser definir nosaltres les seccions i dins de cada secció fer una llista automàtica amb la seva pròpia consulta. Això ens donaria molt més control i facilitaria separar la llista en més d'una pàgina si cal, tot i que també faria més fàcil que se'ns escapessin coses.

Amadalvarez (discussiócontribucions)

Ben vist. Diverses petites.

Ara és més necessari que l'@Isidre blanc pensi que cal incloure per a que quedi rodó.

Isidre blanc (discussiócontribucions)

Haureu observat que estic esquivant les llistes de topònims dels municipis de l'àrea de Barcelona. Les deixo per al final. Soc conscient que no em funcionarà l'aplicació que utilitzo actualment, per les complicacions que descriu més amunt en @Pere. Quan l'@Amador, en la nota anterior, diu "diverses petites", suposo que es refereix a que la solució seria fer una llista automàtica per a cada secció, com insinua en Pere. Com també, afegeixo, es podia fer alguna llista amb diverses seccions, per exemple: carrers, places, etc. Crec que no seria difícil... Però ja en parlarem d'aquí tres o quatre setmanes, quan hi arribi. De moment m'hi vaig acostant.

És evident que a les llistes surten ítems que no són pròpiament topònims. En la gran majoria de municipis no fan nosa, n'hi ha pocs. Però en municipis més grans n'hi ha més i, com comenteu, també penso que s'haurien d'evitar. L'Amador proposa una "llista del que no s'ha d'agafar". No sé com...

Pere prlpz (discussiócontribucions)

Per la llista del que no s'ha d'agafar suposo que una manera és fer una cosa així com:

VALUE ?no {wd:Q*** wd:Q***** (instàncies de coses que no vols)}

MINUS (?item wdt:P31 ?no)

Amadalvarez (discussiócontribucions)

Sí. Lo de diverses petites es refereix a la proposta del Pere per fer una per secció.

La llista de "que no agafar" pensava en decidir-lo per prova-error. Com bé dius, a mida que vas avançant en altres tipus de municipis, vas detectant nous conceptes que poden ser interessant i d'altres que perden pes.

Crec que sense llistar tot el que té Girona, no hauríem vist que certes instàncies convé eliminar-les. Volia dir això, penso que allò que veiem que no interessa en algun cas, també serà extensible a la resta. Així, per exemple, si eliminem les col·leccions, les organitzacions i els esdeveniments a Girona, tampoc faria cap mal eliminar-los de Sort, simplement, no els trobaria.

Respecte al codi a posar, he vist que el Pere ja t'ha donat la resposta.

Isidre blanc (discussiócontribucions)

Sou uns artistes!

Amadalvarez (discussiócontribucions)

L'artista ets tu que has aconseguit documentar pobles i poblets.

Isidre blanc (discussiócontribucions)

@Pere prlpz@Amadalvarez: Fetes les listes de topònims de tots els municipis escepte Barcelona, que deixo per la seva complexitat i perquè probablement estigui suficientment cobert per les llistes de monuments i per la llista de masies del Barcelonès.

Iniciaré ara una nova ronda prioritzant:

  • Categoritzar fotos. N'hi ha moltes pendents.
  • Retocar les instruccions del programa per tal que no surtin a les llistes les "instancies de coses que no vull". Pere: he fet una prova a la Llista de topònims de Cervera però segurament no ho fet bé, ja que continuen sortint coses que no vull. Arregla-ho, si us plau.
  • Homogeneitzar tant com pugui les "instancies de ".
  • Revisar el "qué hi enllaça" a cada municipi per tal de redireccionar a les llistes de topònims les pàgines que ara apunten el municipi. Quan vaig començar les llistes, no ho feia.

Si hi ha alguna altra cosa que cregueu que també, de passada, cal que tingui en compte, digueu-m'ho. Gràcies

Pere prlpz (discussiócontribucions)

Bona feina. M'apunto això de la consulta per mirar-m'ho amb més calma, que és una cosa que suposo que va així però no he fet servir gaire.

Amadalvarez (discussiócontribucions)

m'has deixat acollonit. Si fas tot això, que ens quedarà per la resta ?.

Ets un crack !!. Felicitacions.

Pere prlpz (discussiócontribucions)

He fet una edició a la llista de Cervera però sembla que ara el ListeriaBot no funciona i no la puc provar. La deixo com està però algú se n'hauria de recordar de provar-la i si no funciona revertir-la. Crec que el problema era seleccionar amb * i no seleccionar la instància però fins que no ho provem no estarà clar.

Isidre blanc (discussiócontribucions)

Ja he notat que ListeriaBot no va. Quan funcioni ja provaré lo de Cervera i et comentaré com hagi anat.

Isidre blanc (discussiócontribucions)

Pere: No ha anat bé.

Isidre blanc (discussiócontribucions)

@Pere prlpz@Amadalvarez: De moment, per tal d'evitar que surtin a les llistes "items que no vull..." m'ho vaig manegant, amb bastant bon resultat, amb instruccions "MINUS". Concretament, una que em va molt bé és " MINUS { ?item wdt:P31/wdt:P279* wd:Q43229. } " (organització). A Usuari:Isidre blanc/proves/WIKIDATA QUERY resultat de coses que no vull es pot veure tos els ítems de la llista de topònims d'Igualada que aquesta instrucció obvia. Els casos que encara queden els vaig obviant amb "MINUS" més concrets. Probablement no sigui aquest el mètode més acadèmic, però em serveix.

Amadalvarez (discussiócontribucions)

Disculpa el retard a respondre (soc de viatge). Efectivament és la fórmula correcta quan es colen excepcions al conjunt definit. Ara que ja tens molta experiència en tot allò que SÍ vols mostrar, potser es podria fer una prova amb una llista de P31 que vols que es mostrin i treure els MINUS només per comprovar quina via és més eficient. L'inconvenient d'això és que mai sabràs si et perds algun topònim interessant, perquè només mostrarà allò que li demanes estrictament. L'avantatge és que s'homogeneïtzarien les llistes de tots els municipis a les mateixes tipologies. Si t'interessa, et preparo una prova amb la llista que em diguis. Salut !

Pere prlpz (discussiócontribucions)

Només una pega: si fem la llista amb el que sí que volem amb valors de P31, correm el risc que en un futur algú inventi un P31 més concret per alguna cosa (uns turons passin a ser volcans extingits, per exemple) i desapareguin de la llista si no s'hi fa un manteniment continu. Els minus poden ser una mica un pegat, però el risc és el contrari, que sense manteniment hi apareguin coses que no hi havien de ser.

Entre el risc que desapareguin topònims i el de que hi apareguin coses que no són topònims, crec que prefereixo el segon, entre altres coses perquè és més fàcil que no passi desapercebut i algú ho arregli.

Amadalvarez (discussiócontribucions)

Tens raó. Jo parlava del coneixement empíric de l'@Isidre blanc d'allò que és segur i que, alhora, sabem allò que descartem, però el que tu comentes d'una major especificitat o fer servir un equivalent, se'ns escaparia sense detectar-ho. Seguim, doncs amb la fórmula del minus.

Isidre blanc (discussiócontribucions)

Gràcies pels vostres comentaris. Ara vaig més tranquil.

Isidre blanc (discussiócontribucions)

Transcorregut quasi un any i mig, he acabat de revisar, de la forma que vaig dir que faria, les llistes de topònims de tots els municipis de Catalunya, incloses les dels districtes de Barcelona que va fer en @Pere prlpz. Amb menys o més encert, però amb tot l'interès esmerçat. Ara queden les tasques de manteniment...

Amadalvarez (discussiócontribucions)

Ets un campió!. Sovint els projectes ambiciosos es dilueixen per manca de tenacitat. Una qualitat de la que tu has fet una gran exhibició. Felicitacions !!

Isidre blanc (discussiócontribucions)
Resposta a «Llistes automàtiques de topònims de municipis»