Contenus web
Vous vous rappelez l'encart de texte au sujet du Massif des Écrins, accompagnant la carte que nous avons générée plus haut ? En dur dans le code, nous l'avons volontairement mis de côté au moment de générer nos cartes en série. En effet afficher toujours le même texte dans nos 341 cartes n'avait pas d'intérêt.
Et bien nous allons maintenant enrichir nos cartes avec des contenus dynamiques, en lien avec les données cartographiées, qui iront remplir cet encart de texte. Et nous irons chercher ces contenus sur le web.
Plusieurs méthodes existent, APIs et web-scraping notamment, souvent avec l'utilisation de fichier JSON ou XML.
- Note personnelle : ici prévoir exposé sur les APIs
Il nous faudra donc faire un lien avec nos données, et ce de façon dynamique bien sûr.
Dans ce chapitre, nous ferons nos tests directement depuis la console Windows, ouvrez donc la console Python dans l'interface de commande Windows (CMD + python
).
Pip
Petite parenthèse : Pip est un installateur d'extensions pour Python, vous allez sans doute devoir vous y intéresser, et lui-même l'installer pour la suite de ce tutoriel. Je vous laisse faire.
Module requests
Si besoin d'installer requests (dans le shell Windows, pas Python) :
pip install requests
XML OSM
Exemple de lien vers le fichier XML de la base de données OSM, suffixé par l'id OSM (que justement, nous possèdons pour tous nos sommet) :
import requests MyOsmId = '582066938' r = requests.get("https://www.openstreetmap.org/api/0.6/node/"+MyOsmId) print(r.text)
Notez l'importation nécessaire du module en haut de fichier.
Clé-valeur
Nos sommets n'ont pas de donnée attributaire sur leur altitude. Mais il semble que les XML d'OSM la connaissent ! En effet le fichier contient un tableau associatif avec un ensemble de clé-valeur dont ele
(elevation en anglais).
Nous allons parser le fichier XML afin de récupérer l'altitude dans une jolie variable.
Parsing
Grâce à une condition if
, nous allons récupérer l'altitude, à condition que le fichier XLM contienne le tag ele
, sinon nous n'affichons rien.
import requests import xml.etree.ElementTree MyOsmId = '582066938' r = requests.get("https://www.openstreetmap.org/api/0.6/node/"+MyOsmId) root = xml.etree.ElementTree.fromstring(r.content) for child in root.iter('tag'): if child.attrib['k'] == 'ele': print (child.attrib['v']+" mètres")
Nous sommes donc capable de récupérer l'altitude, bien, maintenant utilisons-là dans le titre de nos cartes générées :
import datetime import requests import xml.etree.ElementTree mylayer = QgsProject.instance().mapLayersByName("peaks")[0] ... for feat in mylayer.getFeatures(): ... # Récupérer altitude sur API OSM r = requests.get("https://www.openstreetmap.org/api/0.6/node/"+id_peak) root = xml.etree.ElementTree.fromstring(r.content) for child in root.iter('tag'): if child.attrib['k'] == 'ele': altitude = ", "+child.attrib['v']+" mètres" # Titre title = QgsLayoutItemLabel(layout) title.setText(layoutName+altitude) title.setFont(QFont("Verdana", 28)) title.adjustSizeToText() layout.addLayoutItem(title) title.attemptMove(QgsLayoutPoint(5, 4, QgsUnitTypes.LayoutMillimeters)) ...
Précédé d'une virgule, notre variable altitude
n'a plus qu'à aller se concaténer à la suite de notre variable layoutName
dans le titre de nos cartes. Ainsi les enregistrements pour lesquels nous ne connaissons pas l'atitude n'afficheront pas de caractère inopportun à la suite du titre.
- Note personnelle : on pourrait aller plus loin en ajoutant dans les sources des cartes le nom du contributeur OSM ayant saisi ou modifié l'entité sommitale cible.
Encodage
Il serait bon d'encoder notre caractère spécial è
dans le mot mètres, car ici il est affiché en tant que pure chaîne, et dans certains cas spéciaux nous pourrions avoir de mauvaises suprises.
import html ... altitude = ", "+child.attrib['v']+html.unescape(" mètres") ...
- Note personnelle : faire aussi l'encodage du fichier lui-même, et parler de l'encodage des fichiers Python.
Wikidata
Certains sommets possèdent un id Wikidata (dans le champ OTHER_TAGS). Exemple de lien vers donnée Wikidata, suffixé par un id Wikidata :
Pour tester, allez chercher le contenu d'une page page HTML d'osm.wikidata.link :
import requests r = requests.get("https://osm.wikidata.link/Q726652") print(r.text)
Un peu lent mais bien fourni. Les page wikidata.org se prêtent tout de même mieux au web-scraping (les contenus y sont mieux organisés, à l'intérieur de jolies balises).
Module requests-html
Si besoin, installez requests-html (dans le shell Windows, pas Python) :
pip install requests-htmlPour une installation à l'université de Cergy (Python 2) :
py -m pip install requests-html
Récupérer des données Wikipédia
Les contenus y sont si bien organisé que nous allons pouvoir récupérer le lien vers la page Wikipédia du sommet, et même cibler celle en français.
Dans la console Python de Windows :
import requests from requests_html import * session = HTMLSession() MyWikiId = 'Q726652' r = session.get("https://www.wikidata.org/wiki/"+MyWikiId) my_content = r.html.find('.wikibase-sitelinkview-link-frwiki a', first=True) #print(my_content) my_link = my_content.xpath('//a/@href') print(my_link)
Nous nettoyons ensuite le lien pour le rendre utilisable par le module requests :
import requests from requests_html import * session = HTMLSession() MyWikiId = 'Q726652' r = session.get("https://www.wikidata.org/wiki/"+MyWikiId) my_content = r.html.find('.wikibase-sitelinkview-link-frwiki a', first=True) #print(my_content) my_link = my_content.xpath('//a/@href') #print(my_link) my_link_string = str(my_link).replace('[', "").replace(']', "").replace("'", "") print(my_link_string) r2 = session.get(my_link_string) print(r2.text)
Mais c'est finalement les pages Wikipédia dont les contenus ne sont plus suffisament bien organisés... Ce serait sans doute tout de même possible en multipliant les conditions, mais pas très efficace.
La bibliothèque (library) wikipedia de Python
Essayons avec la bibliothèque wikipedia de Python, faîte expressément pour ça !
Si besoin de l'installer (dans le shell Windows, et non Python) :
pip install wikipediaPour une installation à l'université de Cergy (Python 2) :
py -m pip install wikipedia
Et maintenant dans la console Python de l'invite de commande Windows :
import wikipedia wikipedia.set_lang("fr") w = wikipedia.summary("Aiguille Dibona", sentences=3) my_page = wikipedia.page("Aiguille Dibona") #print (my_page.url) print (w)
Héhé, c'est bien plus simple hein ?
Installation de modules Python dans QGIS
Mais nous avons un problème. En effet la bibliothèque wikipedia de Python n'est pas forcément accessible depuis QGIS, même si vous l'avez déjà installé sur Windows.
Testez la seule importation du module wikipedia depuis la console Python de QGIS pour en avoir le cœur net.
import wikipedia
Cela tient à ce que la version de Python utilisée par QGIS n'est pas exactement la même, puisque sous Windows QGIS embarque sa propre installation de Python.
Pour installer un module tierce, il vous faudra passer par le shell d'OSGeo4W. Suivez ce tutoriel pour installer un module sur la version de Python utilisée par votre QGIS sous Windows.
Dans le shell d'OSGeo4W :
py3_env
python -m pip install wikipedia
Pour une installation à l'université de Cergy (droits administrateur)
python -m pip install wikipedia --user
Une fois la bibliotheque wikipedia installée, les codes précédents exécuté depuis QGIS fonctionneront également.
Bien, nous n'avons plus qu'à l'adapter à notre code de génération de cartes.
Ignorer les exceptions
Nous allons ajouter un mot-clé à notre recherche, pour éviter les contenus sans rapport à certains noms de sommet (recherche textuelle oblige), mais surtout nous mettons la recherche dans un try
, afin d'ignorer les erreurs quand la recherche ne trouve rien.
Nous prendrons les 1ères phrases de la page (sentences
) ainsi que le lien URL lui-même.
Nous ajoutons également une comparaison in
afin de vérifier la pertinence du résultat. En effet nous cherchons ici à partir de simples mots-clés dans le moteur de recherche de Wikipédia, et les résulats peuvent parfois être surprenants.
import datetime import requests import xml.etree.ElementTree import wikipedia mylayer = QgsProject.instance().mapLayersByName("peaks")[0] ... for feat in mylayer.getFeatures(): ... peak_name = feat['NAME'] ... layoutName = str(peak_name) ... # Récupérer le résumé Wikipédia try: wikipedia.set_lang("fr") myWikiContent = wikipedia.summary("massif des Écrins "+layoutName, sentences=2) my_page = wikipedia.page(layoutName) myWikiLink = my_page.url # Verifier la pertinence du resultat if layoutName.lower() in str(myWikiContent).lower(): None else: myWikiContent = "" myWikiLink = "" except Exception: pass ...
- Note personnelle : la recherche et la comparaison peuvent être améliorées, elle semble ne pas marcher dans certains cas (sommet de l'Ourson par exemple...).
Condition
Puis nous mettons le texte dans une condition if else
avant d'afficher le texte. Peut-être pas nécessaire mais évite d'encombrer la carte avec des blocs vides.
Le contenu du texte est maintenant une concaténation de nos nouvelles variables :
... #Texte if myWikiContent is None: None else: TextCustom = QgsLayoutItemLabel(layout) TextCustom.setText(myWikiContent+"\n\n"+myWikiLink) TextCustom.setFont(QFont("Verdana", 11)) layout.addLayoutItem(TextCustom) TextCustom.attemptMove(QgsLayoutPoint(230, 100, QgsUnitTypes.LayoutMillimeters)) TextCustom.attemptResize(QgsLayoutSize(60, 100, QgsUnitTypes.LayoutMillimeters)) ...
Code complet pour générer les cartes à partir d'un projet QGIS vide (modifiez les chemins, fonctionne dans l'éditeur Python exclusivement)
- Note personnelle : ajouter une image d'illustration dans les cartes depuis les données Wikidata.