Contenus web

Vous vous rappelez l'encart de texte au sujet du Massif des Écrins, accompagnant la carte que nous avons générée plus haut ? En dur dans le code, nous l'avons volontairement mis de côté au moment de générer nos cartes en série. En effet afficher toujours le même texte dans nos 341 cartes n'avait pas d'intérêt.

Et bien nous allons maintenant enrichir nos cartes avec des contenus dynamiques, en lien avec les données cartographiées, qui iront remplir cet encart de texte. Et nous irons chercher ces contenus sur le web.

Plusieurs méthodes existent, APIs et web-scraping notamment, souvent avec l'utilisation de fichier JSON ou XML.

• Note personnelle : ici prévoir exposé sur les APIs

Il nous faudra donc faire un lien avec nos données, et ce de façon dynamique bien sûr.

Dans ce chapitre, nous ferons nos tests directement depuis la console Windows, ouvrez donc la console Python dans l'interface de commande Windows (CMD + python).

Pip

Petite parenthèse : Pip est un installateur d'extensions pour Python, vous allez sans doute devoir vous y intéresser, et lui-même l'installer pour la suite de ce tutoriel. Je vous laisse faire.

• Tutoriel d'installation de Pip sous Windows

Module requests

Si besoin d'installer requests (dans le shell Windows, pas Python) :

pip install requests

XML OSM

Exemple de lien vers le fichier XML de la base de données OSM, suffixé par l'id OSM (que justement, nous possèdons pour tous nos sommet) :

• https://www.openstreetmap.org/api/0.6/node/582066938

import requests
 
MyOsmId = '582066938'
r = requests.get("https://www.openstreetmap.org/api/0.6/node/"+MyOsmId)
 
print(r.text)

Notez l'importation nécessaire du module en haut de fichier.

Clé-valeur

Nos sommets n'ont pas de donnée attributaire sur leur altitude. Mais il semble que les XML d'OSM la connaissent ! En effet le fichier contient un tableau associatif avec un ensemble de clé-valeur dont ele (elevation en anglais).

Nous allons parser le fichier XML afin de récupérer l'altitude dans une jolie variable.

Parsing

Grâce à une condition if, nous allons récupérer l'altitude, à condition que le fichier XLM contienne le tag ele, sinon nous n'affichons rien.

import requests
import xml.etree.ElementTree
 
MyOsmId = '582066938'
r = requests.get("https://www.openstreetmap.org/api/0.6/node/"+MyOsmId)
root = xml.etree.ElementTree.fromstring(r.content)
 
for child in root.iter('tag'):
    if child.attrib['k'] == 'ele':
        print (child.attrib['v']+" mètres")

Nous sommes donc capable de récupérer l'altitude, bien, maintenant utilisons-là dans le titre de nos cartes générées :

import datetime
import requests
import xml.etree.ElementTree
 
mylayer = QgsProject.instance().mapLayersByName("peaks")[0]
...
for feat in mylayer.getFeatures():
...
    # Récupérer altitude sur API OSM
    r = requests.get("https://www.openstreetmap.org/api/0.6/node/"+id_peak)
    root = xml.etree.ElementTree.fromstring(r.content)
 
    for child in root.iter('tag'):
        if child.attrib['k'] == 'ele':
            altitude = ", "+child.attrib['v']+" mètres"
 
    # Titre
    title = QgsLayoutItemLabel(layout)
    title.setText(layoutName+altitude)
    title.setFont(QFont("Verdana", 28))
    title.adjustSizeToText()
    layout.addLayoutItem(title)
    title.attemptMove(QgsLayoutPoint(5, 4, QgsUnitTypes.LayoutMillimeters))
...

Précédé d'une virgule, notre variable altitude n'a plus qu'à aller se concaténer à la suite de notre variable layoutName dans le titre de nos cartes. Ainsi les enregistrements pour lesquels nous ne connaissons pas l'atitude n'afficheront pas de caractère inopportun à la suite du titre.

• Note personnelle : on pourrait aller plus loin en ajoutant dans les sources des cartes le nom du contributeur OSM ayant saisi ou modifié l'entité sommitale cible.

Encodage

Il serait bon d'encoder notre caractère spécial è dans le mot mètres, car ici il est affiché en tant que pure chaîne, et dans certains cas spéciaux nous pourrions avoir de mauvaises suprises.

import html
...
            altitude = ", "+child.attrib['v']+html.unescape(" mètres")
...

• Note personnelle : faire aussi l'encodage du fichier lui-même, et parler de l'encodage des fichiers Python.

Wikidata

Certains sommets possèdent un id Wikidata (dans le champ OTHER_TAGS). Exemple de lien vers donnée Wikidata, suffixé par un id Wikidata :

• https://osm.wikidata.link/Q726652
• https://www.wikidata.org/wiki/Q726652

Pour tester, allez chercher le contenu d'une page page HTML d'osm.wikidata.link :

import requests
r = requests.get("https://osm.wikidata.link/Q726652")
print(r.text)

Un peu lent mais bien fourni. Les page wikidata.org se prêtent tout de même mieux au web-scraping (les contenus y sont mieux organisés, à l'intérieur de jolies balises).

Module requests-html

Si besoin, installez requests-html (dans le shell Windows, pas Python) :

pip install requests-html

Pour une installation à l'université de Cergy (Python 2) :
py -m pip install requests-html

Récupérer des données Wikipédia

Les contenus y sont si bien organisé que nous allons pouvoir récupérer le lien vers la page Wikipédia du sommet, et même cibler celle en français.

Dans la console Python de Windows :

import requests
from requests_html import *
 
session = HTMLSession()
 
MyWikiId = 'Q726652'
r = session.get("https://www.wikidata.org/wiki/"+MyWikiId)
 
my_content = r.html.find('.wikibase-sitelinkview-link-frwiki a', first=True)
#print(my_content)
 
my_link = my_content.xpath('//a/@href')
print(my_link)

 Nous nettoyons ensuite le lien pour le rendre utilisable par le module requests :

import requests
from requests_html import *
 
session = HTMLSession()
 
MyWikiId = 'Q726652'
r = session.get("https://www.wikidata.org/wiki/"+MyWikiId)
my_content = r.html.find('.wikibase-sitelinkview-link-frwiki a', first=True)
 
#print(my_content)
my_link = my_content.xpath('//a/@href')
 
#print(my_link)
 
my_link_string = str(my_link).replace('[', "").replace(']', "").replace("'", "")
print(my_link_string)
 
r2 = session.get(my_link_string)
 
print(r2.text)

Mais c'est finalement les pages Wikipédia dont les contenus ne sont plus suffisament bien organisés... Ce serait sans doute tout de même possible en multipliant les conditions, mais pas très efficace.

La bibliothèque (library) wikipedia de Python

Essayons avec la bibliothèque wikipedia de Python, faîte expressément pour ça !

Si besoin de l'installer (dans le shell Windows, et non Python) :

pip install wikipedia

Pour une installation à l'université de Cergy (Python 2) :
py -m pip install wikipedia

Et maintenant dans la console Python de l'invite de commande Windows :

import wikipedia
 
wikipedia.set_lang("fr")
w = wikipedia.summary("Aiguille Dibona", sentences=3)
 
my_page = wikipedia.page("Aiguille Dibona")
 
#print (my_page.url)
print (w)

Héhé, c'est bien plus simple hein ?

Installation de modules Python dans QGIS

Mais nous avons un problème. En effet la bibliothèque wikipedia de Python n'est pas forcément accessible depuis QGIS, même si vous l'avez déjà installé sur Windows.

Testez la seule importation du module wikipedia depuis la console Python de QGIS pour en avoir le cœur net.

import wikipedia

Cela tient à ce que la version de Python utilisée par QGIS n'est pas exactement la même, puisque sous Windows QGIS embarque sa propre installation de Python.

Pour installer un module tierce, il vous faudra passer par le shell d'OSGeo4W. Suivez ce tutoriel pour installer un module sur la version de Python utilisée par votre QGIS sous Windows.

Dans le shell d'OSGeo4W :

py3_env

python -m pip install wikipedia

Pour une installation à l'université de Cergy (droits administrateur)
python -m pip install wikipedia --user

Une fois la bibliotheque wikipedia installée, les codes précédents exécuté depuis QGIS fonctionneront également.

Bien, nous n'avons plus qu'à l'adapter à notre code de génération de cartes.

Ignorer les exceptions

Nous allons ajouter un mot-clé à notre recherche, pour éviter les contenus sans rapport à certains noms de sommet (recherche textuelle oblige), mais surtout nous mettons la recherche dans un try, afin d'ignorer les erreurs quand la recherche ne trouve rien.

Nous prendrons les 1^ères phrases de la page (sentences) ainsi que le lien URL lui-même.

Nous ajoutons également une comparaison in afin de vérifier la pertinence du résultat. En effet nous cherchons ici à partir de simples mots-clés dans le moteur de recherche de Wikipédia, et les résulats peuvent parfois être surprenants.

import datetime
import requests
import xml.etree.ElementTree
import wikipedia
 
mylayer = QgsProject.instance().mapLayersByName("peaks")[0]
    ...
    for feat in mylayer.getFeatures():
    ...
    peak_name = feat['NAME']
    ...
    layoutName = str(peak_name)
    ...
    # Récupérer le résumé Wikipédia
    try:
        wikipedia.set_lang("fr")
        myWikiContent = wikipedia.summary("massif des Écrins "+layoutName, sentences=2)
 
        my_page = wikipedia.page(layoutName)
        myWikiLink = my_page.url
 
        # Verifier la pertinence du resultat
        if layoutName.lower() in str(myWikiContent).lower():
            None
    else:
        myWikiContent = ""
        myWikiLink = ""
 
    except Exception:
        pass
    ...

• Note personnelle : la recherche et la comparaison peuvent être améliorées, elle semble ne pas marcher dans certains cas (sommet de l'Ourson par exemple...).

Condition

Puis nous mettons le texte dans une condition if else avant d'afficher le texte. Peut-être pas nécessaire mais évite d'encombrer la carte avec des blocs vides.

Le contenu du texte est maintenant une concaténation de nos nouvelles variables :

  ...
  #Texte
    if myWikiContent is None:
        None
    else:
        TextCustom = QgsLayoutItemLabel(layout)
        TextCustom.setText(myWikiContent+"\n\n"+myWikiLink)
        TextCustom.setFont(QFont("Verdana", 11))
        layout.addLayoutItem(TextCustom)
        TextCustom.attemptMove(QgsLayoutPoint(230, 100, QgsUnitTypes.LayoutMillimeters))
        TextCustom.attemptResize(QgsLayoutSize(60, 100, QgsUnitTypes.LayoutMillimeters))
    ...

Code complet pour générer les cartes à partir d'un projet QGIS vide (modifiez les chemins, fonctionne dans l'éditeur Python exclusivement)

• Note personnelle : ajouter une image d'illustration dans les cartes depuis les données Wikidata.