Astuces

Détails: 28 avril 2025; 89605

Pandas is an excellent Python librarie to manage data. Matplotlib allows to create advanced charts and Openpyxl is very usefull to read/write Excel files. These 3 tools, combined with other classic Python features, allow to do data analysis and engineering.

First install or check Python and Pip, then the 3 libraries:

pip install pandas
pip install matplotlib
pip install openpyxl

Data management with Python, Pandas, Geopandas, Sqlachemy, Matplotlib and Openpyxl

Détails: 26 avril 2025; 556

Sous Windows, pour utiliser efficacement psql, shp2pgsql, pgsql2shp, ogr2ogr... Et après avoir installé QGIS (car il embarque GDAL/OGR et PROJ), et/ou MySQL, et/ou Postgres, il faudra sans doute préciser quelques variables d'environnement.

Ceci pour que Windows, et vous, puissiez accéder à ces outils en ligne de commande. Lignes de commande que vous pourrez ensuite inclure dans votre langage de programmation préféré (Python, PHP, Java...), permettant donc des combos très puissants.

À savoir 🙂

Préférez l'installation classique de QGIS (à l'architecture plus claire il me semble), et non pas l'installateur réseau OSGeo4W (à l'architecture plus complexe). De plus les versions QGIS 3.28.X me semblent avoir une architecture plus simple à comprendre pour identifier les différentes librairies (par rapport aux versions 3.34.X par exemple).
Plusieurs versions de Python, Pip et QGIS peuvent co-exister sur votre machine (et co-existeront probablement, lol).
Selon les versions de QGIS, les chemins peuvent avoir changé, c'est à vous de les identifier avant de les utiliser dans les variables d'environnement. Les exemples ci-dessous s'inspirent de QGIS 3.28.13 sur Windows 11.
Plus bas dans cet article, un script Python peut vous aider à identifier les chemins des librairies et à vérifier leurs bons ajouts dans vos variables d'environnement.
Très généralement, Pip est déjà embarqué dans le Python de QGIS (et donc déjà disponible depuis le shell d'OSGeo, mais pas nativement depuis celui de Windows).
Pour une modification soit prise en compte, il faudra fermer toutes les fenêtes qui vous ont permis d'accéder aux variables d'environnement. Il faudra aussi relancer le shell Windows (l'invite de commandes), afin de prendre en compte certaines modifications des variables d'environnement.
Si vous avez déjà installé Postgres, il est possible que certaines variables liées à GDAL/OGR et PROJ aient déjà été créées, mais nous allons ici préférer les versions de QGIS, plus claires, modifiez donc les éventuelles variables existantes.
On ne touchera ici qu'aux variables système.

GDAL/OGR

Créez une variable GDAL_DATA avec une valeur ressemblant à ces exemples :

C:\Program Files\QGIS [version]\apps\gdal\share\gdal

C:\QGIS [version]\share\gdal

Créez une variable GDAL_DRIVER_PATH avec une valeur ressemblant à ces exemples :

C:\Program Files\QGIS [version]\apps\gdal\lib\gdalplugins

C:\QGIS [version]\bin\gdalplugins

Créez une variable PROJ_LIB avec une valeur ressemblant à ces exemples :

C:\Program Files\QGIS [version]\share\proj

C:\QGIS [version]\share\proj

Ajoutez dans la variable système Path quelque chose comme :

C:\Program Files\QGIS [version]\bin

C:\QGIS [version]\bin

À ce stade, vous devriez pouvoir lancer cette commande dans le shell Windows (l'invite de commandes, après l'avoir relancé s'il était déjà ouvert) :

ogr2ogr.exe --version

Bien, si cela affiche la version de GDAL/OGR, vous allez pouvoir l'utiliser en ligne de commande !

Installateur réseau OSGeo4W

Seulement si QGIS a été installé via l'installateur réseau OSGeo4W (mais j'ai constaté des bugs, ou du moins des difficultés, préférez l'installation classique de QGIS en stand-alone, et donc les variables décrites au-dessus) :

GDAL_DATA = C:\OSGeo4W\share\gdal

GDAL_DRIVER_PATH = C:\OSGeo4W\bin\gdalplugins

MySQL

Éventuellement pour MySQL, ajoutez dans la variable système Path quelque chose comme :

C:\Program Files\MySQL\MySQL Server [version]\bin

À ce stade, vous devriez pouvoir lancer une commande similaire à celle-ci dans le shell Windows (l'invite de commandes, après l'avoir relancé s'il était déjà ouvert, et après avoir mis vos accès) :

ogrinfo MYSQL:"my_db,user=root,password=root,port=3306"

Bien, si cela liste les tables présentes dans votre base de données, vous allez pouvoir l'utiliser en ligne de commande et interagir avec GDA/OGR !

Et la variante pour pointer sur une base de données distante (host) :

ogrinfo MYSQL:"my_db,user=root,password=root,port=3306,host:11.111.11.11"

Postgres

Éventuellement pour Postgres et PSQL, ajoutez dans la variable système Path :

C:\Program Files\PostgreSQL\[version]\bin

Ensuite il est courant d'accorder la confiance à son poste local, ce qui simplifiera les lignes de commandes. Pour cela trouvez le fichier pg_hba.conf, qui se trouve dans le répertoire data de votre version de Postgres, ce qui dépendra donc de votre version mais aussi du choix que vous avez fait à l'installation, exemples :

C:\Program Files\PostgreSQL\[version]\data\pg_hba.conf

[disque dur]:\[répertoire customisé]\pg_hba.conf

Ouvrez-le et cherchez la chaîne IPv6 local connections, ou scram-sha-256 (vers la fin du fichier sans doute), et modifiez la METHOD comme suit (scram-sha-256 devient trust) :

# IPv6 local connections:
host all all ::1/128 trust

À ce stade, vous devriez pouvoir lancer ces commande dans le shell Windows (après l'avoir relancé s'il était déjà ouvert) :

pgsql2shp

Bien, si cela liste la version de l'outil et quelques exemples de lignes de commande, vous allez pouvoir exporter des shapes depuis Posgtres, avec moult options !

shp2pgsql

Bien, si cela liste la version de l'outil et quelques exemples de lignes de commande, vous allez pouvoir importer des shapes dans Posgtres, avec moult options !

psql -h localhost -p 5432 -d ma_bdd -U mon_user -c "SELECT * FROM ma_table;"

Bien, si cela affiche votre table, vous allez pouvoir manipuler Posgtres en lignes de commande !

Mots de passe Postgres dans les lignes de commande

Et si vous ne souhaitez pas activer trust, mais utiliser le mot de passe Postgres dans vos scripts, alors il faudra le mentionner dans les lignes de commande OGR, exemple :

ogr2ogr -f PostgreSQL PG:"dbname='ma_bdd' host='11.22.333.44.55' port='5432' user='mon_user' password='MonMotDePasse!4564+6!'"...

Ce sera différent pour les lignes de commande utilisant psql, où on le mentionnera en amont sur une variable temporaire durant uniquement le temps de la session :

set PGPASSWORD=MonMotDePasse!4564+6!
psql -h 11.22.333.44.55 -p 5432 -d ma_bdd -U mon_user -c "INSERT INTO ..."

Python

Éventuellement pour Python.

Dans le shell Windows (invite de commandes), vous pouvez d'abord lancer ceci pour vérifier quelles sont les versions de Python existantes sur votre machine :

where python

Puis éventuellement, pour Python, toujours après avoir vérifié que ces chemins existent, et toujours dans la variable Path de vos variables système, ajoutez quelque chose comme :

C:\Users\[user]\AppData\Local\Programs\Python\Python39

Pour lancer Python depuis le shell Windows (invite de commandes) :

python

py

python3

Pip

À l'installation de Pip via le shell Windows (un tutoriel ici), il vous proposera sans doute de se mettre à jour et de l'enregistrer dans la variable Path, faîtes donc, en plus il vous fournira le bon chemin.

Éventuellement, pour Pip et d'autres scripts importants, toujours après avoir vérifié que ces chemins existent, toujours dans la variable Path de vos variables système, ajoutez quelque chose comme :

C:\Users\[user]\AppData\Roaming\Python\Python39\Scripts

Et/ou :

C:\Users\[user]\AppData\Local\Programs\Python\Python39\Scripts

À ce stade, et après avoir redémarré le shell Windows et/ou celui de OSGeo, vous devriez pouvoir y installer des librairies de ces façons par exemple :

python install wikipedia

python -m pip install wikipedia

python -m pip install wikipedia --user

Script Python de vérification

Ci-dessous un petit script Python permettant de vérifier et/ou identifier les chemins :

import os
import sys
from termcolor import colored
 
print(colored('\nGénéral :', 'green'))
print('Utilisateur :', os.getlogin())
cheminUser = os.path.expanduser("~")
print('Chemin HOME :', cheminUser)
print('Encodage défaut :', sys.getdefaultencoding())
 
encoding = os.environ.get("PYTHONIOENCODING")
if encoding:
    print('PYTHONIOENCODING = ' + encoding)
else:
    print('PYTHONIOENCODING n\'est pas défini dans l\'environnement.')
 
print('\nEncodage stdout : ' + sys.stdout.encoding)
print('Encodage stderr : ' + sys.stderr.encoding)
print('Encodage stdin  : ' + sys.stdin.encoding)
 
# for a in os.environ.items():
#     print(a)
 
print(colored('\nEnvironnement général :', 'green'))
for v, p in os.environ.items():
    if v.lower() == 'homepath' or v.lower() == 'appdata' or v.lower() == 'computername':
        print(v + '\n' + p + '\n')
 
print(colored('\nVariables systèmes géomatiques :', 'green'))
for v, p in os.environ.items():
 
    if 'gdal' in v.lower() or 'post' in v.lower() or 'proj' in v.lower() or 'python' in v.lower() or 'qgis' in v.lower() or 'mysql' in v.lower():
 
        print(v + '\n' + p)
 
        if p.startswith('C:'):
            # Vérifier que le chemin existe
            if os.path.isdir(p):
                print(colored('OK, ce chemin existe !\n', 'green'))
            else:
                print(colored('Attention, ce chemin n\'existe pas\n', 'red'))
        else:
            print('')
 
 
print(colored('Variables systèmes géomatiques du PATH :', 'green'))
for v, p in os.environ.items():
    if v.lower() == 'path':
 
        paths = p.split(os.pathsep)
        for i, c in enumerate(paths, start=1):
 
            if 'gdal' in c.lower() or 'post' in c.lower() or 'proj' in c.lower() or 'python' in c.lower() or 'qgis' in c.lower() or 'mysql' in c.lower():
 
                print(str(i) + '\n' + c)
 
                # Vérifier que le chemin existe
                if os.path.isdir(c):
                    print(colored('OK, ce chemin existe !\n', 'green'))
                else:
                    print(colored('Attention, ce chemin n\'existe pas\n', 'red'))
 
 
print(colored('Le/les exécuteur(s) Python du/des QGIS :', 'green'))
for v, p in os.environ.items():
    if v.lower() == 'path':
 
        paths = p.split(os.pathsep)
        for i, c in enumerate(paths, start=1):
 
            if 'qgis' in c.lower() and 'bin' in c.lower() :
                qgisBinDir = os.listdir(c)
                print(c)
 
                for f in qgisBinDir:
                    if 'python' in f.lower() and '.bat' in f.lower() and 'grass' not in f.lower():
                        print(f + ' (' + c + ')')
 
                print(colored('\nLes répertoires des providers :', 'green'))
                for (dirpath, dirnames, filenames) in os.walk(c.replace('\\bin', '')):
 
                    if dirpath.endswith('python\plugins'):
 
                        print(dirpath)
 
cheminScriptsPython = cheminUser + '\AppData\Roaming\QGIS\QGIS3\profiles\default\processing\scripts'
 
# Vérifier que le chemin existe
if os.path.isdir(cheminScriptsPython):
    print(colored('\nOK, le chemin des scripts Python existe :', 'green'))
    print(cheminScriptsPython)
else:
    print(colored('\nAttention, le chemin des scripts Python n\'existe pas !', 'red'))

Divers

Dans cet autre article se trouve un chapitre sur l'installation de modules Python tiers dans QGIS (depuis le Pip du shell d'OSGeo).

Dans cet autre article se trouve une série de pratiques pour traiter des données avec Python, Pandas, Geopandas... y compris dans des BDD SQL, y compris avec une composante géographique.

Détails: 24 mars 2025; 5747

MS Excel/Access is enought supported, so I would list only specific cases which took me more than 1 minute to solve.

Excel

Find "?"

~?

AltGr+2é x2 then delete

Find `\n`

Ctrl+J

Access

Get the first letter from each word in upper case in a query (Title Case)

Get the first letter from each word in upper case and the remaining in lower case is easy with Excel (=PROPER), but with Access I searched for a long time ...

StrConv([field],3)

TitleCase:UCASE(LEFT([country];1))&LCASE(RIGHT([country];LEN([country])-1))

Microsoft Excel/Access tips

Détails: 23 janvier 2025; 8941

Some PyQGIS tips, from the most common to the most practical, to learn or optimize your use of QGIS with Python.

PyQGIS

Détails: 10 décembre 2024; 10171

Les permissions

Les permissions des fichiers et dossiers (CHMOD, abréviation de Change Mode) recommandées sur Joomla (ou d'autres applications PHP) dépendent en partie des hébergeurs.

Un même droit est parfois interprêté différemment selon l'hébergeur (déjà vu), une même application requiert parfois différents droits selon l'hébergeur. Certains serveurs vont automatiquement bloquer certains droits sur certains contenus.

Mais quand un site commence à être mature, il subit de moins en moins de modifications structurelles. On peut alors fermer certaines portes - comme on fermerait l'accès au compteur électrique - et mettre en place une politique des moindres privilèges.

La mise en place d'une politique des moindres privilèges doit être suivie de tests et d'une communication fine avec son hébergeur. Il n'y a rien d'exhautif et rien de parfait, n'hésitez pas à modifier progressivement les permissions vers le bas selon vos propres observations. Il s'agit de fermer au maximum, puis de ne ré-ouvrir que le strict nécessaire.

Sécurité Joomla

Détails: 24 septembre 2024; 77127

Acymailing est une extension Joomla permettant de mettre en place des outils newsletter du plus simple au plus puissant (filtres, vitesses d'envoi, tracking, stats, relai SMTP...). Ce système open-source existe en version gratuite (déjà très performante) ou payante (très abordable). L'extension peut bien sûr être overridée.

Cependant son développement régulier rend l'utilisation des overrides plus lourd que la modification directe du code source. En effet dans certains contextes (multi-utilisateurs, multi-bases, flotte d'outils...), les overrides risquent d'être complexes à maintenir dans le temps.

C'est en tout cas mon impression en utilisation intensive d'Acy. Certaines MAJ peuvent toucher les fichiers originaux et ne pas être prises en compte dans vos overrides... Mieux vaut donc connaître un minimum le code de l'extension et avoir quelques repères.

Ici quelques notes personnelles me permettant de maintenir facilement mes outils. Rappellons l'ancien forum encore en ligne d'où proviennent certaines de ces astuces (le support a évolué vers un système plus personnalisé).

Cet article est principalement destiné aux joomlistes avancés souhaitant personnaliser ou optimiser leurs applications newsletter.

Le paragraphe Quelques liens s'adresse généralement à tous webworkers digitaux (marketeurs, intégrateurs, graphistes...).

Le paragraphe Relai SMTP évoque le relai Elastic Email en contexte de mass sending.

Et non, je ne travaille pas pour eux.

Acymailing, mass sending et bonnes pratiques

Page 1 sur 4

Menu

Data management with Python, Pandas, Geopandas, Sqlachemy, Matplotlib and Openpyxl

Variables d'environnement pour la géomatique stand-alone sur Windows

GDAL/OGR

Installateur réseau OSGeo4W

MySQL

Postgres

Mots de passe Postgres dans les lignes de commande

Python

Pip

Script Python de vérification

Divers

Microsoft Excel/Access tips

Excel

Find "?"

Find `\n`

Access

Get the first letter from each word in upper case in a query (Title Case)

PyQGIS

Sécurité Joomla

Les permissions

Acymailing, mass sending et bonnes pratiques

Menu

Data management with Python, Pandas, Geopandas, Sqlachemy, Matplotlib and Openpyxl

Variables d'environnement pour la géomatique stand-alone sur Windows

GDAL/OGR

Installateur réseau OSGeo4W

MySQL

Postgres

Mots de passe Postgres dans les lignes de commande

Python

Pip

Script Python de vérification

Divers

Microsoft Excel/Access tips

Excel

Find "?"

Find \n

Access

Get the first letter from each word in upper case in a query (Title Case)

PyQGIS

Sécurité Joomla

Les permissions

Acymailing, mass sending et bonnes pratiques

Find `\n`