HG-map
GIS, dev & data

Menu

  • Blog
  • Tutos
  • Astuces
  • À propos de moi
  • Réalisations
  • Contact
KML Elasticemail Newsletter INSPIRE CHMOD IRIS SPF API QGIS Geoserver SIG SQL Piratage Postgres Centos ArcGIS WFS Framework Chromium Data mining
  • Identifiant oublié ?
  • Mot de passe oublié ?

Quelques regex sur Notepad

Détails
27 mars 2023
41661
  • Database
  • SQL
  • Data mining
  • Web scraping
  • Notepad
  • Regex

Les expressions régulières (regex) sur Notepad++ sont très pratiques pour standardiser un fichier de données avant import par exemple, récupérer des données, corriger des chaînes particulières, avec des conditions, etc...

Ici quelques astuces propres à mon usage personnel.

Quelques regex sur Notepad

Zones de chalandise avec QGIS, Python, l'API ORS et les données OSM, IGN et INSEE

Détails
16 mars 2023
17540
  • Géomatique
  • SQL
  • Géomarketing
  • Zone isochrone
  • Open Street Map
  • Python
  • QGIS
  • API

zones isochrones orsNous allons calculer les zones isochrones à 15 minutes des magasins Décathlon français, et les coupler avec les données géographiques de l'IGN croisées avec les données statistiques de l'INSEE.

L'ensemble formera de supposées zones de chalandise des magasins. Nous verrons aussi quels magasins se cannibalisent ainsi que leur proximité avec des équipements sportifs.

Pour ce faire nous n'utiliserons que des données en open-source, l'API d'openrouteservice, le logiciel libre QGIS et peut-être un peu de code Python.

Zones de chalandise avec QGIS, Python, l'API ORS et les données OSM, IGN et INSEE

Installer Postgres 15 et son extension GIS sous Windows

Détails
14 mars 2023
421

...et afficher quelques données géographiques sous QGIS 

Salut toi ! Prêt à bénéficier de toute la puissance de Postgres 15 ? Tu as bien mis ta ceinture de sécurité ?

Maîtrise tes tremblements, bien compréhensibles face à ce déluge de technologies aux performances abyssales, et prépare-toi à entrer dans un monde nouveau, où l'imagination est la seule limite !

🤖🤟🌐💪🧭🐘

Installer Postgres 15 et son extension GIS sous Windows

Tutoriel avancé QGIS et Python

Détails
13 mars 2023
50978

Qgis3PythonInteropérabilité Python/QGIS - Principaux concepts de Python, indentation, itération, variable, méthode, boucle, fonction, condition, liste, tuple, paramètre, argument, chaîne formatée, importation - Fonctions géométriques - Écriture de fichiers - Fonctions SIG - Génération de cartes - Standalone - Milieu alpin

Sources et liens divers :

  • Tutoriel d'initiation à Python dans QGIS3 (débutant) : http://www.qgistutorials.com/fr/docs/3/getting_started_with_pyqgis.html
  • Blog spécialisé d'Underdark, aka Anita Graser : https://anitagraser.com/
  • Documentation QGIS : https://docs.qgis.org/3.10/en/docs/
  • Documentation Python : https://docs.python.org/fr/3/
  • Documentation ArcGIS/Python : https://desktop.arcgis.com/search/?q=python&language=fr
  • Processing providers and algorithms : https://docs.qgis.org/3.10/en/docs/user_manual/processing_algs/
  • OSMDownloader : https://github.com/lcoandrade/OSMDownloader
  • QuickOSM : https://github.com/3liz/QuickOSM
  • Wikidata : https://www.wikidata.org/
  • Landscape Archaeology : https://landscapearchaeology.org/
  • AppDividend : https://appdividend.com/
  • OpenSourceOptions: https://opensourceoptions.com/
  • webgeodatavore : https://webgeodatavore.com/
  • QGIS StackExchange : https://gis.stackexchange.com

Tutoriel écrit sur QGIS 3.14 'Py' et Python 3.8, mais j'ai pu constater qu'il fonctionne de façon assez similaire sur des versions précédentes, ainsi que sur QGIS 3.16.

Sur des versions plus récentes comme QGIS 3.2 il semble que certaines API n'aient pas encore été portées (wikipedia et wikidata), mais cela ne posera pas de problème pour 99% du tutoriel.

Tutoriel avancé QGIS et Python

Data management with Python, Pandas, Matplotlib and Openpyxl

Détails
10 mars 2023
45435
  • Python
  • Excel
  • matplotlib
  • openpyxl

Pandas logoPandas is an excellent Python librarie to manage data. Matplotlib allows to create advanced charts and Openpyxl is very usefull to read/write Excel files. These 3 tools, combined with other classic Python features, allow to do data analysis and engineering.

First install or check Python and Pip, then the 3 libraries:

pip install pandas
pip install matplotlib
pip install openpyxl

Data management with Python, Pandas, Matplotlib and Openpyxl

Récupération de données sur le web avec PHP

Détails
16 février 2023
34354
  • Database
  • MySQL
  • PHP
  • SQL
  • Web scraping
  • Digital marketing

Retour d'expérience sur la création d'un gentil petit robot récupérateur de données.

Bien entendu il n'y a pas de mauvaises intentions de notre part, nous ne récupérerons que des données publiques, disponibles librement sur des sites internet divers. Il ne s'agit pas de piratage ni d'aucune forme d'intrusion. Soit une forme de web scraping. La récupération automatique de données peut d'ailleurs être utile pour de nombreuses tâches très honorables (statistiques, santé, social...) ou marketing.

Nous travaillerons, dans cet exemple simple, sur un site contenant des données de contacts (email, téléphone, métier...). Certains sites considèrent ce type d'annuaire comme vendeur et mettent en avant la disponibilité de données de contact. 

Nous tairons son nom de domaine, mais prenons l'exemple d'une fiche de contact à l'URL bien lisible :

http://site-indiscret.com/contacts/45988

La forme de l'URL est très standard et se termine par une chaîne numérique. Sans doute un identifiant unique ! C'est le terrain d'action idéal pour un jeune robot récupérateur de données.

Ce site au webmaster un peu pressé sera donc un bon cobaye pour notre 1er bot. Et en modifiant le script final, vous pourrez sans doute l'adapter à vos propres besoins.

Les grandes étapes d'enfantement seront les suivantes :

Récupération de données sur le web avec PHP

  1. Auto submit a form with Python, Selenium and Chromium
  2. Web scraping with Python and BeautifulSoup
  3. Acymailing, mass sending et bonnes pratiques
  4. Cryptage d'emails en MD5 - exemples d'utilisation en marketing digital

Page 1 sur 6

  • 1
  • 2
  • 3
  • 4
  • ...
  • 6

Haut de page

© 2023 HG-Map