Détails
Affichages : 2493

Retour d'expérience sur la création d'un gentil petit robot récupérateur de données.

Bien entendu il n'y a pas de mauvaises intentions de notre part, nous ne récupérerons que des données publiques, disponibles librement sur des sites internet divers. Il ne s'agit pas de piratage ni d'aucune forme d'intrusion. Soit une forme de web scraping. La récupération automatique de données peut d'ailleurs être utile pour de nombreuses tâches très honorables (statistiques, santé, social...) ou marketing.

Nous travaillerons, dans cet exemple simple, sur un site contenant des données de contacts (email, téléphone, métier...). Certains sites considèrent ce type d'annuaire comme vendeur et mettent en avant la disponibilité de données de contact. 

Nous tairons son nom de domaine, mais prenons l'exemple d'une fiche de contact à l'URL bien lisible :

http://site-indiscret.com/contacts/45988

La forme de l'URL est très standard et se termine par une chaîne numérique. Sans doute un identifiant unique ! C'est le terrain d'action idéal pour un jeune robot récupérateur de données.

Ce site au webmaster un peu pressé sera donc un bon cobaye pour notre 1er bot. Et en modifiant le script final, vous pourrez sans doute l'adapter à vos propres besoins.

Les grandes étapes d'enfantement seront les suivantes :

Détails
Affichages : 3030

Les permissions des fichiers et dossiers (CHMOD, abréviation de Change Mode) recommandées sur Joomla (ou d'autres applications PHP) dépendent en partie des hébergeurs.

Un même droit est parfois interprêté différemment selon l'hébergeur (déjà vu), une même application requiert parfois différents droits selon l'hébergeur. Certains serveurs vont automatiquement bloquer certains droits sur certains contenus.

Mais quand un site commence à être mature, il subit de moins en moins de modifications structurelles. On peut alors fermer certaines portes - comme on fermerait l'accès au compteur électrique - et mettre en place une politique des moindres privilèges.

La mise en place d'une politique des moindres privilèges doit être suivie de tests et d'une communication fine avec son hébergeur. Il n'y a rien d'exhautif et rien de parfait, n'hésitez pas à modifier progressivement les permissions vers le bas selon vos propres observations. Il s'agit de fermer au maximum, puis de ne ré-ouvrir que le strict nécessaire.

Détails
Affichages : 12120

Nous allons voir les 1ères opérations de prise en main de QGIS. QantumGIS n'est que la partie émergée d'un système très performant : le couple QGIS-PostGIS, que nous verrons. Nous prendrons même le temps de taper quelques lignes de SQL.

QGIS, logiciel SIG open-source et gratuit, se télécharge puis s'installe aisément après avoir vérifié la binarité de votre machine. Nous travaillerons ici sous Windows et sur la version 2.18.12 (Las Palmas).

Cette dernière version déposera un répertoire sur votre bureau. Explorez-le, QGIS est aujourd'hui composite et vous n'avez pas installé que ce seul SIG.

Dans la foulée installez PostgreSQL et son interface de gestion PgAdmin 4, via le pack EnterpriseDB et l'utilitaire StackBuilder. Pensez à bien sélectionner l'installation de PostGIS également. Stackbuilder est toutefois un logiciel qui va s'installer sur votre machine, et que vous pourrez ré-utiliser par la suite.

Détails
Affichages : 700

Le cryptage MD5 est une forme de hachage relativement ancienne mais toujours bien pratique. On peut l'utiliser pour comparer des bases d'emails avec celles d'un prestataire sans fournir les données brutes par exemple. En vue d'un partenariat, d'un échange...

Attention nous ne parlons pas ici de réelle sécurisation. Le MD5 SQL - même salé ou doublé - est sujet à caution. Il ne s'agit que de permettre la transmission de données avec une relative tranquilité quant à un usage non-souhaité de ses fichiers. Parfois le partenaire qui vous transmettra ses données cryptées vous fera également signer un engagement de non-divulgation ou de non-utilisation frauduleuse (non-disclosure). Et si c'est vous qui transmettez les données (j'avoue ne jamais le faire...), pensez-y !

Quoiqu'il en soit il est courant de demander cela à un prestataire fournisseur (l'inverse est moins acceptable). Certes PhpMyAdmin permet nativement de saisir du texte puis de l'encrypter en MD5 (Insérer/Fonction/MD5). Mais pour mettre en place un worflow ou comparer des bases en lot, il est nécessaire de maîtriser la chose en SQL.

Quelques requêtes SQL d'exemple :

Voir le cryptage MD5 d'une chaîne

SELECT MD5(Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer le JavaScript pour la visualiser.') ;

Détails
Affichages : 7751

Fabrik - Constructeur d'application BDDDe nombreux utilisateurs de bases de données (BDD) ont parfois besoin de mettre à disposition d'autres utilisateurs des applications BDD, pour la saisie ou la consultation, avec des problématiques de délais, de coûts ou de transmission. Le composant Fabrik, sous le CMS Joomla, permet un usage fin des bases de données, avec une efficacité de déploiement et une grande ergonomie pour les utilisateurs.

Fabrik est un CCK (Construct Content Kit, ou quelque chose comme ça...). Joomla dispose de plusieurs CCK, chacun ayant ses qualités et ses défauts. Certains disent que Fabrik n'est pas celui bénéficiant de la meilleur intégration sur Joomla, lui préférant Seblod par exemple (hum... à discuter). Mais c'est peut-être le plus orienté base de données relationnelles, si vous souhaitez mettre en place un système BDD tel que vous l'avez imaginé, et non pas tel que l'outil l'exige.

Cette souplesse permet d'y voir clair dans votre système, et de concevoir rapidement des outils extensibles, déportables et industrialisables.

Un article plus détaillé est disponible sur ce site.

Détails
Affichages : 12417

Dans l'éternelle quête d'un système simple et performant pour mettre en place un système d'édition de données spatiales via un navigateur web, de façon sécurisée et sur une base Postgres, il faut nous confronter au framework Django.

Cet article est une vulgarisation/fusion des deux tutoriels officels Django et GeoDjango. Ces derniers sont bien plus détaillés et vous les trouverez ici : 

Le tuto officiel Django se base sur les toutes dernières versions des outils, et sur Linux. En fonction de sa machine locale ou des serveurs web à notre disposition, il peut y avoir des différences. La syntaxe de certaines lignes de commande Django ou Python peuvent changer, ainsi que la façon d'appeler vos apps ou vos importations.

D'autre part faire ses 1ers pas dans GeoDjango nécessite de s'être d'abord familiarisé à Django. On n'utilise pas ce module additionnel sans le framework complet.

Je vais donc tenter de clarifier tout cela, ne serait-ce qu'à mes yeux, et en allant rapidement vers les fontionnalités les plus basiques de GeoDjango. Au terme de cet article, nous aurons un système de CRUD sur de la donnée spatiale, en points, lignes et polygones, avec un fond OpenStreetMap, le tout accessible sur authentification.

  1. Quelques flux WMS et autres services cartographiques
  2. JAPR, plate-forme collaborative de recherche en environnement et SHS
  3. Interfaçage métacatalogue/serveur cartographique, un double intérêt pour les structures de recherche en environnement