Data management with Python, Pandas, Geopandas, Sqlachemy, Matplotlib and Openpyxl
- Détails
- 74706
Pandas is an excellent Python librarie to manage data. Matplotlib allows to create advanced charts and Openpyxl is very usefull to read/write Excel files. These 3 tools, combined with other classic Python features, allow to do data analysis and engineering.
First install or check Python and Pip, then the 3 libraries:
pip install pandas pip install matplotlib pip install openpyxl
Data management with Python, Pandas, Geopandas, Sqlachemy, Matplotlib and Openpyxl
Migration d'un site Joomla avec Python
- Détails
- 439
J'ai régulièrement besoin d'organiser le transfert des données de sites Joomla vers une copie de ces sites, pour plusieurs raisons (nettoyage, mise-à-jour, sauvegardes spécifiques, évolutions...).
Là-dessus, vous allez me dire : beh euuuh, tu connais pas Akeeba ? Si si, je connais, et je valide. J'utilise AkeebaBackup sur tous mes sites Joomjoom, à des fins de sauvegardes. Mais ça ne correspond pas à tous mes besoins. Soit trop lourd, soit trop spécifique, soit trop long...
Imaginez par exemple que vous souhaitiez préparer la nouvelle version d'un site - en modifiant des menus, modules, catégories, etc - tout en y insérant les données du site en production😎Pas simple hein ? Maintenir la cohérence des données tout en travaillant sur les évolutions est un vrai défi, et Akeeba ne fait plus du tout l'taf.
Il s'agit donc de transférer les données cœur de Joomla : articles, catégories, tags, utilisateurs, groupes, droit d'accès, etc - comprenant également certaines tables, lignes ou valeurs spécifiques : id super-utilisateur, #_assets, #_ucm, #_workflows, etc - sans toucher aux données structurelles de Joomla. Ce qui peut être un sacré bazar, car Joomjoom a parfois ses raisons que l'amour irradie... ou ignore... ou... bref🥴
De plus, dans certains cas, ce n'est pas seulement les données cœur que je souhaite transférer, mais aussi certaines tables métiers, créées à côté de Joomla (avec Fabrik par exemple).
Dans d'autres cas, j'ai besoin de le faire régulièrement, parfois même très, très, très régulièrement😥: pour tester des templates, des mises-à-jour suspectes, des triggers SQL... Avec donc le besoin d'être rapide et depouvoir vidanger le site de destination à chaque opération.
Expressions régulières
- Détails
- 62108
Les expressions régulières (regex) sont très pratiques pour standardiser un fichier de données avant import par exemple, récupérer des données, corriger des chaînes particulières, avec des conditions, etc...
Ici quelques astuces propres à mon usage personnel.
L'article est écrit en partant du principe qu'on utilise Notepad++ , sauf quand c'est précisé en rouge (il peut y avoir des différences quand on utilise des regex avec Python par exemple).
Et en parlant de Python, des exemples plus spécifiques d'usage de regex avec Pandas se trouve sur cet autre article.
Astuces PHP sur le CCK Fabrik
- Détails
- 272765
Fabrik est une (excellente) extension gratuite et open-source disponible sur Joomla, et permettant de construire des applications de bases de données. Un article présentant globalement le CCK Fabrik est déjà disponible sur ce site.
L'article ci-dessous est plus détaillé, et regroupe une série de pratiques courantes ou avancées, mais peu documentées en français. L'article reprend aussi des fonctionnalités PHP classiques mais ici adaptées à l'API Joomla.
Bien sûr cette page n'a rien d'exhaustif, et ne pourrait exister sans le forum Fabrik. Merci encore à toute l'équipe Fabrik et au projet Joomla. Et non, je ne travaille pas pour eux.
Automatiser les tags sur des articles Joomla avec un trigger SQL et Python
- Détails
- 1871
Joomla 4 | MySQL 5.7 | Python 3.9 | Selenium 4.16 |
C'est quand même sympa les tags sur les articles Joomla. Ça permet de personnaliser certaines pages, créer des thématiques, des filtres... Ils font aussi office de sous-catégories, mais sans les inconvénients des sous-catégories (plusieurs tags possibles pour un même article). Et en plus, ça attire l'œil, notamment sous les titres ou dans un joli nuage de tags. Bref : moi j'aime bien 😀
Le seul truc relou, c'est que les utilisateurs ne pensent jamais à les mettre, arf !
Du coup je me suis dis : Ok, on va automatiser tout ça ! L'avantage est aussi d'être exhaustif quant à l'utilisation des tags, et ainsi de pouvoir les utiliser dans la logique même de son site.
Ci-dessous un exemple de trigger SQL assignant automatiquement des tags aux articles d'un site Joomla en fonction de leur titre.
Automatiser les tags sur des articles Joomla avec un trigger SQL et Python
Python et l'API Wikipedia
- Détails
- 3371
Récemment j'ai voulu ré-utilisé l'API Wikipedia avec Python. Mais celle-ci avait tellement évoluée, que ce soit l'API ou l'organisation de la BDD Wikipedia, que mon projet était envahi d'erreurs, que ce soit sur la pertinence des résultats, du fait de DisambiguationError
ou d'autres exceptions.PageError
...
J'ai donc décidé de revoir complètement ma façon d'utiliser l'API Wikipedia, ci-dessous un petit retour d'expérience.
Ce n'est pas parfait, mais ça permet de maximiser le retour de résultats, de vérifier leur pertinence, de les mettre en forme et d'éviter un certain nombre de messages d'erreur. Et surtout, ça donne une base solide sur laquelle améliorer encore sa façon d'utiliser l'API.
Les versions utilisées sont Python 3.9 et Wikipedia 1.4.
Et pour les plus pressés, le code est là : https://github.com/georgie123/VariousPythonCodes/blob/master/ApiWikipedia.py
Page 1 sur 6