Web scraping avec Python

Si on peut considérer la programmation comme quelque chose de magique, alors le web scraping s'apparente assurément à de la sorcellerie ! En écrivant un simple programme automatisé en Python, vous pouvez envoyer des requêtes à des serveurs web, y rechercher des données et les analyser pour extraire les informations dont vous avez besoin.
Voici un guide complet pour extraire presque tous les types de données du Web moderne.
La première partie du livre se concentre sur les mécanismes de web scraping : utiliser Python pour demander des informations à un serveur web, effectuer une gestion de base de la réponse du serveur et interagir avec les sites de manière automatisée. La deuxième partie explore une variété d'outils et d'applications plus spécifiques pour s'adapter à tous les scénarios de web scraping que vous êtes susceptible de rencontrer.
Analyser des pages HTML compliquées
Développer des crawlers avec le framework Scrapy
Découvrir des méthodes pour stocker les données que vous récupérez
Lire et extraire des données à partir de documents
Nettoyer et normaliser les données mal formatées
Lire et écrire en langage naturel
Parcourir les formulaires et les identifiants
Scraper JavaScript et explorer les API
Utiliser et écrire un logiciel de conversion d'images en texte
Éviter les pièges et les bloqueurs de bots
Utiliser des " scrapers " pour tester votre site web