Web scraping avec Python

Un guide complet pour extraire presque tous les types de données du Web moderne avec le langage Python. Si on peut considérer la programmation comme quelque chose de magique, alors le web scraping s'apparente assurément à de la sorcellerie ! En écrivant un simple programme automatisé en Python, vous pouvez envoyer des requêtes à des serveurs web, y rechercher des données et les analyser pour extraire les informations dont vous avez besoin. Voici un guide complet pour extraire presque tous les types de données du Web moderne. La première partie du livre se concentre sur les mécanismes de web scraping : utiliser Python pour demander des informations à un serveur web, effectuer une gestion de base de la réponse du serveur et interagir avec les sites de manière automatisée. La deuxième partie explore une variété d'outils et d'applications plus spécifiques pour s'adapter à tous les scénarios de web scraping que vous êtes susceptible de rencontrer. Analyser des pages HTML compliquées Développer des crawlers avec le framework Scrapy Découvrir des méthodes pour stocker les données que vous récupérez Lire et extraire des données à partir de documents Nettoyer et normaliser les données mal formatées Lire et écrire en langage naturel Parcourir les formulaires et les identifiants Scraper JavaScript et explorer les API Utiliser et écrire un logiciel de conversion d'images en texte Éviter les pièges et les bloqueurs de bots Utiliser des " scrapers " pour tester votre site web