Web Scraping com Python

Se a programação é mágica, o web scraping certamente é uma forma de magia. Ao escrever um programa automatizado simples, é possível consultar servidores web, requisitar dados e interpretá-los a fim de extrair as informações desejadas. A edição ampliada deste livro prático não só apresenta uma introdução ao web scraping, como também serve de guia completo para coletar quase todos os tipos de dados da web moderna.

A Parte I do livro tem como foco o funcionamento do web scraping: como usar Python para requisitar informações de um servidor web, fazer o tratamento básico da resposta do servidor e interagir com os sites de modo automatizado. A Parte II explora uma variedade de ferramentas e aplicações mais específicas, apropriadas a qualquer cenário de web scraping com os quais é provável que você depare.

Faça parse de páginas HTML complicadas.

Desenvolva crawlers com o framework Scrapy.

Aprenda a usar métodos para armazenar os dados coletados.

Leia e extraia dados de documentos.

Limpe e normalize dados mal formatados.

Leia e escreva em idiomas naturais.

Rastreie formulários e logins.

Faça scraping de JavaScript e rastreie usando APIs.

Use e escreva softwares de tradução de imagem para texto.

Evite armadilhas para scraping e bloqueadores de bots.

Use scrapers para testar seu site.