Scrapy é um framework escrito em Python voltado para web crawling e web scraping. Esta poderosa ferramenta facilita a construção de bots (spiders) capazes de automatizar a indexação de páginas da web e realizar a extração de conteúdo através da técnica de raspagem de dados. Já o Scrapy Cloud é uma plataforma criada e mantida pela Scrapinghub voltada especificamente para a execução de web crawlers em nuvem. Ao subir o projeto para o scrapy cloud, é possível agendar, acompanhar e gerenciar a execução das spiders de forma simples e clara.
No Love Mondays, utilizamos estas tecnologias para reunir vagas de emprego de diversas fontes. Os dados são tratados e disponibilizados em nosso site contendo um link para o endereço de origem. Isso significa que, ao buscar uma vaga no Love Mondays, o usuário tem acesso a um banco de informações extremamente volumoso sem a necessidade de visitar diferentes sites um a um.
Slides: