Scraping Bases Públicas Python

Necesito automatizar la extracción periódica de datos públicos con Python y transformarlos en conjuntos listos para análisis interno. El objetivo principal es contar con un script robusto de web scraping que capture la información relevante, la limpie, la normalice y la almacene en un formato estructurado (CSV o base SQL) manteniendo la trazabilidad de cada registro. Alcance general • Desarrollar un scraper en Python (Scrapy o BeautifulSoup + Requests; Selenium sólo si es indispensable) capaz de recorrer las fuentes indicadas y salvar bloqueos comunes como paginación, cambios de DOM o limitaciones de tráfico. • Diseñar lógica de actualización trimestral: al ejecutarse, el código debe identificar novedades y registrar únicamente los cambios, evitando duplicados. • Entregar documentación clara que explique instalación, variables de entorno y modo de despliegue (cron, GitHub Actions, AWS Lambda, etc.). • Incluir un pequeño cuaderno Jupyter o script de ejemplo que muestre cómo consumir el dataset resultante para fines de análisis. Criterios de aceptación 1. El scraper corre sin intervención manual y deja registros de logs legibles. 2. Los datos llegan limpios (tipos correctos, sin caracteres huérfanos) y con fecha de última captura. 3. El proceso completo está optimizado con procesamiento asíncrono/multihilo para manejar grandes volúmenes de datos (cruces masivos de hasta 32M de registros). 4. Se demuestra una corrida exitosa que genera el primer lote y su correspondiente diff para la siguiente actualización. Espero propuestas que detallen brevemente la arquitectura sugerida y ejemplos previos de trabajos de scraping o data engineering similares.