Web scraping on Bastián Olea

Web scraping con R

Thu, 17 Jul 2025 00:00:00 +0000

Se denomina web scraping al conjunto de técnicas que permiten extraer datos e información alojada en páginas web, usualmente en formatos que no son fácilmente convertibles a tablas de datos.

Al ser R un lenguaje enfocado completamente el análisis de datos, es la plataforma ideal para este tipo de tareas, dado que puedes usar un sólo lenguaje para controlar las herramientas de extracción de datos, programar la lógica para automatizar la extracción, procesar y limpiar los datos, y finalmente analizar y presentar tus resultados.

Galería de libros de _Goodreads_ para tu blog o sitio web con R y Quarto

Thu, 26 Mar 2026 00:00:00 +0000

Para mi blog personal, bastimapache.cl quise crear publicaciones que muestren los libros que he leído cada año, los cuales registro en mi cuenta de Goodreads.

Para esto, usé R para cargar el archivo de exportación de datos de Goodreads, que te entrega un archivo .csv con tus libros leídos, puntuación, fecha de lectura, etc.

Cargar datos de Goodreads

Carguemos los datos que obtenemos de la exportación de Goodreads:

Automatizar el scroll de una página web desde R con `{RSelenium}`

Tue, 16 Dec 2025 00:00:00 +0000

Para publicitar mi nueva página para aprender R gratis y de manera autodidacta, quise grabar un video mostrando los contenidos.

Pero al grabar el video, no me gustaba cómo quedaba cuando yo iba haciendo scroll manualmente, porque a veces me quedaban cortados los contenidos o se veía muy errático.

Así que hice lo que cualquier persona racional y ocupada haría, y automatizé el scroll con R, para que la página se moviera solita sin que yo intervenga. Así la grabación sale perfecta 💖

Visualización y scraping de resultados de las elecciones presidenciales 2025

Mon, 17 Nov 2025 00:00:00 +0000

Hoy domingo 17 de noviembre celebramos una nueva fecha electoral en Chile, esta vez eligiendo presidente.

Apliqué el código que he usado en elecciones pasadas para obtener los datos del Servicio Electoral (Servel) en tiempo real, para así ir generando gráficos, tablas y mapas con los resultados preliminares.

El repositorio contiene todo el código para acceder en tiempo real a los datos preliminares publicados en la web del Servel.

El sistema que programé usa RSelenium para hacer web scraping de las tablas, a las que se debe acceder presionando botones en el sitio para elegir elección, región, y comuna, por lo que Selenium resulta ideal para ir probando junto al navegador títere las formas de controlar la navegación por medio de código, y eventualmente automatizar el acceso a todas las tablas mediante un loop. Luego se aplica un script de limpieza de datos, y finalmente, según las comunas del país que se definan, el sistema genera gráficos, tablas, mapas y textos en base a los resultados de cada comuna, los cuales se guardan y se ordenan en una carpeta llamada salidas, la que me permite obtener todos los resultados juntos (las imágenes y el texto con cifras y otros datos) y listos para subir a redes sociales.

Descargar todos los archivos de la página web del Censo 2024 con `{rvest}`

Sun, 27 Jul 2025 00:00:00 +0000

Veamos un mini ejemplo de automatización de tareas con R: los resultados del Censo 2024 vienen en 20 archivos, en 20 enlaces distintos!

¿El problema? para obtenerlos, tendríamos que entrar al sitio con el navegador, ir al enlace de descargas, bajar cada uno de los 20 archivos manualmente, y guardarlos en una carpeta para poder usarlos.

En un script de R, con {rvest} extraemos todos los enlaces del sitio, y con {purrr} descargamos todos los archivos de una 🚀

Video: Taller Medición y Análisis de la Corrupción en Chile desde el Análisis de Datos y Herramientas Abiertas

Wed, 23 Jul 2025 00:00:00 +0000

Taller online que impartí para el Congreso Estudiantil de Sociología Interdisciplinaria. En este taller introduje a estudiantes de sociología al lenguaje de programación R, explicando los beneficios del análisis de datos desarrollado en flujos de trabajo basados en la programación, y las posibilidades que se abren para producir estudios y obtener resultados usando código. Puse énfasis en el uso de tecnologías y datos abiertos, y en el principal beneficio de la programación (en mi opinión): el poder actualizar resultados, aplicaciones y visualizaciones automáticamente.

Web scraping usando Google Chrome desde R con `{chromote}`

Thu, 17 Jul 2025 00:00:00 +0000

En este blog ya hemos cubierto un par de herramientas de web scraping, cada una con sus características y beneficios: {rvest}, un paquete fácil y rápido de usar para extraer datos desde sitios webs comunes, y {RSelenium}, una interfaz en R para utilizar un software de automatización de navegadores bastante popular, aunque un poco menos amigable.

Ahora veremos cómo extraer datos desde páginas web usando un paquete de R que, a grandes rasgos, hace web scraping controlando Google Chrome.

Extrae datos desde páginas de internet controlando un navegador web con `{RSelenium}` en R

Tue, 15 Jul 2025 00:00:00 +0000

Selenium es un programa para automatizar y controlar navegadores web, lo que lo vuelve en una buena herramienta para realizar web scraping. El paquete de R {RSelenium} nos permitirá controlar un navegador por medio de código de R, lo cual abre infinitas posibilidades al momento de automatizar la obtención de datos e información desde sitios web dinámicos y/o complejos.

En este tutorial aprenderemos a usar {RSelenium} para programar scripts de R que automaticen el control de un navegador para interactuar con sitios web y así scrapear datos más difíciles de obtener.

Video: Taller Aplicación de la Ciencia de Datos en la Gestión Municipal

Fri, 24 Jan 2025 00:00:00 +0000

Tuve el privilegio de exponer en la Universidad Internacional de la Municipalidad de Rancagua, un espacio de diálogo, aprendizaje y colaboración, organizado por el Programa de Gobierno Local Abierto (GOBLA) de la Municipalidad de Rancagua.

Presenté un taller dirigido a funcionarios y funcionarias municipales sobre Aplicación de la ciencia de datos en la Gestión Municipal, donde comuniqué la importancia de manejar herramientas de progamación para le análisis de datos, favoreciendo el desarrollo de herramientas reutilizables, reproducibles, transparentes y abiertas.

Actualización de app Análisis de prensa: visualización de análisis de sentimiento de noticias recientes

Tue, 14 Jan 2025 00:00:00 +0000

Actualización de app análisis de prensa 🗞️

Nuevo: gráfico de análisis de sentimiento: elige un tema y revisa si las noticias recientes fueron mayormente positivas o negativas. Compara cómo distintos medios abordan las temáticas. ¡Pronto más detalle!

Web scraping de noticias: avances de fin de año

Tue, 31 Dec 2024 00:00:00 +0000

A largo de todo el año 2024 he estado realizando web scraping de distintas fuentes de noticias digitales de Chile. Casi todos los días ejecuto un script que a su vez se ejecuta decenas de otros scripts, que realizan el scraping diario de noticias. El resultado de estos procesos, día tras día, va aumentando la cantidad total de noticias que he ido recolectando. De vez en cuando, algún sitio cambia, o algo falla, y tengo que corregir manualmente los scripts. Cada cierto tiempo ejecuto versiones alternativas de los scripts para hacer una extracción de datos desde fechas anteriores, aumentando la cantidad total de noticias de fechas pasadas, lo que me permite rellenar vacíos en las obtenciones anteriores de noticias diarias, como también aumentar la cantidad total de noticias con datos desde años antes de que empezara este proyecto.

Extrae datos desde páginas de internet haciendo web scraping en R con `{rvest}`

Fri, 27 Dec 2024 00:00:00 +0000

Se denomina web scraping a un conjunto de técnicas usadas para obtener datos desde páginas web. Esto significa poder transformar la información que vemos en distintos sitios de internet en datos que podamos utilizar.

Se usa el web scraping cuando un sitio web presenta información, cifras, datos, números, o cualquier otro elemento que nos pueda servir, pero sin facilitar acceso a los datos, como sería un enlace de descarga, una API para obtener los datos, o alguna forma de exportar la información. En estos casos tenemos que recurrir al scraping para transformar lo que vemos en la web en datos analizables.

Crea tablas atractivas y personalizables en R con `{gt}`

Tue, 19 Nov 2024 00:00:00 +0000

El paquete de R {gt} (llamado así por generar great tables) permite producir tablas atractivas con R para presentar tus datos. Sus cualidades principales son que produce resultados atractivos con muy pocas líneas de código, pero al mismo tiempo ofrece una alta capacidad de personalización, teniendo opciones para personalizar prácticamente todos los aspectos de la tabla.

Otro beneficio de usar este paquete es que contiene funciones que hacen muy fácil darle el formato correcto a las variables numéricas, como porcentajes, números grandes, cifras en dinero, etc., Y además, ofrece funciones para darle estilos personalizados a las columnas o celdas de tu tabla de forma programática. Esto permite generar ciertas reglas para que las celdas cambien de colores dependiendo de su valor, ciertas cifras cambian su tipo de letra bajo determinadas circunstancias, y mucho más.

Scraping de datos del Sistema de Información del Mercado Laboral

Fri, 01 Nov 2024 00:00:00 +0000

El Sistema de Información del Mercado Laboral (SIMEL) es una plataforma virtual desarrollada por las instituciones que componen la Mesa para la Coordinación de las Estadísticas del Trabajo 1 con el apoyo técnico de la Organización Internacional del Trabajo (OIT).

El SIMEL permite obtener información objetiva y actualizada sobre el mercado del trabajo, la que estará disponible para investigadores, tomadores de decisiones y la ciudadanía en general.

Repositorio que permite descargar los datos estadísticos de SIMEL con un solo script, obteniendo cada conjunto de datos en archivos csv individuales.

Visualización y scraping de resultados en vivo de las elecciones municipales 2024

Wed, 30 Oct 2024 00:00:00 +0000

Con motivo de las elecciones municipales, estuve generando algunas visualizaciones ”en tiempo real” de los resultados de las elecciones de alcaldías. Los datos de conteo de votos los fui obteniendo minuto a minuto mediante web scraping con {RSelenium}, que permite programar un navegador web para que interactúe con un sitio como si fuera humano. Entonces, el navegador robot (marioneta, le llaman) iba apretando todos los botones, sin intervención de mi parte, para encontrar y copiar los resultados de cada comuna del país.

App: Análisis de prensa chilena

Thu, 08 Aug 2024 00:00:00 +0000

Proyecto de ciencia de datos desarrollado en R para analizar texto de noticias chilenas. Comprende módulos para realizar web scraping de sitios web de prensa para obtener el texto de sus noticias, procesos para transformar ese texto en palabras (tokens), y procesos para analizar dicho corpus de palabras usando distintas técnicas estadísticas.

Actualmente, el corpus de noticias obtenido supera las 800.000 noticias individuales, las cuales suman un total de 140 millones (!) de palabras, abarcando más de 30 fuentes periodísticas distintas.

App: Indicadores económicos de Chile

Sat, 25 May 2024 00:00:00 +0000

Aplicación web tipo dashboard que busca presentar de forma sencilla y compacta los principales indicadores de la economía chilena.

Los datos de este repositorio se actualizan automáticamente cada 12 horas por medio de GitHub Actions. Estos datos se obtienen realizando web scraping al sitio web del Banco Central. usando el paquete de R {rvest}.

Indicadores disponibles

PIB
IMACEC
IPC
IPSA
UF
Tasa de desempleo
Índice de remuneraciones reales
Inversión extranjera (nuevo)
Precio del cobre (nuevo)

Tutorial: Scraping de estadísticas delictuales del Centro de Estudios y Análisis del Delito con R

Wed, 27 Sep 2023 00:00:00 +0000

En este script detallaré cómo descargar datos de estadísticas delictuales del Centro de Estudios y Análisis del Delito (CEAD) de Chile utilizando técnicas de web scraping en R. Las estadísticas disponibles en el sitio web de CEAD corresponden a los siguientes datos oficiales: Estadísticas Oficiales de Delitos de Mayor Connotación Social (DMCS), Violencia Intrafamiliar (VIF), Incivilidades y otros hechos informados por Carabineros y la Policía de Investigaciones de Chile al Ministerio del Interior y Seguridad Pública.