Los datos rara vez vienen ordenados, y mucho menos limpios! Necesitamos limpiar los datos para convertirlos en información útil para explorar, analizar y visualizar datos. Con R podemos transformar datos desordenados o sucios de forma más eficiente y reproducible, gracias a todas las herramientas que nos entregan el {tidyverse} y otros paquetes de R.
¿Alguna vez has tenido dudas sobre los datos que estás explorando? En pipelines extensos, puede ser imposible tener certeza de que los datos son como esperamos, o necesitamos confirmar que los datos tienen ciertas características luego de filtrarlos, cruzarlos, o transformarlos. La validación resuelve esto!
El método de cortes naturales de Jenks se usa para categorizar variables contínuas en variables ordinales; es decir, pasar de una variable numérica a la cantidad de categorías discretas que necesitemos. Este método resalta los saltos inherentes a los datos, y por lo tanto los cortes que ofrece suelen tener más sentido que cortes arbitrarios en datos continuos.
{testthat} y {pointblank}La validación de datos sirve para verificar durante el proceso de análisis si los datos cumplen con requerimientos de calidad y con tus expectativas, con el objetivo de evitar problemas futuros relacionados a datos inesperados, incompletos, o erróneos. En este post veremos dos paquetes para validar el funcionamiento de tu código y para validar tus datos.
{territorial}: un paquete de R para trabajar con datos de comunas y regiones de ChileEste paquete de R busca facilitar tareas de limpieza que suelen ser necesarias al trabajar con datos de Chile a nivel comunal y regional, ofreciendo funciones para hacer cosas como validar y limpiar las comunas, agregar variables territoriales, ordenar las regiones de Chile de norte a sur, y más!
Siguiendo un caso real de limpieza de datos de una encuesta, en esta publicación veremos estrategias para recodificar respuestas de texto abierto en variables categóricas u ordinales usando R para pasar de cientos de respuestas diferentes a tan sólo 5 categorías.
{rutera}: un paquete de R para limpiar y procesar RUTs chilenosEste paquete entrega herramientas básicas para limpiar, validar y verificar el número de cédula de identidad Chilena en R. Es mi primer paquete de R y lo hice para aprender!
Cuando tenemos datos que contienen mucho texto, usualmente necesitamos filtrar las observaciones dependiendo de si contienen o no uno o más términos. En este post vemos cómo buscar texto en R usando dos formas: la detección de texto, y un algoritmo de búsqueda por relevancia.
Una tarea común en al trabajar con datos (y también en la computación en general) es necesitar renombrar muchos archivos. Podemos usar R para automatizar este tipo de tareas repetitivas; un ejemplo de que R no es sólo un lenguaje para análisis de datos.
Las hojas de Excel pueden ser cómodas para organizar información, pero no mucho para procesarla o analizarla. Por lo mismo, una de las operaciones iniciales de limpieza de datos suele ser unir datos que vienen repartidos en varias hojas de Excel. Veamos cómo se hace paso a paso. Usaremos el paquete {readxl} para leer los datos, {dplyr} para manipular y combinar las hojas, y {purrr} para realizar operaciones sobre todas las hojas de forma automática.
{waldo} es un paquete de R para encontrar diferencias entre objetos y conjuntos de datos. Es muy útil para solucionarnos problemas comunes que generalmente intentamos resolver a mano (o a ojo, jaja). Aprende a usarlo con algunos ejemplos prácticos.
Cuando estamos limpiando datos frecuentemente nos preguntamos cuántos datos perdidos tiene una columna. La respuesta se obtiene pidiendo un resumen (summarize()) que cuente la suma de datos perdidos (sum(is.na())) en una columna específica. ¿Pero qué pasa si tienes muchas columnas? No vas a andar escribiendo las columnas una por una… 😵💫 Usando las función across() de {dplyr}, podemos aplicar la misma operación a todas las columnas de un dataframe, y así obtener el conteo de datos perdidos de todas las columnas.
Un left join realiza una unión o combinación entre dos tablas de datos a partir de una variable en común o clave (key). En otras palabras, un left join toma dos tablas que tienen datos distintos, pero que comparten una variable o columna en común, y usa esta variable en común para unir las observaciones de ambas tablas. En este tutorial explico a hacer left joins con frutas, animales, y uso irregular de licencias médicas.
El paquete {visdat} tiene funciones para visualizar tus conjuntos de datos completos, para poder entenderlos de manera visual antes de proseguir con la limpieza o análisis. El paquete entrega varias funciones vis_x() para visualzar la tabla de datos entera, destacando distintos aspectos de la misma. En este post muestro ejemplos de uso de este paquete para encontrar datos perdidos, explorar datos, y más.
{openxlsx}El paquete {openxlsx} nos entrega funciones para generar archivos Excel desde R que contengan todo tipo de formato, estilo de tablas, y manipulación celda por celda del archivo resultante, con lo que podemos generar planillas de Excel atractivas desde R. La gracia es que podremos usar estas herramientas de forma reproducible (poder re-hacer gratis la planilla con datos actualizados o corregidos), y también podremos combinar la programación de R para crear estilos condicionales, crear cientos de archivos Excel, o planillas de cientos de hojas, y mucho más.
Los datos anómalos o outliers son datos que se alejan considerablemente de los demás. Crearemos un dataset simulando datos outliers y luego mostraremos algunas formas de visualizarlos en {ggplot2}, incluyendo un gráfico interactivo con {ggiraph} donde podemos poner el cursor sobre las observaciones del gráfico para obtener más información.
Los datos que vienen como texto suelen necesitar una limpieza previa, y adicionalmente un procesamiento para poder aprovecharlos mejor. En este tutorial usamos el paquete {stringr} para limpiar y ordenar unos datos de texto.
Amamos el castellano, con sus tildes y eñes, y nos encanta que R no tenga problemas para usar estos símbolos en cualquier parte del lenguaje. Pero hay veces en las que necesitamos deshacernos de estos símbolos especiales, como tildes, eñes, e incluso mayúsculas. En este post te muestro varias opciones de limpieza de texto con R.
¿Te ha pasado que tienes una tabla con datos perdidos, y otra tabla con una columna que coincide con la primera tabla, que además cuenta con datos que quieres usar para rellenar las observaciones perdidas? Antes pensaba que esto se resolvía con left_join() y algún ajuste para reemplazar los perdidos con los datos anexados. Pero ayer conocí una función que resuelve este problema de inmediato: rows_update()!
Tuve el privilegio de exponer en la Universidad Internacional de la Municipalidad de Rancagua, un espacio de diálogo, aprendizaje y colaboración, organizado por el Programa de Gobierno Local Abierto (GOBLA) de la Municipalidad de Rancagua.
Presenté un taller dirigido a funcionarios y funcionarias municipales sobre Aplicación de la ciencia de datos en la Gestión Municipal, donde comuniqué la importancia de manejar herramientas de progamación para le análisis de datos, favoreciendo el desarrollo de herramientas reutilizables, reproducibles, transparentes y abiertas.
Algunos de los paquetes y funciones que uso frecuentemente al momento de limpiar datos en R.
En esta guía explico cómo hacer un cálculo de diferencia entre fechas, o conteo entre de días entre dos fechas, ya sea entre días corridos o solamente considerando los días hábiles.