Los datos en formato texto proponen numerosos desafíos para el análisis y el procesamiento de datos. En estas publicaciones veremos distintas formas de procesar texto con R, ya sea para su limpieza, su generación a partir de datos estructurados, su clasificación cuando se trata de textos desestructurados, y el uso de inteligencia artificial para el procesamiento automatizado de textos. Muy relacionado con el análisis de texto.
Siguiendo un caso real de limpieza de datos de una encuesta, en esta publicación veremos estrategias para recodificar respuestas de texto abierto en variables categóricas u ordinales usando R para pasar de cientos de respuestas diferentes a tan sólo 5 categorías.
En Chile, los
RUT son los números de identificación usados para ciudadanos y empresas. Tienen el formato xxxxxxx-y, donde x es el número o cuerpo, e y es el dígito verificador (número entre 0 y 9 o K). En esta publicación entrego algunas funciones para realizar operaciones comunes con los RUT en R, como validarlos, calcular el dígito verificador, y limpiar los RUT.
Cuando tenemos datos que contienen mucho texto, usualmente necesitamos filtrar las observaciones dependiendo de si contienen o no uno o más términos. En este post vemos cómo buscar texto en R usando dos formas: la detección de texto, y un algoritmo de búsqueda por relevancia.
Un palíndromo es una palabra que se puede leer o escribir al revés y al derecho. En Chile sólo hay 1 comuna con un nombre que tenga esta característica, pero sí existen 7 localidades palindrómicas! Hagamos una función que evalúa si una palabra es palíndromo o no.
La generación aumentada por recuperación o RAG, por sus siglas en inglés (retrieval-augmented generation) es un proceso por medio del cual puedes aumentar o complementar el conocimiento de una inteligencia artificial para que responda basándose en el contenido de textos y documentos que tú elijas. En esta publicación veremos por qué es necesario usar RAG, cómo crear un sistema de RAG con tus propios documentos, y cómo entregarle el sistema a una IA para mejorar sus conocimientos a la hora de responder.
Podemos usar la IA para transformar textos de cualquier tipo en datos estructurados. Esto significa que puedes convertir entrevistas, reseñas, opiniones, correos, noticias y más en bases de datos con la información que necesitas debidamente ordenada en filas y columnas. En ese tutorial usaremos modelos de lenguaje para extraer datos estructurados a partir de noticias reales.
Una tarea común en al trabajar con datos (y también en la computación en general) es necesitar renombrar muchos archivos. Podemos usar R para automatizar este tipo de tareas repetitivas; un ejemplo de que R no es sólo un lenguaje para análisis de datos.
En un post anterior vimos cómo usar R para producir textos basados en datos. En este post veremos cómo usar un modelo de lenguaje (LLM) o IA para interpretar datos directamente desde R, pero también usaremos la IA para generar código de R y reutilizarlo. Moraleja: es mejor pedirle código a la IA que pedirle respuestas y arriesgarte a errores o alucinaciones!
Luego de explorar o procesar un conjunto de datos, toca presentar los resultados. Si bien esto nos hace pensar en gráficos, tablas o reportes, el texto también es una forma de comunicar resultados que puede ser optimizada mediante la programación. En este tutorial veremos cómo redactar textos a partir de datos, incluso redactar párrafos complejos que describan la información de múltiples observaciones, usando los resultados oficiales de las preguntas de género del Censo 2024.
Cuando desarrollamos reportes, gráficos o aplicaciones en R, necesitamos hacer que nuestros textos se adapten a los datos que estamos analizando. En este post veremos cómo hacer que el texto se adapte según las cantidades para redactar palabras en singular o plural.
En este post veremos cómo mejorar visualizaciones de datos a las que queremos agregarle texto que identifique las observaciones, aún cuando las observaciones son demasiadas como para etiquetarlas a todas. Usaremos el
paquete de R {ggrepel} para etiquetar puntos en un gráfico con textos que se repelen entre sí de forma automática.
Los datos que vienen como texto suelen necesitar una limpieza previa, y adicionalmente un procesamiento para poder aprovecharlos mejor. En este tutorial usamos el paquete {stringr} para limpiar y ordenar unos datos de texto.
Amamos el castellano, con sus tildes y eñes, y nos encanta que R no tenga problemas para usar estos símbolos en cualquier parte del lenguaje. Pero hay veces en las que necesitamos deshacernos de estos símbolos especiales, como tildes, eñes, e incluso mayúsculas. En este post te muestro varias opciones de limpieza de texto con R.
Aprende a generar un texto que redacte un vector de palabras sueltas en una oración separada por comas y con el separador y al final; por ejemplo: ’uno, dos y tres’. Útil para escribir programáticamente títulos, subtítulos y textos para reportes.
Algunos de los paquetes y funciones que uso frecuentemente al momento de limpiar datos en R.