El vigilante de la calidad de los datos

Spain, Jun 3, 2024

La solución IBM® Data Observability by Databand permite conocer la “salud” de todas las canalizaciones de datos y garantizar que se ejecutan los procesos de forma correcta. Incluso, permite aislar un problema de este tipo para que los equipos puedan corregirlo de inmediato.

Cualquier retraso, incidencia o disfunción es alertada para garantizar que los datos circulan del punto A al punto B, siempre al mismo ritmo y velocidad, para no alterar la frecuencia en la que se ejecuta un proceso concreto. De esta forma permite conocer si coinciden el tiempo de ejecución esperado y el real, lo que supone una clara indicación de que un problema requiere atención inmediata. Se trata de vigilar, para actuar rápidamente, en el caso de que se detecte alguna anomalía. 

No olvidemos que los datos son el auténtico combustible de cualquier análisis, proceso o aplicación actual. Precisamente, por eso, también resulta necesario contar con un sistema que alerte inmediatamente de cualquier problema que altere su estado.

Este proceso de observación debe estar integrado además en todo el ciclo de vida de los datos, de principio a fin. De esta manera, todas las actividades involucradas se estandarizan y centralizan, para lograr una visión única y clara de cualquier problema o incidencia que pueda afectarles.

Por supuesto, es más sencillo contar el problema que resolverlo, pero, al igual que otras muchas evoluciones tecnológicas, ya existe solución para cualquier entorno de datos que nos encontremos.

La plataforma de observabilidad IBM® Data Observability by Databand puede servir de lugar central para definir y recibir alertas sobre incidentes de datos, en un proceso constante de monitorización de todos los datos, ya se encuentren en tránsito o en reposo. En este espacio común se capturan los registros de errores y causas raíz, a partir de metadatos, y se permite alertar a las partes interesadas sobre problemas que pueda encontrar. La depuración de esta herramienta muestra errores específicos, dentro de tareas concretas, para facilitar una resolución más rápida de los problemas.

Un caso de uso clave es asegurar que los flujos de datos en una plataforma fluyan de manera fiable e informar a los usuarios, por ejemplo, si una tarea de la herramienta de construcción de datos (dbt) está funcionando como se espera, o si las anomalías en un perfil de datos en reposo indican que una tarea fallará más arriba.

Los SLA de IBM® Data Observability by Databand están relacionados con la plataforma de datos, midiendo el tiempo de actividad en función de los objetivos de rendimiento y fiabilidad. Los SLA de la herramienta ayudan a aumentar el tiempo de actividad de la plataforma, al monitorear la fiabilidad de los flujos de datos.

Además, esta tecnología puede combinarse con IBM Knowledge Catalog (KC), para automatizar la gestión de los ciclos de vida de los datos, con gobernanza, seguridad y linaje, de forma que pueda favorecerse el consumo de datos vía autoservicio.

Aunque son productos separados, KC e IBM® Data Observability by Databand pueden utilizarse en combinación para resolver problemas tanto para ingenieros de datos como para usuarios empresariales. En Logicalis, Partner Platinum de IBM, le ayudamos a que, si es un cliente de KC, pueda monitorizar proactivamente los flujos de datos con Databand o viceversa, de manera que pueda ir más allá y añadir un catálogo completo de datos como siguiente paso para mejorar su calidad.

 

Topic

Related Insights