Metadatos, la via para comprendernos

Galileo Galilei dijo, La mayor sabiduría que existe es conocerse a uno mismo.

Hay muchas citas, a lo largo de la historia, que nos indican que lo importante es conocernos a nosotros mismo, antes que a los demás.

Pero, ¿cómo podemos aplicar esto a las tecnologías de la información?

Si nos remontamos a los comienzos de la analítica de datos, siempre se basaron en evaluar el comportamiento de los demás, para ver como podíamos mejorar nuestros rendimientos, aumentando: el volumen, el margen o los ámbitos de actuación, tanto geográficos como no.

El tiempo ha demostrado que el crecimiento, basado en la cantidad, es finito. Como han dicho algunos estudiosos de la materia:

La solución pasa por mejorar los costes, conociéndonos a nosotros mismos para mejorar nuestras capacidades reorientando nuestros recursos a generar nuevas oportunidades  optimizando nuestros actuales procedimientos. 

La pérdida de activos, por la necesidad de mejorar los márgenes, a la larga provoca pérdida de conocimientos de nosotros mismos, de compromiso y pertenencia. Por tanto, la alternativa es realizar introspección para poder reasignar esos activos y eliminar costes innecesarios.

Para poder hacer eso tenemos que estudiarnos y ver como funcionamos. Si pensamos en como comenzar no sabremos ni cómo hacerlo ni de dónde poder extraer esa información.

Para ello, y teniendo en cuenta la cantidad de sistemas de que disponemos en cada instalación, lo que necesitamos es utilizar las 5 W, por su versión inglesa, utilizadas en varios ámbitos, incluida la investigación, para saber: 

  • Qué (What) estamos haciendo
  • Quién (Who) lo está haciendo
  • Cuándo (When) lo hacemos
  • Dónde (Where) realizamos cada acción.
  • Por qué (Why) se hace

Si nos preguntamos de qué forma podemos aplicar esas preguntas a nuestras compañías, pensemos en lo dicho en el párrafo anterior: “teniendo en cuenta la cantidad de sistemas de que disponemos en cada instalación”. Hablamos de sistemas que generan mucha información (Metadatos) que no explotamos y no tratamos:

  • Información Funcional: Términos de negocio (Glosario) que podemos agrupar por jerarquías (Taxonomía), añadiendo las particularidades y funcionamiento de cada uno (Ontología). Esto nos permitirá unificar conceptos a nivel organizativo, detectar diferencias entre los criterios aplicados a cada concepto, dentro de las diferentes áreas, y comprender Por qué se hace cada acción o cálculo.
  • Información Técnica: Todas las herramientas contienen información de modelos de datos, extracciones, inserciones, transformaciones,… Que pueden ayudarnos a entender que está sucediendo y relacionarlo con la información funcional, con el objetivo de tener una visión más global del Qué y el Dónde.
  • Información Operacional: Las acciones que realizamos quedan registradas, dentro de las propias herramientas (Accesos, ejecuciones, usuarios,…) o en las estructuras de datos que nuestros procesos generan (Diccionarios de procesos, logs de ejecución, resúmenes de resultados, cuadres, reglas de calidad,…). Esto nos permite conocer el Quién y el Cuándo.

Analizando esa información podremos entender mejor que puntos de mejora aplicando, como ya comentaba hace algunos años en un evento en Madrid, la fórmula de las 3 E:

  • Evaluación: (Pensar en grande) Conocer nuestra compañía y comenzar a actuar.
  • Ejecución: (Empezar pequeño) Primeros pasos, para crear las bases de un nuevo futuro.
  • Evolución: (Crecer rápido) Adaptarnos a nuevos métodos de autoconocimiento y crecimiento.

Comenzar el autoconocimiento de nuestra compañía no es sencillo, igual que no lo es cuando hablamos metafísicamente. Pero hay que aplicar la metodología adecuada y tener el compromiso adecuado. Igual que cuando alguien tiene problemas personales busca ayuda de profesionales, en este caso apoyarse en empresas especializadas puede ayudarnos a escoger el camino correcto.

Si abordamos la fórmula mágica de las 3 E, debemos adaptarnos a unos principios mínimos que aseguren el éxito de la iniciativa.

Evaluación

Definición y adaptación del modelo de gestión

Generar un órgano de gestión que controle las acciones a realizar dentro de cada sistema, permitiendo detectar nuevas fuentes, nuevas necesidades y gestionar todas las tareas a realizar para conseguir la integración de todos los entornos de datos dentro del Hub.

Escribir y cerrar el objetivo final que queremos obtener y tener claros los puntos necesarios:

  • Involucrar, desde el inicio, a todos los actores implicados
  • Conocer nuestros sistemas
  • Definir conceptos únicos corporativos
  • Eliminar redundancia
  • Mejorar la calidad de nuestra información
  • Automatizar la detección de cambios y el impacto de los mismo

Detección de sistemas disponible

La identificación que “todos” los sistemas que tenemos en la compañía, desde el más grande a las hojas de cálculo o aplicaciones ad-hoc, ya que contienen información relevante o pueden ser un origen de desinformación.

Revisar los modelos de seguridad y conectividad entre las diferentes áreas tecnológicas.

Análisis de la situación actual

Hay que analizar cada uno de ellos y evaluar qué metadatos podemos extraer, documentación disponible, información relacionada tenemos, etc… Esto nos permitirá trazar un plan y detectar sobre qué sistemas podemos actuar primero, en que sistemas podemos efectuar acciones para mejorarlos con el fin de poder incluirlos y finalmente efectuar una selección de aquellos proyectos en los que el coste del esfuerzo para su inclusión nos ayuda a decidir sobre su sustitución, inclusión en algún otro, o directamente su desaparición.

Hay trabajar también con la información funcional y los equipos involucrados, con el objetivo de extraer un Glosario de toda la información contenida en la compañía, definir claramente las ontologías de cada concepto para unificar criterios y agrupar los elementos dentro de una taxonomía única.

Ejecución

Comenzar con una prueba de concepto o un MVP

Seleccionar alguno de los sistemas con mayor grado de madurez funcional y técnica. Con el objetivo de buscar el beneficio rápido, pudiendo crear una base sólida, y como corresponderá con alguno de los últimos proyectos integrados en la compañía permitirá una visibilidad importante, dentro de los comités y el resto de áreas.

Integrar del nuevo sistema toda la información tanto funcional, cómo técnica, cómo operacional. Creando los glosarios y taxonomías necesarios, cargando la información correspondiente al linaje (flujo de información y transformaciones realizadas en los datos) y cargando un modelo analítico que nos permita cruzar todos los datos y poder realizar análisis complejos.

Que todos se sientan partícipes

Es importante involucrar a todos los implicados en el sistema a integrar (propietarios de la información, analistas de datos, desarrolladores, integradores,…)

Escuchar las peticiones y analizarlas, justificando la inclusión o no de las mismas, de forma argumentada. Sin perder nunca el objetivo final, marcado durante el periodo de evaluación.

Apoyarnos en herramientas que nos faciliten la gestión de metadatos

Hay muchas herramientas de gestión de metadatos en el mercado  y hay que analizar realmente el objetivo final que buscamos y que herramientas se adaptan mejor a ello. Analizar las mejoras previstas, las instalaciones existentes, las opciones diferenciales respecto a otras y, sobre todo, intentar asignar un presupuesto importante a ello, ya que a la larga el intentar ahorrar o ir a modelos de mínimos, puede hacer que no podamos llegar al objetivo final o incumplamos alguna de las premisas, por problemas de conectividad, seguridad, funcionalidad, capacidad, soporte, disponibilidad de perfiles, usabilidad, etc…

 

Evolución

Enriquecer nuestros órganos de gobierno del dato

Generar nuevas sinergias entre los departamentos de la compañía, tanto consumidores como proveedores de la información, aprovechando los foros creados para la definición inicial del proyecto. Esto ayudará  a agilizar la toma de decisiones, aumentando la productividad (Al evitar iteraciones innecesarias) y aportando valor al negocio, haciéndolo más ágil y adaptable antes los cambios.

Incluir los sistemas por grado de madurez y mejorar los que tengan peores ratios

Durante estos análisis e inclusión hay que centrarse también en poder recoger qué información contiene cada sistema, para detectar posibles redundancias y riesgos de duplicación de conceptos con diferentes criterios.

Esto lo podremos realizar integrando en cada iteración la información de glosario y de catálogo, con el fin de detectar usos redundantes de datos, conceptos duplicados con diferentes definiciones, por áreas o departamentos, etc…

Orquestar nuestros sistemas con las lecciones aprendidas

Existen productos en el mercado que nos permitirán, mientras tratamos toda la información indicada anteriormente (Funcional, Técnica, Operacional), aplicar patrones en los mismo y en las decisiones que tomamos en base a ellos. Esto nos ayudará en  la incorporación de nuevos sistemas e incluso, si utilizamos herramientas de ejecución de procesos o calidad que tengas estos motores de aprendizaje, en la propuesta de mejoras en nuestros procesos y nuestras tomas de decisiones.

El análisis de toda esa información, más allá de lo que cada herramienta nos ofrezca, puede ayudarnos a tener una información más general de nuestra propia compañía. Integrando la información de las eferentes herramientas, la información operacional de nuestros sistemas e incluso de la calidad de nuestra información. Lo que denominamos Metadata Hub.