Arquitectura de Data Fabric: Clave en proyectos de Big Data y Machine Learning

Los proyectos de Big Data y Machine Learning en muchos casos no logran los beneficios esperados y los lagos de datos se convierten en nuevos silos de datos que aportan poco valor a negocio. Los principales desafíos que encuentran las empresas para un aprovechamiento de las iniciativas de Big Data y Machine Learning son los siguientes: • Identificación de fuentes de datos relevantes para el análisis del caso de negocio • Dificultad para la integración de las fuentes de datos, se invierte mucho tiempo en tareas rutinarias de limpieza y preparación • Problemas de colaboración en el equipo de trabajo: falta de visibilidad de las transformaciones realizadas, dificultad para la compartición de conocimiento y código • Dificultad para soportar distintos perfiles con niveles de conocimiento dispares (e.g. analistas de negocio vs científicos de datos) • Compartir resultados con los usuarios de negocio, evitar un nuevo silo de datos en la organización • Dificultad a la hora de operacionalizar los algoritmos, surtir de datos a los algoritmos para extraer la información Las arquitecturas de Data Fabric vienen a facilitar el ciclo de vida de las iniciativas de Big Data y Machine Learning: • Exploración e identificación de datos relevantes para el análisis mediante el Catálogo de Datos • Preparación de los datos para alimentar los algoritmos de ML (con total trazabilidad de las combinaciones y transformaciones realizadas) • Parametrización del algoritmo, tuning y adiestramiento mediante data science notebooks conectados a la capa de virtualización • Operacionalización del algoritmo como un servicio de datos para usuarios de negocio • Ofrecen una capa de gobierno y seguridad sobre las fuentes de datos Los ponentes debatirán las distintas alternativas y cómo las arquitecturas de Data Fabric se han convertido en piezas clave para soportar iniciativas de Big Data y Machine Learning.