¡Bienvenidos Participantes!

Nos complace que se una a nosotros en este TechSprint centrado en la mejora de la calidad de los datos públicos a través de herramientas de gobernanza y gestión de datos. Esta documentación ofrece una visión general del planteamiento del problema, los objetivos empresariales, el estado actual, la visión del estado futuro y los recursos disponibles. ¡A trabajar!

Planteamiento del Problema

¿Cómo pueden los gobiernos mejorar la calidad de los datos públicos mediante herramientas de gobernanza y gestión de datos para reforzar la confianza en las instituciones públicas?

Garantizar la calidad y fiabilidad de los datos públicos es crucial para promover la transparencia, la rendición de cuentas y la confianza de los ciudadanos. Su tarea consiste en mejorar la calidad de los datos públicos mediante herramientas avanzadas de gobernanza y gestión de datos, fomentando una cultura de mejora continua en todos los niveles de gobierno.

Objetivos de Negocio

• Mejora continua:

  • Fomentar una cultura de mejora continua de la calidad y fiabilidad de las entradas y salidas de datos en las plataformas de MapaInversiones.
  • Implementar herramientas y técnicas avanzadas de procesamiento de datos para garantizar una gran precisión y consistencia.

• Métricas e indicadores de calidad:

  • Desarrollar y utilizar métricas e indicadores exhaustivos de la calidad de los datos que proporcionen retroalimentación clara a los organismos gubernamentales sobre las áreas clave que requieren atención.

• Mejorar la fiabilidad de los datos:

  • Aumentar la fiabilidad y exactitud de los datos reportados por las entidades gubernamentales.
  • Establecer protocolos y estándares que garanticen la integridad y precisión de los datos.

• Desarrollo de capacidades:

  • Proporcionar herramientas y formación a las entidades subnacionales para mejorar sus prácticas de recopilación y reporte de datos, fomentando una mejor gobernanza y rendición de cuentas.

• Herramientas de transparencia:

  • Introducir herramientas de transparencia mejoradas que faciliten a las partes interesadas, incluidos el público y los organismos de supervisión, el acceso y la comprensión de las brechas en los datos de contratación pública.

Línea de base (estado actual)

• Mecanismos básicos de validación de datos:

  • Los sistemas actuales utilizan SQL Server Integration Services (SSIS) para realizar comprobaciones sencillas.

• Gestión manual de la calidad de los datos:

  • La gestión de la calidad de los datos se adhiere a la metodología Six Sigma, evaluando los elementos de datos individuales y la coherencia entre los conjuntos de datos.

• Ineficiencias:

  • Los procesos manuales pueden provocar retrasos en la resolución de discrepancias y errores en los datos.

Visión de futuro

• Aseguramiento continuo de la calidad de los datos:

  • Integre herramientas de gestión de la calidad de los datos que supervisen, limpien y validen continuamente los datos para mantener los estándares de alta calidad esenciales para un análisis preciso.

• Sistema de gestión de metadatos:

  • Implemente un sistema de gestión de metadatos que catalogue los datos de forma eficaz, realice un seguimiento del linaje y respalde la gobernanza, mejorando la capacidad de descubrimiento y uso de los datos.

• Seguridad y conformidad avanzadas:

  • Garantice la protección de los datos con protocolos de seguridad avanzados y el cumplimiento de las normativas de protección de datos pertinentes, incluidos los controles de acceso y cifrado.

• Servicios de datos en contenedores:

  • Utilice contenedores para gestionar y escalar eficientemente los servicios de datos, garantizando la solidez y adaptabilidad del sistema.

• Herramientas de supervisión y rendimiento:

  • Despliegue herramientas de supervisión que proporcionen información sobre el rendimiento y el estado del sistema, facilitando el mantenimiento y la optimización proactiva.

• Tableros interactivos de transparencia:

  • Desarrollar herramientas de visualización que provean vistas interactivas y completas de la apertura y completitud de los datos de contratación pública en diferentes regiones.

• Funciones de análisis comparativo:

  • Habilitar capacidades para comparar la disponibilidad de datos y el cumplimiento de los estándares en todas las regiones, fomentando la transparencia y la rendición de cuentas.

Brechas

• Falta de automatización:

  • Los procesos actuales de gestión de datos requieren un esfuerzo manual considerable, lo que resulta ineficaz y propenso a errores.

• Comprobaciones insuficientes de la calidad de los datos:

  • El sistema actual no permite garantizar adecuadamente la calidad de los datos, sobre todo a medida que aumentan su volumen y complejidad.

Resultados propuestos

• Opción 1 - Configuración de OpenMetadata:

  • Complete el linaje de datos: Implementar un sistema completo de linaje de datos dentro de OpenMetadata para rastrear el flujo de datos desde las fuentes sin procesar hasta los conjuntos de datos finales. Esto garantiza la trazabilidad y la transparencia, permitiendo a los usuarios comprender el origen y la transformación de los datos.
  • Gestión de metadatos: Establezca una sólida gestión de metadatos para catalogar todos los activos de datos, incluidas descripciones, clasificaciones y relaciones. Esto mejora la capacidad de descubrimiento y uso de los datos.
  • Creación de glosarios: Desarrollar un glosario detallado dentro de OpenMetadata para definir los términos y conceptos clave utilizados en los conjuntos de datos. Esto normaliza la terminología y mejora la comunicación entre las partes interesadas.
  • Reglas de calidad de los datos: Establezca reglas de calidad de datos para los conjuntos de datos sin procesar y finales basadas en las reglas de negocio proporcionadas. Estas normas controlarán y aplicarán la precisión, integridad, completitud, consistencia y validez de los datos.

• Opción 2 - Tablero de mando de calidad de datos:

  • Marcado de registros fallidos: Cree un tablero de mando que marque todos los registros que no cumplan las normas de calidad de datos. Esto ayuda a identificar y resolver rápidamente los problemas con los datos.
  • Visión general de la calidad de los datos: Proporcione una visión general del estado de los conjuntos de datos sin procesar y finales, destacando cualquier discrepancia y problema potencial. Este panel ofrecerá a las partes interesadas una imagen clara de la calidad de los datos de un vistazo.
  • Informes interactivos: Desarrolle informes interactivos que permitan a los usuarios profundizar en problemas específicos de la calidad de los datos, comprender las causas fundamentales y tomar medidas correctivas.
  • Alertas y notificaciones: Configure alertas y notificaciones automatizadas para los problemas de calidad de datos, garantizando el conocimiento y la respuesta oportunos ante cualquier anomalía.

Público destinatario

• Gobiernos nacionales, regionales y locales.

Orientaciones técnicas

• Estandarice los formatos de datos:

  • Resuelva conflictos de esquemas y establezca canalizaciones de datos para una integración perfecta.

• Herramientas de supervisión de la calidad de los datos:

  • Implemente herramientas y tableros de mando para realizar un seguimiento de las métricas clave a lo largo del tiempo.

• Informes y alertas automatizados:

  • Generar informes automatizados, alertas y notificaciones para los problemas de calidad de datos y la corrección oportuna.

• Metodologías de mejora continua:

  • Utilizar la metodología Seis Sigma o proponer otras metodologías de mejora continua.

Recursos proporcionados

• Conjuntos de datos: Los participantes utilizarán conjuntos de datos de República Dominicana, Jamaica y Panamá para construir prototipos

  • Cómo descargar los datos: Vaya a la página de conjuntos de datos del portal y filtre por país, seleccione la República Dominicana y descargue todos los conjuntos de datos. Siga el mismo proceso para Jamaica y Panamá.
  • Conjuntos de datos sin procesar: Dentro de cada conjunto de datos, navegue hasta la sección denominada “Datos sin procesar”, encontrará un enlace para descargar el conjunto de datos sin procesar y un enlace para descargar el catálogo de datos asociada con estos.
  • Para ver y explorar el estado actual de las Plataformas MapaInversiones: Haga clic en el siguiente link, navegue hasta la sección de República Dominicana y siga el enlace a la plataforma. Siga el mismo proceso para Jamaica y Panamá.
  • Reglas de negocio: Para crear reglas de calidad de datos relevantes, hemos proporcionado un conjunto de reglas de negocio.
    • República Dominicana: Link
    • Jamaica: Link
    • Panama: Link

• Recursos de desarrollo:

  • Opción 1: Instancia de OpenMetadata:

    • Las credenciales de acceso a la plataforma de herramientas OpenMetadata se proporcionarán una esté formado cada equipo.

    • La ventana de inicio de sesión se verá así, donde deberá ingresar las credenciales proporcionadas.

    • Una vez que hayas iniciado sesión, tendrás acceso al menú principal de la herramienta. Donde en el lado izquierdo tendrás las opciones de Explorar, Observabilidad, Perspectivas, Dominios, Gobernar y Configuración.

    • En configuraciones, usted puede explorar los servicios de bases de datos asociados con la instancia.

    • Más documentación sobre OpenMetadata: Link

  • Opción 2: Tablero de mando de calidad de datos: Crea un clon privado del portal de datos InvestmentMap invita a los siguientes miembros del equipo de soporte técnico:
    • @carolesaz
    • @anyelamilena12
    • @jorge-py
    • @dolaciregui
    • @Darkhan1019
    • @Lidiaproykina
    • @RonaldojCampos
    • Servidor Discord: Utilice los canales designados para la comunicación directa con el equipo técnico y los usuarios/probadores. Ya se ha enviado una invitación para unirse al servidor a todos los equipos participantes.

Empezando

• Familiarícese con el Planteamiento del Problema: Comprenda los desafíos actuales y la visión futura para el chatbot de IA.

• Revise los Recursos y Datos Proporcionados: Explore las herramientas, documentación y conjuntos de datos proporcionados para apoyar sus esfuerzos de desarrollo.

• Formule su Enfoque: Desarrolle un plan para abordar el planteamiento del problema, aprovechando los recursos y herramientas disponibles.

• Colabore e Innove: Trabaje en estrecha colaboración con su equipo y aproveche el equipo de soporte del TechSprint para desarrollar un prototipo innovador.

¡Por favor, no dude en contactarnos si tiene alguna pregunta! ¡Feliz programación!