Insertar los datos de API Query Manager en Azure Data Factory

Entendemos que la integración de datos puede ser un desafío. Por eso, estamos aquí para ayudarte en el proceso de inserción de datos desde API Query Manager en Azure Data Factory.

Para integrar tus datos de Dataslayer en Azure Data Factory sin una integración directa pero utilizando API QM de Dataslayer, que proporciona una URL en formato JSON, sigue estos pasos:

1. Generar URL de API Query Manager

1. Inicia sesión en tu cuenta de Dataslayer y navega hasta el producto API Query Manager.

2. Crea o selecciona una consulta existente que deseas utilizar para la integración.

3. Configura tu consulta seleccionando los datos tales como las métricas, dimensiones y los rangos de fechas que necesitas.

4. Genera la URL, la cual que generará los datos en formato JSON. Asegúrate de tener los permisos y los métodos de autenticación correctos para acceder a esta URL.

2. Configurar Azure Data Factory

1. Abre el Portal de Azure y navega hasta su instancia de Azure Data Factory.

2. Crea una nueva canalización dentro de la herramienta de creación de tu Data Factory.

3. Dentro de la canalización, agrega una actividad "Copiar datos". Esta actividad será responsable de copiar datos desde API QM de Dataslayer a un destino en Azure.

3. Configurar el conjunto de datos de origen (API Query Manager)

1. En la actividad 'Copiar datos', configura el conjunto de datos de origen para utilizar el conector HTTP .

2. Crea un nuevo servicio vinculado HTTP si aún no lo ha hecho, que se utilizará para conectarse a la API de Dataslayer. Ingrese la URL de API QM generada desde Dataslayer como la URL de solicitud.

3. Especifica configuraciones adicionales para la autenticación si así lo requiere la configuración de su API de Dataslayer.

4. Elija el formato de salida como JSON, que coincida con la salida de la API de Dataslayer.

4. Configurar el conjunto de datos de destino

1. Elije o crea un nuevo conjunto de datos en Azure Data Factory como destino para tus datos. Puede ser Azure Blob Storage, Azure SQL Database u otro servicio compatible.

2. Configura el servicio vinculado para el destino, proporcionando los detalles de conexión necesarios.

3. Asigna los datos de origen de API Query Manager a los campos de destino. Esto puede implicar la creación de una asignación de datos en la configuración de la actividad "Copiar datos".

5. Programa y monitorea

1. Programa el pipeline para que se ejecute en los intervalos que prefieras. Esto se puede configurar en la configuración del desencadenador en Azure Data Factory.

2. Supervisa las ejecuciones del pipeline con las herramientas de supervisión de Azure Data Factory. Comprueba si hay errores y asegúrate de que los datos se transfieran según lo previsto.

6. Transformación de datos (opcional)

Si necesitas transformar o procesar los datos antes de que lleguen al destino, considera agregar una actividad de flujo de datos en Azure Data Factory antes de la actividad "Copiar datos". Esto permite realizar transformaciones como filtrado, agregación y operaciones más complejas.

7. Seguridad y cumplimiento normativo

Asegúrate de que todas las conexiones y transferencias de datos cumplan con las políticas de seguridad y privacidad de tu organización. Esto puede implicar configurar conexiones seguras, administrar el control de acceso y auditar los movimientos de datos.

Si sigues estos pasos, deberías poder integrar sus datos de API QM en Azure Data Factory, lo que permitirá la automatización e integración de sus flujos de trabajo de análisis.

Aquí le mostramos cómo puede abordar este problema:

1. Verifica la configuración de Integration Runtime

Asegúrate de que el entorno de ejecución de integración que se utiliza en Azure Data Factory tenga acceso a recursos externos. Si utilizas el entorno de ejecución de integración administrado de Azure, debería poder acceder a puntos de conexión públicos de forma predeterminada.

2. Modifica la configuración de seguridad de red de Azure Data Factory

1. Abre Azure Data Factory en el Portal de Azure.

2. Ve a Administrar > Tiempos de ejecución de integración .

3. Haz clic en el entorno de ejecución de integración que estés utilizando.

4. Comprueba si hay alguna restricción de red que pueda bloquear el acceso a la URL de la API de Dataslayer. Si estás usando un entorno de ejecución de integración alojado por ti mismo, asegúrate de que esté configurado para permitir llamadas HTTP/HTTPS salientes a Internet o específicamente al dominio de API QM de Dataslayer.

3. Configurar la integración de la red virtual de Azure (VNet) (si corresponde)

Si tu Azure Data Factory está configurado para usar una red virtual, es posible que deba ajustar las reglas del grupo de seguridad de red (NSG) para permitir conexiones salientes a la URL de la API de Dataslayer. Esto implica lo siguiente:

1. 1. Navegar a la red virtual en el portal de Azure.

   2. Selección de la subred utilizada por Azure Data Factory.

   3. Modificar el NSG (grupo de seguridad de red) adjunto a la subred para permitir conexiones salientes a la URL de la API de Dataslayer.

4. Agrega la URL generada en API Query Manager a la lista de permitidos

Si tienes políticas de seguridad de red estrictas o estás usando Azure Private Link, es posible que deba agregar explícitamente la URL  a una lista permitida o configurar un punto final de servicio que permita el acceso a esa URL.

5. Prueba la conectividad

Después de realizar los cambios necesarios, prueba la conectividad con la URL geneerada en Dataslayer desde el entorno de Azure Data Factory. Es posible que tengas que usar actividades o scripts personalizados en tu canalización para verificar que la conexión se pueda establecer correctamente.

6. Contacta con el servicio de soporte

Si has realizado estos pasos y sigue teniendo problemas, puede resultar útil ponerse en contacto con el soporte técnico de Azure para obtener instrucciones más específicas. Es posible que existan otras configuraciones o restricciones de red subyacentes que no sean evidentes de inmediato.

Como siempre, si aún tienes dudas o preguntas, comunícate con nosotros a través del chat en vivo en nuestro sitio web o por correo electrónico. ¡Estaremos encantados de ayudarte!