Como hemos visto en publicaciones anteriores (Lanzar un clúster de EMR mediante funciones de Lambda para ejecutar scripts de PySpark, parte 1 y 2), EMR es una plataforma de big data muy popular, diseñada para simplificar la ejecución de marcos de Big Data como Hadoop y Spark. Aprovechar esta plataforma nos permite aumentar y reducir nuestra capacidad informática, aprovechar las instancias puntuales baratas e integrarnos sin problemas con nuestro lago de datos. Cuando combinamos EMR con Lambdas, podemos lanzar nuestros clústeres de forma programática mediante FaaS sin servidor y reaccionar ante la disponibilidad de nuevos datos o si se activan según un cronograma de cron.
En esta publicación, proponemos llevar este enfoque de usar Lambdas para activar clústeres de EMR un paso más allá y usar AWS Step Functions para organizar nuestro proceso de aprendizaje automático. AWS Step Functions es un servicio totalmente administrado que facilita la creación y ejecución de flujos de trabajo de varios pasos. Nos permite definir una serie de pasos que componen nuestro flujo de trabajo y, a continuación, Step Functions los ejecuta en orden. Estos pasos se pueden ejecutar de forma secuencial, en paralelo, esperar a que finalicen las etapas anteriores o ejecutarse de forma condicional si otros flujos de trabajo fallan. La siguiente imagen muestra un ejemplo de una función escalonada. Se trata de una serie de pasos en los que podemos ver un inicio, unos pasos, unas decisiones, unas alternativas y un final. Esto es ideal para los flujos de trabajo de la vida real, en los que es necesario tomar diferentes decisiones a medida que avanza el proceso.
Otras ventajas de este enfoque son la perfecta integración de StepFunctions con otros servicios, como Lambda, que nos permiten crear un flujo de trabajo complejo sin tener que orquestarlo manualmente, con la supervisión y el manejo de errores fáciles de usar que proporciona StepFunctions, lo que simplifica nuestra lógica de reintentos y la supervisión general del proceso.
Así que, esperando haberte convencido de probar este nuevo enfoque, ¡pongámonos manos a la obra!
La generación de Step Functions se puede realizar de dos maneras diferentes: mediante el editor visual de Step Functions o mediante CloudFormation. Cuando empecé esta publicación, quería usar CloudFormation, pero me topé con un límite de CloudFormation (CloudFormation no nos permite crear StepFunctions con una definición siempre que la necesitemos). Por eso utilizaré el editor visual Step Functions, combinado con Amazon States Language.
Desde el Sitio web de AWS:
El lenguaje de estados de Amazon es un lenguaje estructurado basado en JSON que se utiliza para definir su máquina de estados, una colección de estados, que pueden funcionar (estados de tareas), determinar a qué estados hacer la transición al siguiente (estados de elección), detener una ejecución con un error (estados de error), etc.
Definiremos un flujo de trabajo compuesto por 3 pasos: preprocesamiento de datos, entrenamiento del modelo y evaluación del modelo.
¡Un conjunto de ejemplos, codificados en Python usando PySpark, y paso a paso para lanzar nuestra función First Step!
Para ello, necesitaremos crear cinco cosas:
preprocessing_script.py
training_script.by
evaluation_script.py
— Y los siguientes permisos:
Una vez que tengamos todos estos elementos listos, tendremos que reemplazarlos en nuestra definición de StepFunction, que comparto a continuación.
En un nivel superior, definimos tres pasos para cada etapa de nuestro flujo de trabajo: creación de clústeres, ejecución de código y terminación de clústeres. También definimos un paso «general» que avisará a través de SNS si se produce un error en alguno de los pasos de ejecución del código. Algo interesante de destacar es que StepFunctions tiene un tipo de paso predefinido (CreateCluster, AddStep y TerminateCluster) para cada uno de los pasos que necesitamos, lo que reduce significativamente la cantidad de código que necesitamos escribir para nuestra orquestación. :
Algunos aspectos interesantes que podemos ver, por ejemplo:
hace referencia al paso anterior:
lo que nos permite crear el clúster en un paso, obtener su identificador y luego usarlo en otro paso.
Si quisiéramos hacer cosas más complejas, la idea es la misma: tenemos que hacer referencia a ella en la ruta de resultados o en la ruta de salida. Más detalles sobre esto aquí
Volviendo a la creación de nuestra pila, una vez que hayamos reemplazado los valores, podemos crear una nueva función escalonada. Puedes usar esto eslabón o navegue hasta la consola StepFunctions, seleccione «Crear máquina de estados» y seleccione la opción «Escriba su flujo de trabajo en código».
Ambas opciones abrirán la pantalla que vemos a continuación, que incluye una aplicación básica de «Hola mundo». Reemplazarás el código en la definición y actualizarás el gráfico.
Una vez que hayas actualizado el gráfico, deberías ver lo siguiente:
Los siguientes pasos son asignar un nombre a la función Step y asignarle un rol (lo ideal sería el que habíamos creado anteriormente) y crearla con el botón «Crear máquina de estados». Espera unos minutos para que se complete, ¡y listo!
Encontrarás un botón para «Iniciar la ejecución», que activará tus pasos. Cuando comience a ejecutarse, el diagrama de flujo se actualizará con los diferentes estados: azul para los pasos en curso, verde para los pasos realizados correctamente, naranja para los errores detectados y rojo para los errores inesperados.
Es importante destacar que los clústeres de EMR estarán disponibles a través de la consola de EMR habitual, lo que simplifica la supervisión del proceso para las personas que están familiarizadas con ella. El hecho de que se haya activado mediante StepFunctions es completamente transparente para los usuarios finales.
Volviendo a nuestra función Step y al manejo de errores, en la imagen de abajo podemos ver dos errores diferentes. El paso «TrainingStep» detectó un error (que forma parte del flujo de trabajo esperado), pero el paso «handleErrors» falló. Esto nos permite encontrar fácilmente qué falló y dónde.
En esta otra imagen, podemos ver que el flujo de trabajo falló, pero la gestión de errores se realizó correctamente.
Es importante destacar esto porque los errores detectados forman parte de nuestro flujo de trabajo y nos hemos preparado para ellos (por ejemplo, con alertas). Los errores inesperados pueden dejar nuestro trabajo incompleto y requerir una intervención manual.
Bueno, gracias por llegar hasta aquí y ¡espero que estés entusiasmado por probarlo!
Podemos ver que poner en marcha un conjunto de clústeres de EMR es bastante fácil con Step Functions, y nos permite aprovechar la potencia de EMR de una manera sencilla y directa. Como recomendación final, me gustaría destacar algunas de las mejores prácticas para usar estos dos servicios de forma conjunta:
Con todo esto en mente, ¡adelante con tus propios experimentos! Y no dudes en escribirnos si tienes cualquier problema o pregunta. ¡Estaremos encantados de ayudarte!
¡Feliz programación! 🙂
Como hemos visto en publicaciones anteriores (Lanzar un clúster de EMR mediante funciones de Lambda para ejecutar scripts de PySpark, parte 1 y 2), EMR es una plataforma de big data muy popular, diseñada para simplificar la ejecución de marcos de Big Data como Hadoop y Spark. Aprovechar esta plataforma nos permite aumentar y reducir nuestra capacidad informática, aprovechar las instancias puntuales baratas e integrarnos sin problemas con nuestro lago de datos. Cuando combinamos EMR con Lambdas, podemos lanzar nuestros clústeres de forma programática mediante FaaS sin servidor y reaccionar ante la disponibilidad de nuevos datos o si se activan según un cronograma de cron.
En esta publicación, proponemos llevar este enfoque de usar Lambdas para activar clústeres de EMR un paso más allá y usar AWS Step Functions para organizar nuestro proceso de aprendizaje automático. AWS Step Functions es un servicio totalmente administrado que facilita la creación y ejecución de flujos de trabajo de varios pasos. Nos permite definir una serie de pasos que componen nuestro flujo de trabajo y, a continuación, Step Functions los ejecuta en orden. Estos pasos se pueden ejecutar de forma secuencial, en paralelo, esperar a que finalicen las etapas anteriores o ejecutarse de forma condicional si otros flujos de trabajo fallan. La siguiente imagen muestra un ejemplo de una función escalonada. Se trata de una serie de pasos en los que podemos ver un inicio, unos pasos, unas decisiones, unas alternativas y un final. Esto es ideal para los flujos de trabajo de la vida real, en los que es necesario tomar diferentes decisiones a medida que avanza el proceso.
Otras ventajas de este enfoque son la perfecta integración de StepFunctions con otros servicios, como Lambda, que nos permiten crear un flujo de trabajo complejo sin tener que orquestarlo manualmente, con la supervisión y el manejo de errores fáciles de usar que proporciona StepFunctions, lo que simplifica nuestra lógica de reintentos y la supervisión general del proceso.
Así que, esperando haberte convencido de probar este nuevo enfoque, ¡pongámonos manos a la obra!
La generación de Step Functions se puede realizar de dos maneras diferentes: mediante el editor visual de Step Functions o mediante CloudFormation. Cuando empecé esta publicación, quería usar CloudFormation, pero me topé con un límite de CloudFormation (CloudFormation no nos permite crear StepFunctions con una definición siempre que la necesitemos). Por eso utilizaré el editor visual Step Functions, combinado con Amazon States Language.
Desde el Sitio web de AWS:
El lenguaje de estados de Amazon es un lenguaje estructurado basado en JSON que se utiliza para definir su máquina de estados, una colección de estados, que pueden funcionar (estados de tareas), determinar a qué estados hacer la transición al siguiente (estados de elección), detener una ejecución con un error (estados de error), etc.
Definiremos un flujo de trabajo compuesto por 3 pasos: preprocesamiento de datos, entrenamiento del modelo y evaluación del modelo.
¡Un conjunto de ejemplos, codificados en Python usando PySpark, y paso a paso para lanzar nuestra función First Step!
Para ello, necesitaremos crear cinco cosas:
preprocessing_script.py
training_script.by
evaluation_script.py
— Y los siguientes permisos:
Una vez que tengamos todos estos elementos listos, tendremos que reemplazarlos en nuestra definición de StepFunction, que comparto a continuación.
En un nivel superior, definimos tres pasos para cada etapa de nuestro flujo de trabajo: creación de clústeres, ejecución de código y terminación de clústeres. También definimos un paso «general» que avisará a través de SNS si se produce un error en alguno de los pasos de ejecución del código. Algo interesante de destacar es que StepFunctions tiene un tipo de paso predefinido (CreateCluster, AddStep y TerminateCluster) para cada uno de los pasos que necesitamos, lo que reduce significativamente la cantidad de código que necesitamos escribir para nuestra orquestación. :
Algunos aspectos interesantes que podemos ver, por ejemplo:
hace referencia al paso anterior:
lo que nos permite crear el clúster en un paso, obtener su identificador y luego usarlo en otro paso.
Si quisiéramos hacer cosas más complejas, la idea es la misma: tenemos que hacer referencia a ella en la ruta de resultados o en la ruta de salida. Más detalles sobre esto aquí
Volviendo a la creación de nuestra pila, una vez que hayamos reemplazado los valores, podemos crear una nueva función escalonada. Puedes usar esto eslabón o navegue hasta la consola StepFunctions, seleccione «Crear máquina de estados» y seleccione la opción «Escriba su flujo de trabajo en código».
Ambas opciones abrirán la pantalla que vemos a continuación, que incluye una aplicación básica de «Hola mundo». Reemplazarás el código en la definición y actualizarás el gráfico.
Una vez que hayas actualizado el gráfico, deberías ver lo siguiente:
Los siguientes pasos son asignar un nombre a la función Step y asignarle un rol (lo ideal sería el que habíamos creado anteriormente) y crearla con el botón «Crear máquina de estados». Espera unos minutos para que se complete, ¡y listo!
Encontrarás un botón para «Iniciar la ejecución», que activará tus pasos. Cuando comience a ejecutarse, el diagrama de flujo se actualizará con los diferentes estados: azul para los pasos en curso, verde para los pasos realizados correctamente, naranja para los errores detectados y rojo para los errores inesperados.
Es importante destacar que los clústeres de EMR estarán disponibles a través de la consola de EMR habitual, lo que simplifica la supervisión del proceso para las personas que están familiarizadas con ella. El hecho de que se haya activado mediante StepFunctions es completamente transparente para los usuarios finales.
Volviendo a nuestra función Step y al manejo de errores, en la imagen de abajo podemos ver dos errores diferentes. El paso «TrainingStep» detectó un error (que forma parte del flujo de trabajo esperado), pero el paso «handleErrors» falló. Esto nos permite encontrar fácilmente qué falló y dónde.
En esta otra imagen, podemos ver que el flujo de trabajo falló, pero la gestión de errores se realizó correctamente.
Es importante destacar esto porque los errores detectados forman parte de nuestro flujo de trabajo y nos hemos preparado para ellos (por ejemplo, con alertas). Los errores inesperados pueden dejar nuestro trabajo incompleto y requerir una intervención manual.
Bueno, gracias por llegar hasta aquí y ¡espero que estés entusiasmado por probarlo!
Podemos ver que poner en marcha un conjunto de clústeres de EMR es bastante fácil con Step Functions, y nos permite aprovechar la potencia de EMR de una manera sencilla y directa. Como recomendación final, me gustaría destacar algunas de las mejores prácticas para usar estos dos servicios de forma conjunta:
Con todo esto en mente, ¡adelante con tus propios experimentos! Y no dudes en escribirnos si tienes cualquier problema o pregunta. ¡Estaremos encantados de ayudarte!
¡Feliz programación! 🙂
Lorem ipsum dolor sit amet consectetur. Sit sit vel eu sed proin. Arcu bibendum in mauris urna erat magna volutpat eget. Lectus commodo consectetur egestas quis ut lobortis nunc.
.png)
Lorem ipsum dolor sit amet consectetur. Sit sit vel eu sed proin. Arcu bibendum in mauris urna erat magna volutpat eget. Lectus commodo consectetur egestas quis ut lobortis nunc.
.jpeg)
