CodeFlare, el framework de código abierto de IBM para entrenar modelos de IA que se ejecutan en plataformas multicloud

Los análisis de datos y aprendizaje automático cada día son más utilizados y las empresas que intentan la aventura también se enfrentan a problemas de integración en general. Para hacer frente a estos desafíos, IBM acaba de presentar CodeFlare, un marco de código abierto, que se basa en el sistema distribuido Ray del laboratorio RISE de la Universidad de California en Berkeley para modelos de aprendizaje automático.

CodeFlare tiene como objetivo simplificar el proceso de iteración de IA con elementos específicos para escalar los flujos de trabajo de datos y surgió de un proyecto en el grupo de IBM responsable de crear uno de los primeros chips prototipo de 2 nanómetros del mundo.

IBM según dice que CodeFlare ayuda a simplificar la integración y la ampliación eficiente de los flujos de trabajo de big data e inteligencia artificial en infraestructuras multinube.

«CodeFlare lleva la noción de aprendizaje automático simplificado … un paso más allá, yendo más allá de pasos aislados para integrar sin problemas pipelines de extremo a extremo con una interfaz amigable para científicos de datos, como Python, no contenedores», Priya Nagpurkar, director de plataforma de nube híbrida en IBM Research, dijo VentureBeat por correo electrónico… se diferencia al simplificar la integración y el escalado de canalizaciones completas con un tiempo de ejecución y una interfaz de programación unificados».

En una publicación de blog, IBM explicó que la creación de modelos de aprendizaje automático en estos días es una tarea intensamente manual. Primero, los investigadores deben entrenar y optimizar un modelo, lo que implica tareas como la limpieza de datos, la extracción de características y luego la optimización del modelo y aquí es donde IBM dijo que CodeFlare ayuda a simplificar este trabajo.

Ya que CodeFlare utiliza una interfaz basada en el lenguaje de programación Python para crear una canalización, a través de la cual resulta más fácil integrar, paralelizar y compartir datos. Luego, CodeFlare se puede usar para unificar los flujos de trabajo de la canalización en múltiples plataformas de computación en la nube, sin aprender un nuevo lenguaje de flujo de trabajo para cada tipo de infraestructura.

IBM dijo que las canalizaciones se pueden implementar en cualquier infraestructura de nube, incluido el nuevo IBM Cloud Code Engine, que es una plataforma sin servidor y Red Hat OpenShift, además de que también proporciona adaptadores para desencadenantes de eventos, como la llegada de un nuevo archivo, lo que significa que las tuberías pueden integrarse y conectarse con otros ecosistemas nativos de la nube, dijo IBM.

Por otra parte tambien permite que los datos se carguen y se particiones desde numerosas fuentes, como almacenes de objetos en la nube, lagos de datos y sistemas de archivos distribuidos.

El principal beneficio de usar CodeFlare para configurar nuevos proyectos de aprendizaje automático es la velocidad. La compañía afirmó que cuando uno de sus usuarios aplicó CodeFlare para analizar y optimizar 100,000 pipelines para entrenar modelos de aprendizaje automático, redujo el tiempo para ejecutar cada uno de cuatro horas a solo 15 minutos.

La velocidad es importante, explicó IBM, porque los conjuntos de datos son cada vez más grandes, lo que significa que los flujos de trabajo de aprendizaje automático se vuelven más complejos y complejos. Como tal, los investigadores pasan más tiempo configurando sus configuraciones antes de poder hacer las cosas.

“IBM va en pos de esto mediante el código abierto de CodeFlare como marco para que los trabajadores de datos y los desarrolladores creen modelos de inteligencia artificial que puedan ejecutarse en cualquier nube”, dijo Mueller. «CodeFlare se ejecuta en RedHat OpenShift y logra su capacidad multinube a partir de eso».

IBM dijo que:

CodeFlare se está haciendo de código abierto hoy ya se encuentra disponible en el repositorio de IBM en GitHub, además de que también está lanzando varios ejemplos de canalizaciones de CodeFlare que ha creado y que se ejecutan en IBM Cloud y Red Hat OpenShift.

Finalmente si estás interesado en conocer más al respecto o poder revisar el código fuente de CodeFlare, puedes hacerlo desde el siguiente enlace.