IA en Toyota para un código más simple y performante

Contar con un código limpio que performe bien habla mucho de la calidad del trabajo de ingeniería de datos. Sin embargo, la revisión es uno de los principales desafíos para estos equipos, el proceso no suele ser perfecto y los errores en los ambientes de testing y de producción son comunes. 

Sabemos que si una persona (o más) tiene que revisar 500 líneas de código, es probable que se le pasen algunos detalles. Somos humanos y errar es normal. Para evitar esto, entre Toyota y Datalytics, apoyados en GPT creamos un proceso de revisión de código con IA. 

Desafíos 

Los principales desafíos a los que nos enfrentamos junto con el equipo de Toyota fueron:

• Tiempo de validación: Al momento de validar el código en Toyota utilizamos herramientas de revisión automática. Pero hay reglas que no se pueden revisar de esa forma (como por ejemplo, los errores de ortografía en el comentario de un campo) y su validación se hace manualmente entre pares. Esto insume más tiempo del equipo de ingeniería de datos ya que una persona realiza el pull request y otra lo controla. 

• Errores humanos: En la validación manual el margen de error humano existe y aumentan las posibilidades de reproducirlos en el entorno de producción.  

• Ir más allá de SQL: Las herramientas de validación automática que tenemos en Toyota están acotadas a SQL, no procesan las líneas de código Python y otros lenguajes. 

¿Qué hicimos?

Usamos GPT para hacer un control más exhaustivo de todo el código. Uno de sus principales aportes fue que, en relación con la calidad del código, puede ser más dinámico que cualquiera de las herramientas de revisión automática que suelen usarse. Otro de los aportes principales es la sugerencia de correcciones que realiza automáticamente, lo que también ahorra tiempo. 

Lo que hicimos fue:

1°) Pasar a GPT el código de todas las notebooks que modificamos o agregamos. 

2°) Le indicamos las reglas a validar. 

3°) GPT lo analiza y comenta las líneas del código que no cumplen con las reglas y sugiere correcciones. También se almacenan los resultados para hacer un análisis posterior de los errores más frecuentes y poder accionar sobre ellos.

Nuestro principal valor agregado estuvo en crear un proceso para un propósito especifico con el código de Toyota manteniéndolo en un entorno privado.  

Además, trabajamos en dos frentes:

• Prompting: Hicimos un trabajo muy minucioso de refinado de prompts. Por un lado, le indicamos las reglas a validar y por el otro le especificamos cómo queríamos las respuestas y le dimos contexto.  Refinar esto es un trabajo de prueba y error, hay que ir cambiando el prompt para que devuelva lo que queremos. 

Automatización desde DevOps: La automatización ahorra tiempo de hacerlo manual y asegura que los resultados ya queden documentados. Cuando una persona genera un pull request, automáticamente desde DevOps se llama a la notebook (que usa GPT), se le pasa el código a validar, da las respuestas y dentro de un comentario del mismo pull request escribimos todas las observaciones y sugerencias de GPT. Nadie tiene que ir manualmente a ejecutar el proceso de revisión, lo que nos ahorra mucho tiempo.