Construir un robot que aprende solo

En 2020 tenía una idea fija en la cabeza: construir un robot que aprendiera a moverse por sí solo. No comprar uno. Construirlo. Y enseñarle.

R0-BB1 nació en mi escritorio. Servos baratos, un microcontrolador, mucho cinta. Pero la parte interesante no estaba ahí afuera, sino adentro: la red neuronal DeepQ que iba a controlarlo.

La simulación primero

Entrenar un agente de refuerzo en el mundo físico es cruel. Cada error es plástico roto. Así que lo primero fue armar una simulación 3D propia donde el robot podía caerse mil veces sin consecuencias.

El loop era sencillo de describir y brutal de ajustar:

• El agente observa su entorno
• Elige una acción
• Recibe una recompensa (caminar bien = +, caerse = —)
• Actualiza los pesos de su red

Cientos de miles de iteraciones después, R0-BB1 empezó a caminar.

No hay nada como ver a una cosa que vos construiste tomando decisiones por su cuenta.

R0-BB2: la segunda generación

En 2021 vino R0-BB2. Hardware mejor, sensores más finos, y un modelo entrenado con un dataset de simulación 10x más grande. Pero la lección importante fue otra: el detalle del entorno simulado importa más que la complejidad del modelo.

Lo que me quedó

• Que los sistemas que aprenden son una conversación entre vos y la máquina, no un trámite
• Que la paciencia para iterar es más rentable que la velocidad para programar
• Que la diferencia entre un proyecto que funciona y uno que no es la calidad de la simulación

Este proyecto me llevó al mundo de la IA aplicada de la única manera honesta: rompiendo cosas hasta que dejaron de romperse.