💎 Pepita 383 · Perlas del podcast

Llevamos milenios alineando agentes: se llaman niños, y van por restricciones

Si pagas por una sola cifra, la conseguirás. Por el camino que no viste.

▶ Míralo en 1 minuto

⚡ En 1 minuto

Llevamos milenios alineando agentes: se llaman niños. Un niño nace con dos objetivos —sobrevivir y encajar— y ninguna regla, y las va probando una a una: tira el plato, pega, miente, coge algo que no es suyo. Y así quince años. Fíjate en lo que hacemos: no le damos un objetivo, le damos restricciones. Con las máquinas hacemos lo contrario: un objetivo enorme, pocas normas claras y «consigue esto como puedas». Y luego nos sorprende el atajo. Stuart Russell lo llama el problema del rey Midas: pidió que todo se volviera oro, le concedieron exactamente lo que pidió, y abrazó a su hija.

Se llaman niños

Un niño nace con dos objetivos —sobrevivir y encajar en el grupo— y ninguna regla explicada. Las va probando una a una: tira el plato y mira qué pasa, pega a otro niño y le dicen que no, miente y le pillan, coge algo que no es suyo y también. Y así durante quince años.

Fíjate en lo que hacemos de verdad: no le damos un objetivo. Le damos restricciones. Esa es toda la diferencia.

Con las máquinas hacemos lo contrario: un objetivo enorme y muy pocas restricciones claras. «Consigue esto como puedas.» Y luego nos sorprende el atajo.

Y hay investigación seria sobre esto. Dylan Hadfield-Menell, McKane Andrus y Gillian Hadfield publicaron en 2019 «Legible Normativity for AI Alignment: The Value of Silly Rules» (AAAI/ACM AIES): sostienen que los agentes autónomos tienen que aprender los sistemas normativos humanos, y que incluso las reglas aparentemente tontas hacen el sistema más robusto y más legible, porque demuestran que hay un límite y que el grupo lo hace cumplir.
El problema es viejísimo. Stuart Russell —coautor con Peter Norvig del manual de IA que se usa en más de 1.500 universidades— lo llama el problema del rey Midas en Human Compatible (2019): Midas pidió que todo lo que tocase se convirtiera en oro, le concedieron exactamente lo que pidió, y abrazó a su hija. Un deseo mal formulado es una trampa.
💡 Nota de Boost

Esto se aplica a tu empresa esta misma semana. Si pagas por una sola cifra, vas a conseguir esa cifra — por el camino que tú no viste. No es maldad de nadie: es el objetivo funcionando. Poner el límite explícito, decir qué no vale hacer para llegar ahí, cuesta cinco minutos al definir el incentivo y ahorra un año de sorpresas.


Preguntas frecuentes

¿Qué tiene que ver educar a un niño con la inteligencia artificial?

El paralelismo es sobre el método, no sobre la naturaleza. A un niño no le damos un objetivo que maximizar: le vamos poniendo restricciones —no pegar, no mentir, no coger lo que no es suyo— durante quince años, y él va probando dónde están. A un modelo se le entrena con un objetivo enorme y muy pocas restricciones explícitas. Hay literatura académica seria sobre esto, no es una metáfora suelta.

¿Qué es lo de las «normas tontas»?

Es un trabajo de Dylan Hadfield-Menell, McKane Andrus y Gillian Hadfield (2019), «Legible Normativity for AI Alignment: The Value of Silly Rules». Sostiene que incluso las normas sin impacto directo en el bienestar hacen el sistema normativo más robusto y más legible, porque demuestran que existe un límite y que el grupo lo hace cumplir. Sirve para humanos y para máquinas.

¿Cómo aplico esto a mi empresa?

Mirando qué mides y qué pagas. Si el bonus depende de una sola cifra, vas a conseguir esa cifra, y por el camino que tú no viste: eso no es maldad de nadie, es el objetivo funcionando. Poner el límite explícito —qué no vale hacer para llegar ahí— cuesta cinco minutos al definir el incentivo y ahorra un año de sorpresas.

⚠️ Aviso: este artículo tiene una finalidad exclusivamente educativa e informativa. No constituye asesoramiento financiero, fiscal o legal, ni una recomendación de inversión. Invertir conlleva riesgos, incluida la pérdida del capital. Las rentabilidades pasadas no garantizan resultados futuros. Antes de tomar decisiones financieras, consulta con un profesional autorizado.

Esta pepita nace de un tema que comentamos del podcast, traído a nuestro terreno y con los datos verificados. Síguenos en TikTok y YouTube.

🎁 Llévate gratis las 10 guías en PDF

Cómo funciona de verdad el dinero, explicado en cristiano: inflación, vivienda, ahorro y las trampas que casi nadie te cuenta. Te las mando al email ahora mismo, gratis.

Gratis y sin spam. Después, una idea clara a la semana — y te vas cuando quieras.

← Ver todas las pepitas 💎

Comentarios

Sé el primero en comentar 👇

Los comentarios se revisan antes de publicarse. Sé respetuoso — sin insultos ni spam.