La renuncia de un investigador de Anthropic volvió a poner sobre la mesa algunos de los escenarios más discutidos sobre el futuro de la inteligencia artificial. Antes de sacar conclusiones, conviene entender de qué estamos hablando.
Esta semana, Jacob Coxon, investigador que trabajó en OpenAI y Anthropic, renunció a esta última compañía con una advertencia que rápidamente comenzó a circular por medios y redes sociales.
Según Coxon, los principales laboratorios de inteligencia artificial están avanzando demasiado rápido hacia lo que describió como una “superinteligencia capaz de mejorarse a sí misma”. Otros investigadores de Anthropic han expresado preocupaciones similares sobre la posibilidad de desarrollar sistemas mucho más capaces que los actuales sin haber resuelto todavía cómo mantenerlos bajo control.
Las declaraciones pueden sonar alarmantes. Por eso hay una distinción importante que hacer desde el comienzo.
La superinteligencia de la que están hablando todavía no existe.
Tampoco sabemos si llegará a existir, cuándo podría ocurrir o si el desarrollo de la IA seguirá esa trayectoria. Estamos hablando de hipótesis sobre tecnologías futuras.
Entonces, ¿por qué algunos investigadores están preocupados ahora?
Para entenderlo necesitamos conocer tres conceptos que probablemente escucharemos cada vez con mayor frecuencia.
1. AGI. Una inteligencia artificial de propósito general
AGI corresponde a Artificial General Intelligence o inteligencia artificial general.
El concepto se utiliza para describir sistemas capaces de desenvolverse con un nivel muy alto de competencia en una amplia variedad de tareas intelectuales.
Hoy ya utilizamos modelos que escriben, programan, analizan información, trabajan con imágenes y resuelven problemas muy diferentes. La idea de AGI proyecta este desarrollo hacia sistemas con capacidades todavía más amplias y generales.
Existe, además, una dificultad importante. No hay una definición universalmente aceptada de AGI. Distintos investigadores y compañías utilizan criterios diferentes para determinar cuándo podríamos considerar que hemos llegado a ese punto.
2. Superinteligencia. Superar ampliamente las capacidades humanas
La superinteligencia artificial, o ASI por Artificial Superintelligence, lleva esa idea bastante más lejos.
Describe hipotéticamente sistemas que podrían superar ampliamente las capacidades humanas en prácticamente todos los ámbitos intelectuales relevantes.
Podrían investigar, programar, desarrollar estrategias, resolver problemas científicos o diseñar nuevas tecnologías con capacidades superiores a las de los mejores especialistas humanos.
Hoy no tenemos una inteligencia artificial de estas características. Su posible desarrollo forma parte de los escenarios que algunos investigadores están estudiando sobre el futuro de la IA.
Y aquí aparece el tercer concepto.
3. Automejora recursiva. Cuando la IA ayuda a desarrollar mejores IA
Actualmente son los seres humanos quienes desarrollan los sistemas de inteligencia artificial. Pero la propia IA ya puede ayudar en algunas tareas involucradas en ese proceso, como programar, analizar información o asistir investigaciones.
¿Qué ocurriría si esa capacidad aumentara considerablemente?
Podemos imaginar una secuencia:

La hipótesis de la automejora recursiva plantea que este ciclo podría acelerarse hasta alcanzar un punto en que sistemas muy avanzados participaran cada vez más en su propio desarrollo.
Eso tampoco significa que los sistemas actuales puedan hacerlo de manera autónoma. La preocupación está puesta en lo que podría ocurrir si algún día alcanzaran esa capacidad.
¿Por qué discutirlo antes de que ocurra?
Ahora la advertencia de Coxon resulta más fácil de entender.
La preocupación está en que, si este proceso llegara a acelerarse, nuestra capacidad para evaluar y controlar sistemas cada vez más avanzados podría quedar rezagada.
Este es un posible escenario de riesgo. No sabemos si ocurrirá de esta manera.
Y justamente ahí está la razón por la que algunos investigadores consideran importante discutirlo ahora.
Si algún día desarrollamos sistemas considerablemente más capaces y autónomos, esperar hasta ese momento para descubrir cómo controlarlos podría dejarnos poco margen para reaccionar.
De ahí surge buena parte de la investigación actual sobre alineación, interpretabilidad, evaluación, seguridad y gobernanza de la inteligencia artificial.
Adelantarse a una posibilidad
Existe bastante desacuerdo sobre todo esto.
Algunos investigadores consideran que la superinteligencia podría llegar relativamente pronto y que sus riesgos requieren atención inmediata. Otros cuestionan esos plazos, la probabilidad de que ocurra o consideran más urgente concentrarse en los problemas que ya producen los sistemas actuales.
Probablemente esa discusión continuará durante bastante tiempo.
Si alguna vez llegamos a desarrollar sistemas con capacidades muy superiores a las nuestras, muchas de las decisiones sobre cómo controlarlos tendrán que tomarse antes de que lleguemos a ese punto.
Mientras tanto, hay una distinción que puede ayudarnos a seguir esta conversación con mayor criterio.
Qué existe hoy, qué parece posible y qué continúa siendo una hipótesis.