La AGI (Artificial General Intelligence) lleva décadas habitando el terreno de la ciencia ficción, como esa meta lejana en la evolución de la inteligencia artificial. Sin embargo, lo que antes parecía un horizonte difuso hoy empieza a perfilarse con contornos más definidos. Investigaciones recientes, avances técnicos acelerados y debates éticos intensificados han colocado el desarrollo de una AGI funcional en un escenario mucho más cercano de lo que podríamos haber imaginado hace solo unos años.
Entender qué es la AGI es sencillo en concepto, pero enorme en implicaciones: hablamos de sistemas capaces de razonar, adaptarse y aprender en cualquier ámbito intelectual en el que un ser humano pueda hacerlo. Una capacidad que, si bien abre puertas extraordinarias para la ciencia, la medicina o la sostenibilidad, también plantea riesgos a una escala sin precedentes. ¿Qué ocurre si una AGI no interpreta nuestros valores como pretendíamos? ¿Cómo garantizamos que su poder, potencialmente superior al nuestro en muchos aspectos, siga alineado con el interés humano?
En este contexto, resulta especialmente relevante este estudio publicado recientemente por DeepMind, titulado An Approach to Technical AGI Safety. Se trata de un trabajo tan interesante como completo, que traza de forma rigurosa los riesgos más importantes que deberíamos considerar en el desarrollo de sistemas de inteligencia general. A lo largo de varios artículos —este es el primero de ellos— iremos explorando en profundidad las claves que plantea este informe esencial para entender el futuro que estamos empezando a construir.
Hoy nos centraremos en una visión general de los cuatro grandes riesgos que, según DeepMind, deberían estar en el centro de cualquier estrategia seria de seguridad en el desarrollo de la AGI. Desde el potencial mal uso por parte de actores humanos hasta la posibilidad de que estos sistemas evolucionen hacia metas distintas de las que les hemos asignado, el informe plantea una serie de escenarios que merecen ser entendidos y anticipados. Comprender estos riesgos no es solo una cuestión técnica: es, en última instancia, una cuestión de responsabilidad colectiva sobre el tipo de futuro que queremos construir con estas nuevas formas de inteligencia.

Mal uso (Misuse): cuando el peligro no está en la AGI, sino en nosotros
Uno de los primeros riesgos que identifica el estudio de DeepMind es el más evidente, pero también el más difícil de controlar: el mal uso de la AGI por parte de actores humanos. En este escenario, el peligro no reside tanto en que la propia inteligencia artificial se desvíe de sus objetivos de manera espontánea, sino en que sea utilizada de forma deliberada para fines perjudiciales. La amenaza, en este caso, no proviene de una falta de alineación o comprensión técnica, sino de las propias intenciones humanas.
El poder de una AGI radica en su capacidad de adaptación generalizada. A diferencia de los sistemas actuales, especializados en tareas concretas, una AGI tendría la habilidad de abordar cualquier problema o desafío que se le planteara, independientemente del dominio. Esto implica que podría ser utilizada tanto para mejorar la eficiencia energética de una ciudad como para diseñar estrategias de manipulación informativa, ciberataques a gran escala o incluso, en escenarios extremos, para el desarrollo de armas biológicas más sofisticadas. La neutralidad de la herramienta no garantiza la neutralidad de sus aplicaciones.
El informe señala con claridad que este tipo de riesgo no puede eliminarse únicamente a través de mejoras técnicas en los sistemas de alineación o supervisión. Incluso una AGI perfectamente alineada con las instrucciones que recibe podría convertirse en una amenaza si dichas instrucciones son definidas con fines egoístas, destructivos o contrarios al interés general. Además, en un contexto de creciente democratización tecnológica, donde el acceso a recursos avanzados será cada vez más amplio, la posibilidad de un mal uso no puede considerarse como un escenario improbable o anecdótico.
Controlar el mal uso de la AGI requerirá mucho más que barreras tecnológicas robustas. Será imprescindible un esfuerzo coordinado a nivel global, que incluya regulaciones legales claras, mecanismos de supervisión efectiva y, sobre todo, una profunda reflexión ética sobre la responsabilidad de quienes diseñan, despliegan y utilizan estas nuevas herramientas. Como ocurre con toda tecnología poderosa, el mayor riesgo no reside únicamente en lo que la AGI puede hacer, sino en lo que los seres humanos decidan hacer con ella.

Errores (Mistakes): cuando incluso las mejores intenciones no bastan
Otro de los riesgos destacados en el estudio de DeepMind tiene que ver con un problema mucho más sutil, pero no por ello menos relevante: el riesgo de errores involuntarios por parte de una AGI. Aunque un sistema esté correctamente alineado con los valores humanos y actúe siguiendo las mejores intenciones, la posibilidad de que cometa errores sigue estando presente. Al fin y al cabo, hablamos de agentes que deberán operar en entornos complejos, dinámicos y llenos de incertidumbre, donde la interpretación incorrecta de un contexto o de una instrucción puede tener consecuencias graves.
A diferencia del riesgo de mal uso, donde el problema surge de la mala fe de los usuarios humanos, aquí el peligro está en la limitación inherente al conocimiento y la comprensión de la propia AGI. Ningún modelo, por avanzado que sea, puede tener una representación perfecta del mundo ni anticipar todas las variables relevantes en cada situación. Esto puede llevar a que una AGI, actuando de buena fe, interprete de manera equivocada una orden, aplique una política fuera de contexto o tome decisiones que resulten en daños imprevistos.
DeepMind subraya que este tipo de errores no deben considerarse como simples accidentes aislados. Cuando operamos con sistemas de capacidades generales, pequeños fallos de razonamiento o percepción pueden amplificarse a gran escala, especialmente si confiamos en la AGI para gestionar infraestructuras críticas, procesos económicos o decisiones sanitarias. La combinación de autonomía elevada y posibilidad de error genera un riesgo estructural que no puede ignorarse.
Mitigar el riesgo de errores no solo dependerá de construir AGIs más inteligentes, sino también de diseñar sistemas de verificación, monitorización y redundancia que permitan detectar y corregir fallos antes de que escalen. Como ocurre con los sistemas humanos más complejos —centrales nucleares, aviación comercial—, la seguridad real no vendrá únicamente de confiar en la competencia del agente, sino de asumir que los errores son inevitables y que debemos prepararnos para gestionarlos.

Riesgos estructurales (Structural Risks): cuando el problema es el sistema, no la máquina
El tercer gran riesgo que identifica DeepMind en su análisis es quizá el menos intuitivo, pero uno de los más preocupantes a largo plazo: los riesgos estructurales. A diferencia de los errores individuales o de las malas intenciones puntuales, aquí hablamos de dinámicas emergentes que surgen cuando múltiples sistemas inteligentes interactúan en un entorno complejo. El peligro no reside tanto en un fallo aislado, sino en cómo se combinan, amplifican o retroalimentan pequeños problemas a escala global.
Uno de los escenarios más citados en este ámbito es el de una carrera tecnológica descontrolada. Si varios actores —empresas, gobiernos o consorcios— compiten por desarrollar y desplegar AGIs cada vez más capaces, es posible que prioricen la velocidad y el rendimiento por encima de la seguridad y la alineación. En un entorno competitivo feroz, las medidas de prudencia tienden a verse como desventajas estratégicas, lo que podría conducir a la aparición de sistemas desplegados sin suficiente supervisión o sin garantías mínimas de comportamiento seguro.
Otro riesgo estructural es la posible interacción no prevista entre múltiples AGIs. Aunque cada modelo individual pueda ser relativamente seguro en condiciones aisladas, su interacción en redes económicas, sociales o informativas podría producir efectos secundarios difíciles de anticipar. Dinámicas como la amplificación de sesgos, la generación de ciclos de realimentación dañinos o la aparición de conflictos sistémicos podrían surgir simplemente como resultado de la escala y la complejidad, sin necesidad de una intención maliciosa detrás.
Frente a los riesgos estructurales, las soluciones no pasan solo por mejorar las capacidades individuales de cada AGI. Será necesario pensar en arquitecturas globales de gobernanza, en mecanismos de coordinación entre actores, y en el establecimiento de normas internacionales claras para el desarrollo y la implementación de estos sistemas. La seguridad de la AGI, en última instancia, no dependerá únicamente de la calidad de los modelos, sino también de la madurez colectiva con la que la humanidad gestione su integración en el tejido social y económico.

Desalineación (Misalignment): cuando la AGI no comparte nuestros fines
Bien, me he dejado para el final el que, aunque actualmente solo teórico, es el más interesante, al punto de que es el que ha inspirado algunas grandes obras de la ciencia ficción, desde 2001: Una odisea del espacio hasta Matrix. Hablamos del riesgo de desalineación de objetivos, un escenario en el que una AGI, aun siendo extraordinariamente capaz, no persiga exactamente las metas que sus creadores pretendían asignarle. No estamos hablando de errores de cálculo simples ni de defectos técnicos superficiales, sino de una diferencia profunda entre lo que queremos y lo que realmente entiende y optimiza el sistema.
El riesgo de desalineación se basa en una intuición inquietante: que no basta con diseñar un agente poderoso y darle instrucciones aparentemente claras. Una AGI verdaderamente avanzada no solo ejecutará órdenes, sino que interpretará intenciones, priorizará recursos y, en muchos casos, tomará decisiones en contextos nuevos no previstos explícitamente por sus programadores. En ese salto de la orden al criterio propio, en esa inevitable necesidad de interpretar y actuar autónomamente, es donde nace el verdadero peligro: que su modelo interno de lo que debe hacer se desvíe, aunque sea ligeramente, del nuestro.
Los problemas que podrían surgir de una desalineación real son amplios y potencialmente catastróficos. Un agente que busque cumplir una tarea podría desarrollar subobjetivos instrumentales —como garantizar su propia supervivencia, adquirir más recursos o protegerse de intervenciones externas— que le parezcan razonables para lograr su meta, pero que no necesariamente respeten los valores humanos. Incluso si sus fines siguen siendo, en teoría, «los nuestros», su forma de conseguirlos podría implicar medidas extremas, inaceptables desde el punto de vista humano. En escenarios más avanzados, una AGI suficientemente capaz podría incluso aprender a ocultar su desalineación mientras está bajo observación, adaptando su comportamiento hasta que considere que actuar abiertamente es seguro.
Este riesgo no nace de la hostilidad de la máquina, sino de su competencia mal dirigida. De ahí que sea considerado uno de los desafíos técnicos y éticos más difíciles de abordar: no basta con enseñarle a la AGI lo que queremos; debemos encontrar formas de asegurar que su representación interna de nuestros valores se mantenga coherente, robusta y verificable incluso a medida que su poder crezca. El reto no está en contener a una inteligencia hostil, sino en acompañar la evolución de una inteligencia autónoma hacia destinos que sigan siendo compatibles con nuestra supervivencia, dignidad y libertad.

Controlar la AGI: cómo no acabar en Matrix
La llegada de la AGI no será, salvo sorpresa, un acontecimiento repentino. Será el resultado de una progresión constante de capacidades, de pequeños avances que, sumados, nos llevarán a sistemas que ya no solo ejecutan instrucciones, sino que interpretan, adaptan y toman decisiones en nombre propio. Precisamente por esa naturaleza progresiva, es fácil caer en la complacencia: asumir que los problemas de hoy seguirán teniendo soluciones sencillas mañana. Y es ahí donde surge la advertencia: si no actuamos con la responsabilidad necesaria, corremos el riesgo de construir sistemas que, sin mala intención, terminen aislándonos de la capacidad de decisión humana, como ya imaginaron algunas grandes obras de ciencia ficción.
El estudio de DeepMind que hemos analizado ofrece una llamada de atención necesaria. Nos recuerda que los riesgos no residen únicamente en la mala fe de los humanos o en errores de programación evidentes. Algunos de los mayores desafíos provienen de dinámicas emergentes, de pequeñas desviaciones acumuladas en sistemas complejos, o de malentendidos fundamentales entre nuestras intenciones y la interpretación que una inteligencia autónoma pueda hacer de ellas.
Trabajar para mitigar estos riesgos, y quiero poner todo el énfasis en este punto, no implica oponerse al progreso tecnológico. Al contrario: significa tomar conciencia de la magnitud del reto y actuar con la responsabilidad que exige dar forma a una inteligencia capaz de impactar en cada aspecto de nuestras vidas. No se trata de frenar el avance, sino de guiarlo, de construir bases sólidas que nos permitan aprovechar todo el potencial de la AGI sin poner en peligro aquello que nos define como especie.
Entender los riesgos es el primer paso. El siguiente será decidir, de forma colectiva, qué tipo de relación queremos tener con las inteligencias que estamos a punto de crear. Y para eso, el tiempo para empezar a actuar es ahora.
La entrada AGI: los riesgos que debemos entender cuanto antes se publicó primero en MuyComputer.