Mateo Vaca
Miembro activo de la instituciónJacob Coxon, un investigador que había trabajado en OpenAI y Anthropic, renunció a Anthropic el 9 de septiembre y publicó un mensaje muy duro: afirmó que ambas empresas estaban avanzando hacia una superinteligencia capaz de mejorarse a sí misma y que estaban “jugando con nuestras vidas”.
Hay buenas razones para seguir avanzando. La IA puede aumentar enormemente la productividad, ayudar a los científicos a analizar cantidades de información imposibles de procesar manualmente y acelerar descubrimientos médicos. Stanford señala que algunos sistemas ya alcanzan o superan el rendimiento humano en determinadas pruebas de matemáticas, ciencia y programación. Para sus defensores, detener este desarrollo significaría renunciar a avances que podrían mejorar millones de vidas. Además, muchos de sus riesgos podrían reducirse mediante regulación, supervisión humana y mejores sistemas de seguridad.
Pero hay un problema. Cuanto más capaces son estos sistemas, mayor autonomía pueden adquirir. Ya existen modelos capaces de utilizar herramientas, ejecutar código y realizar tareas durante largos periodos de tiempo. Un chatbot que se equivoca puede ser corregido. Pero el problema cambia cuando una IA puede tomar decisiones y actuar por sí sola. Si tiene acceso a internet, código o sistemas importantes, un error ya no sería solo una respuesta incorrecta: podría provocar consecuencias reales. Y ni siquiera tendría que “querer” hacer daño. Bastaría con que interpretara una instrucción de una manera diferente a la que sus creadores esperaban.
Ahí aparece uno de los mayores temores sobre el desarrollo de sistemas cada vez más autónomos: que lleguemos a crear herramientas capaces de hacer cosas que nosotros mismos no sabemos prever o controlar completamente.
El International AI Safety Report 2026, elaborado con la participación de más de cien expertos y respaldado por más de 30 países, distingue entre riesgos que ya existen —como la desinformación, los errores y los ciberataques— y escenarios futuros de pérdida de control que todavía son inciertos. Y aquí aparece la contradicción. Si todavía no sabemos hasta dónde pueden llegar estos sistemas, ¿cómo podemos saber cuál es el momento adecuado para ponerles un límite?
Regular demasiado pronto podría frenar avances importantes. Regular demasiado tarde podría significar intentar controlar una tecnología cuando ya sea mucho más difícil hacerlo. La Unión Europea ya ha empezado a establecer obligaciones para los modelos de IA más avanzados. Al mismo tiempo, las grandes empresas tecnológicas desarrollan sus propios sistemas de evaluación y seguridad. Pero existe otro problema: si una empresa reduce la velocidad para aumentar la seguridad mientras sus competidores continúan avanzando, puede quedar atrás. Y si un país establece límites mientras otro no lo hace, la tecnología simplemente puede desarrollarse en otro lugar.
¿Deberíamos seguir desarrollando una tecnología cuyas capacidades todavía no sabemos dónde terminan?
¿Quién debería decidir cuál es el límite: las empresas, los científicos, los gobiernos o la sociedad?