Si alguien fusiona peligro y tecnología en la misma explicación, es inevitable pensar en películas como Terminator, Matrix o incluso la computadora maligna de 2001: A Space Odyssey. La tranquilidad estaba en que esos escenarios pertenecían a la ciencia ficción; hoy hay cosas que pueden poner a la tecnología en nuestra contra y son menos cinematográficas (pero igual de peligrosas).
Evan Hubinger, investigador de Anthropic (creadores de Claude) nos puso la piel de gallina. Dijo que él considera que la posibilidad de una IA maligna que pueda causar la extinción de la raza humana en la próxima década está en más del 10%. Me gustaría dejar en claro que no veremos en el futuro cercano a un ChatGPT que se moleste y empiece a hackear a los ejércitos para desplegar bombas nucleares.
El riesgo es otro: una inteligencia artificial capaz de mejorarse constantemente, con cada vez menor participación humana.
Es interesante, pues no necesitamos robots con ametralladoras. El riesgo es más fácil de comprender. Si una IA tiene la suficiente autonomía, acceso a la información y entrenamiento, las capacidades son casi ilimitadas. Con esto me refiero a que podría ver data bancaria, información sensible, vulnerabilidades de software, entre muchos otros escenarios. Con eso generas preocupación sin necesidad de robots malvados.
Entonces, ¿no existen guardrails? Me refiero a las barreras técnicas, reglas y mecanismos de supervisión diseñados para limitar lo que una IA puede hacer, además de reducir comportamientos peligrosos o no deseados. Anthropic, por ejemplo, utiliza su Responsible Scaling Policy. Con ella realiza evaluaciones de riesgo, publica reportes y aplica mayores protecciones conforme sus modelos alcanzan capacidades más avanzadas. El problema es que tener guardrails no significa saber si serán suficientes, porque estamos construyendo los frenos al mismo tiempo que hacemos más potente a la inteligencia artificial.
Anthropic reconoce que la automejora todavía no existe ni es inevitable, pero también advierte que podría llegar antes de que muchas instituciones estén preparadas para contraatacar. Hoy no existe una solución demostrada que garantice que una futura super-inteligencia permanezca bajo control humano.
Una distinción importante es: tener una IA limitada a una ventana de chat puede dar un resultado, pero una con acceso a correos, servidores, bases de datos, cuentas y herramientas de programación puede convertirse en una cosa seria.
Por eso quizá Terminator sea una exageración. El riesgo más realista sería construir sistemas que piensen más rápido que nosotros los humanos, operen de forma continua y tengan acceso creciente a nuestra infraestructura digital antes de que sepamos bien cómo meterles supervisión.
Estamos aumentando rápidamente lo que puede hacer la IA, sin tener todavía una respuesta clara para la pregunta más importante. Si algún día hace algo que no queremos, ¿estaremos seguros de poder detenerla?