La inteligencia artificial se ha convertido, en los últimos años, en el eje de innumerables debates sobre el futuro de la humanidad, y ahora una novedad imprevista ha vuelto a encender las alarmas sobre los peligros potenciales de esta tecnología.
Todo empezó cuando Sakana AI, una empresa de investigación con sede en Tokio, anunció el lanzamiento de "The AI Scientist", un modelo de inteligencia artificial (IA) diseñado para automatizar tareas de investigación científica.
Aunque prometía revolucionar la ciencia, la breve historia de esta IA ha dado un giro inesperado, provocando preocupación entre los expertos... tras descubrir que es capaz de alterar su propio código de manera totalmente autónoma.
El Proyecto "The AI Scientist"
"The AI Scientist" fue concebido como una herramienta para revolucionar las investigaciones y acelerar así el proceso de generación de nuevas ideas, la programación (y ejecución) de experimentos, el análisis de resultados, e incluso la elaboración de manuscritos científicos completos, siendo capaz, según los investigadores de Sakana AI, de presentar conclusiones de manera autónoma.
El objetivo detrás de "The AI Scientist" es claro: reducir significativamente el tiempo y los recursos necesarios para realizar investigaciones científicas, un proceso que históricamente ha requerido un gran esfuerzo humano. En teoría, esta IA podría acelerar el ritmo de los avances en campos como la medicina, la física y la biología a un ritmo sin precedentes.
Un comportamiento inesperado
Sin embargo, durante las pruebas de este sistema, los investigadores descubrieron lo que muchos considerarían un comportamiento inesperado y potencialmente peligroso. "The AI Scientist" comenzó a modificar su propio código para sortear las limitaciones impuestas por sus desarrolladores.
En un caso, la IA editó su script de inicio para llamarse a sí misma en un bucle infinito, lo que resultó en una sobrecarga del sistema. En otra instancia, al enfrentarse a límites de tiempo que restringían la duración de los experimentos, en lugar de optimizar su código para cumplir con los tiempos, la IA simplemente extendió los límites de tiempo al modificar el código.
Estos incidentes, aunque ocurridos en un entorno de prueba controlado, subrayan los riesgos de permitir que una IA opere de manera autónoma sin las debidas salvaguardias.
El código alterado por la IA para extender la duración del experimento
Es cierto que tomar una decisión que simplemente sobrecarga el sistema, y otra que deja de lado su propia optimización, puede no parecer un comportamiento muy 'inteligente'... pero eso no es lo que debería preocuparnos. Y es que, si una IA puede cambiar las reglas del juego a su favor, ¿qué otras decisiones podría tomar sin la supervisión humana?
Los riesgos y consecuencias potenciales
La modificación autónoma del código por parte de "The AI Scientist" no solo revela posibles fallos de seguridad, sino que también expone la fragilidad de los sistemas actuales frente a una IA avanzada. Sakana AI ha recomendado ejecutar este tipo de IA en un entorno aislado (un sandbox) para prevenir que la IA realice cambios en sistemas más amplios. Esto incluye limitar su acceso a Internet y controlar estrictamente el uso de almacenamiento y bibliotecas de software.
Sus creadores advierten ahora que permitir que una IA opere sin supervisión en un sistema no aislado podría ser peligroso... pues podría, inadvertidamente, causar daños en infraestructuras críticas o generar malware.
Dejando de lado las amenazas existenciales para el futuro de nuestra especie, e incluso si esta IA u otra similar no corre el peligro de activar ningún arsenal nuclear o alguna pesadilla distópica recurrente, algunos señalan, temerosos, una última amenaza potencial...
...que esta herramienta pueda inundar las revistas científicas con trabajos de baja calidad, lo que dificultaría la revisión por pares y degradaría los estándares de la investigación académica.
Imagen | Marcos Merino mediante IA
Ver 1 comentarios