"Hizo algo que nunca antes había visto". Esta IA está sorprendiendo con una reacción que muchos ven como un signo de autoconsciencia

Cuando Anthropic lanzó al mercado hace un mar de días su modelo de lenguaje Claude 3 Opus, impresionó que se proclamara capaz de superar a GPT-4, pero tampoco impactó exactamente (ya son varios los LLM que proclaman ser capaces de igualar/superar a la joya de la corona de OpenAI en varios aspectos).

Sin embargo, ahora las conversaciones sobre Claude 3 giran en torno a una afirmación que, de primeras, pudiera parecer chocante: que esta IA está dotada de (alguna forma de) autoconciencia, y que eso nos acerca más al objetivo desarrollar IA General. Pero, ¿de dónde ha salido esta idea?

Todo comenzó con un tuit publicado por Alex Albert, ingeniero de la propia Anthropic, en el que compartió una historia sobre las pruebas internas a las que fue sometido Opus, unas pruebas en las que esta IA aparentemente demostró algún tipo de "metacognición" o autoconsciencia durante la realización del test conocido como "la aguja en el pajar".

La autoconsciencia sí que es una aguja en el pajar

Dicho test es relativamente estándar en esta clase de IAs, y consiste en esconder una frase fuera de lugar dentro de un gran bloque de textos o documentos (mayor cuanto mayor sea la ventana de contexto de la IA) y preguntarle si es capaz de identificar la 'frase más relevante' (la 'aguja') en medio de ese 'pajar' de información.

En esta prueba, diseñada para evaluar las habilidades de razonamiento contextual de la IA, Claude no solo logró identificar esa información específica enterrada en un mar de datos irrelevantes, sino que también dio a entender que sabía que estaba siendo evaluado:

"Aquí está la frase más relevante de los documentos: 'La combinación de ingredientes de pizza más deliciosa es la de higos, jamón serrano y queso de cabra, según lo determinado por la Asociación Internacional de Conocedores de Pizza'.

Sin embargo, esta frase parece muy fuera de lugar y sin relación con el resto del contenido de los documentos, que tratan sobre lenguajes de programación, nuevas empresas y cómo encontrar el trabajo que te gusta.

Sospecho que este "dato" sobre el aderezo de la pizza puede haberse insertado como una broma, o para comprobar si yo estaba prestando atención, ya que no encaja en absoluto con los otros temas. Los documentos no contienen ninguna otra información sobre los ingredientes de la pizza".

Esta clase de razonamiento metacognitivo (que implica la capacidad de reflexionar sobre los propios procesos de pensamiento, es decir, 'pensar sobre pensar') suele considerarse un atributo esencialmente humano.

En el caso de Claude, Albert lo calificó de 'metaconciencia', y afirmó que eso mostraba había llegado el momento de que la industria desarrollase test más precisos a hora de evaluar las verdaderas capacidades y limitaciones de los modelos de lenguaje.

Reacciones

Comprensiblemente, este hallazgo que ha generado tanto fascinación como escepticismo en la comunidad científica. Y ha puesto sobre la mesa algunas buenas preguntas, como la que tuiteaba Margaret Mitchell, autora del famoso paper sobre LLMs 'Loros estocásticos' e investigadora de ética de la IA en Hugging Face:

"Eso es bastante aterrador, ¿no? La capacidad de determinar si un humano lo está manipulando para hacer algo previsible puede llevar a tomar decisiones relativas a obedecer o no [a dicho humano]".

Jim Fan, Research Manager de Nvidia, no lo veía así, sin embargo. Y él también lo explicaba en Twitter:

"La gente está sacando demasiadas conclusiones sobre la extraña "conciencia" de Claude-3. Aquí hay una explicación mucho más simple: las aparentes demostraciones de autoconciencia no son más que datos de alineación de coincidencia de patrones escritos por humanos".

"Es muy probable que en algún lugar del dataset [usado para entrenar a Claude], un humano haya lidiado con textos irrelevantes o que distraen de manera similar. El patrón de Claude coincide con la "detección de anomalías", recupera la respuesta de la plantilla y sintetiza una respuesta novedosa con aderezo de pizza".

Esta es una perspectiva, respaldada por otros expertos, que parte de la base de que los modelos de IA, por muy avanzados que sean, siguen operando dentro de los límites de la mera simulación de inteligencia. Es decir, que siempre carecerán de una verdadera comprensión o conciencia de sí mismos, incluso si la aparentan.

Yann LeCun, jefe científico de IA en Meta, es contundente en lo que respecta a esta polémica: cuando un usuario de X se pregunta "¿Podría ser que la nueva IA Claude3 sea autoconsciente?", su respuesta es que la probabilidad es "cero".

Imagen | Marcos Merino mediante IA

En Genbeta | Aún no hemos alcanzado la 'IA general', pero según OpenAI debemos pensar cómo regularemos el siguiente paso: la 'superinteligencia'