El King's College de Londres ha identificado un mecanismo capaz de prevenir el llamado 'colapso del modelo' en inteligencia artificial: introducir un único dato procedente del mundo exterior durante el entrenamiento es suficiente para impedir que los sistemas de IA se degraden progresivamente y comiencen a producir respuestas erróneas o incoherentes. Los resultados han sido publicados en 'Physical Review Letters' y sitúan al equipo británico, junto a colaboradores noruegos e italianos, en el centro del debate sobre la sostenibilidad técnica de la IA generativa.
El hallazgo llega en un momento crítico. Varios expertos del sector han advertido que los datos de texto de alta calidad necesarios para entrenar grandes modelos de lenguaje —los denominados LLM, por sus siglas en inglés— podrían agotarse este mismo año. Ante esa escasez, los propios modelos han empezado a utilizarse como fuente de datos para entrenar a nuevas versiones, lo que genera un bucle que, según este estudio, conduce inevitablemente al deterioro del sistema.
Qué es el colapso del modelo
El término 'colapso del modelo' fue acuñado en 2024 para describir un escenario concreto: un modelo de IA entrenado exclusivamente con datos producidos por otros modelos de IA deja de generar resultados precisos y empieza a producir 'galimatías' estadísticamente incoherentes. Es, en esencia, una espiral de degradación que se retroalimenta a sí misma y que crece con cada ciclo de entrenamiento. Las alucinaciones —respuestas fabricadas que el modelo presenta como ciertas— son el síntoma más visible de este proceso.
El problema no es menor. A medida que sistemas como ChatGPT o los modelos que alimentan los coches autónomos se integran en decisiones que afectan a la vida cotidiana, la fiabilidad de sus respuestas se convierte en una cuestión que va más allá de lo técnico.
La solución: un único dato externo
El equipo del King's College de Londres, en colaboración con la Universidad Noruega de Ciencia y Tecnología y el Centro Internacional Abdus Salam de Física Teórica (Italia), analizó un conjunto de modelos estadísticos denominados Familias Exponenciales. Estos modelos son más simples que los LLM convencionales, pero se encuentran entre los más potentes para el modelado de datos, lo que los convierte en un entorno idóneo para aislar variables y extraer principios generalizables.
Los investigadores demostraron que el entrenamiento estándar de estos modelos en un escenario de bucle cerrado —donde el modelo se alimenta únicamente de los datos que él mismo produce— siempre termina en colapso. Sin embargo, introducir tan solo un dato externo en ese bucle es suficiente para revertir el proceso por completo. Y lo más llamativo: ese efecto protector se mantiene incluso cuando la cantidad de datos generados por la máquina es infinitamente mayor que ese único dato real.
Por qué funciona y qué implica
El profesor Yasser Roudi, catedrático de Sistemas Desordenados del Departamento de Matemáticas del King's College, explica el enfoque metodológico adoptado: "Los trabajos anteriores sobre el colapso de modelos se centran principalmente en modelos LLM grandes y complejos, donde no está claro cómo funcionan estos modelos ni si los resultados son repetibles; por eso se producen alucinaciones inexplicables, donde no se puede explicar por qué una IA ha generado una respuesta errónea".
Roudi defiende que partir de modelos simples permite llegar a conclusiones más sólidas: "Al centrarnos en un modelo sencillo, podemos determinar por qué añadir un solo dato impide que generen información sin sentido desde un punto de vista estadístico objetivo. Partiendo de esta base, podemos establecer principios que serán fundamentales para el desarrollo de la IA en el futuro".
El estudio también contempla una segunda vía para evitar el colapso: incorporar una creencia previa durante el entrenamiento, es decir, conocimiento adquirido previamente que actúe como ancla frente a la deriva generada por los datos sintéticos. Ambas soluciones —el dato externo y la creencia previa— producen el mismo efecto estabilizador.
Próximos pasos: redes neuronales en el punto de mira
Los autores del estudio aportan además evidencia de que un fenómeno similar se observa en otra clase de modelos: las máquinas de Boltzmann restringidas. Este hallazgo adicional sugiere que los resultados del equipo no están limitados a las Familias Exponenciales, sino que podrían tener un alcance mucho más amplio dentro del ecosistema de modelos de IA.
El siguiente objetivo del grupo es trasladar estos primeros principios a modelos más grandes y complejos, como las redes neuronales, para validar si los mismos mecanismos operan a esa escala. No se ha detallado un calendario concreto para esa fase de la investigación.
El trabajo representa un paso relevante en la búsqueda de fundamentos teóricos que permitan construir sistemas de IA más robustos a medida que los datos sintéticos adquieren un protagonismo creciente en el entrenamiento de modelos. La industria, que ha apostado masivamente por la IA generativa sin resolver del todo sus fragilidades estructurales, tiene ahora una pista concreta sobre dónde buscar soluciones.
