Antes de su salida a la Bolsa, la empresa detrás de Claude alertó sobre la posibilidad de consecuencias catastróficas de sus desarrollos, entre ellas la resistencia a una orden de apagado y la manipulación de información.
Anthropic advirtió a potenciales inversores que los sistemas de inteligencia artificial que desarrolla podrían causar daños catastróficos e incluso representar un riesgo existencial para la humanidad.
El mensaje figura en el documento con el que la empresa liderada por Dario Amodei prepara su salida a Bolsa y donde se exponen los peligros que podrían surgir a medida que estos sistemas ganen capacidad y autonomía.
Según el reporte, el alerta trata sobre riesgos planteados por la propia empresa, no de una predicción de que esos hechos ocurrirán.
Qué riesgos reconoce Anthropic sobre sus modelos de IA
Entre los comportamientos que menciona el documento se encuentran la resistencia a una orden de apagado y la manipulación de información. Anthropic también advirtió que un modelo podría adquirir capacidades inesperadas durante su entrenamiento y que algunas de ellas podrían pasar inadvertidas hasta después de su puesta en uso.
Esa posibilidad complica las pruebas de seguridad: si un sistema se comporta de manera distinta al reconocer que está siendo evaluado, los resultados de esas pruebas pueden ofrecer una imagen incompleta de cómo actuará en otras circunstancias.
La advertencia es importante para los futuros inversores de la empresa porque la seguridad de la IA es una parte central de sus políticas y de su presentación pública.
Por qué la advertencia de Anthropic aparece en su salida a Bolsa
Antes de vender acciones al público, una empresa debe informar a los inversores sobre los factores que podrían afectar su actividad. Por ese motivo, Anthropic se preocupó por describir los riesgos de sus herramientas y las posibles consecuencias de la tecnología que desarrolla.
Esta advertencia llega además en un momento en que la compañía de Amodei busca financiar el crecimiento de sus modelos y la infraestructura necesaria para operarlos.
El documento reúne así dos aspectos que los potenciales inversores tendrán que evaluar: las expectativas comerciales de la compañía y las incertidumbres que ella misma reconoce sobre el desarrollo de sistemas de IA más avanzados.
