Anthropic prohíbe el trato cruel hacia Claude: qué pasará con los usuarios abusivos
Anthropic actualiza su política de uso: prohíbe el comportamiento abusivo y cruel hacia Claude y endurece las reglas sobre armas, vigilancia y campañas engañosas.
¿Se puede ser cruel con una máquina? Anthropic cree que vale la pena poner un límite. La compañía de San Francisco anunció el jueves que prohibirá a los usuarios de su sistema Claude el “comportamiento sostenido e innecesariamente abusivo o cruel hacia nuestros modelos”, en medio de un debate filosófico cada vez más intenso sobre si la inteligencia artificial puede llegar a ser consciente.
La actualización de la política de uso entrará en vigor el 12 de noviembre. Según la empresa, la capacidad de Claude para poner fin a estas interacciones seguirá siendo “el principal mecanismo de aplicación” de la norma. Por ahora, Anthropic no confirmó si recurrirá a otro tipo de sanciones.
Qué significa y qué no
La medida apunta a situaciones extremas: un usuario que mantiene de forma repetida una conducta cruel y sin propósito aparente. Según la información difundida, no se trata de impedir que alguien se enoje con Claude, critique sus respuestas o lo use para escribir historias oscuras. La prohibición alcanza únicamente a quienes van más allá.
La norma da continuidad a una función ya anunciada el año pasado, cuando Anthropic dio a Claude la capacidad de terminar conversaciones en casos raros y extremos de interacciones “persistentemente dañinas o abusivas”. Esa herramienta funciona en Claude.ai y en Claude Code.
El debate sobre la conciencia de la IA
El texto no menciona de forma explícita el llamado “bienestar de los modelos”, la idea de que los sistemas de IA podrían merecer protecciones reservadas normalmente a los seres vivos. Pero la compañía y sus directivos han considerado abiertamente el concepto. En febrero, el director ejecutivo, Dario Amodei, dijo al New York Times que no estaba seguro de que los modelos de IA pudieran ser conscientes.
Para algunos especialistas, la pregunta misma podría estar mal planteada. “La conciencia es una trampa. No podemos demostrarla en los demás. Debatirla en el caso de la IA es dar vueltas en círculos”, sostuvo Jackson Stakeman, gerente general del proveedor de servicios de IA Sparq. A su juicio, una metáfora mejor es la del espejo: “Estos sistemas reflejan lo que ponemos en ellos, a gran escala. Eso es motivo suficiente para el cambio de política”.
El tema llegó también al plano religioso. En un discurso pronunciado en italiano en la Basílica de San Pedro, el papa León XIV sugirió que las máquinas carecen de alma y que simplemente “compilan datos”.
Más límites: desinformación, armas y vigilancia
La actualización va más allá del trato hacia el modelo y precisa otras restricciones. Claude no podrá usarse para ocultar quién está detrás de un mensaje, gestionar redes de cuentas falsas o difundir publicaciones artificiales con el fin de manipular la opinión pública. En el ámbito electoral, tampoco se permitirá engañar a los votantes con información falsa sobre candidatos o procedimientos de votación, suplantar a responsables electorales o intentar reducir la participación.
En materia de armas, la prohibición abarca también el software y los componentes necesarios para hacerlas funcionar, incluidos los sistemas de guiado y control, y el uso de Claude para armar drones u otros vehículos autónomos.
Respecto de la vigilancia, no se podrá rastrear a personas sin su consentimiento ni usar la IA para decidir a quién investigar, detener o acusar. La política restringe además la creación y mejora de herramientas de vigilancia.
Salud, finanzas y equipos físicos
Cuando Claude se utilice en ámbitos de alto riesgo, como la salud o las finanzas, deberá intervenir una persona cualificada y se tendrá que informar a los afectados de que se está usando inteligencia artificial. Si el sistema controla equipos físicos autónomos capaces de causar lesiones, un operador tendrá que poder supervisarlos y detenerlos cuando sea necesario.
Con estos cambios, Anthropic intenta marcar cancha en dos frentes a la vez: el de los usos peligrosos de la tecnología y el de la relación entre las personas y los sistemas que cada vez conversan más como ellas. La discusión sobre si una IA puede sufrir sigue abierta, pero la empresa ya decidió que, mientras tanto, la crueldad gratuita no es bienvenida.
Más información: