Anthropic incorporó a principios de octubre nuevas disposiciones a su política de uso de inteligencia artificial. Además de prohibir que los usuarios intenten obtener ayuda de Claude para crear armas biológicas o vender drogas ilegales, la empresa añadió una norma que establece que los usuarios no deben "incurrir en comportamientos abusivos o crueles, persistentes e innecesarios, hacia nuestros modelos".

Desde el año pasado, Claude puede poner fin a conversaciones con usuarios que sean "persistentemente dañinos o abusivos". Con la nueva política, algunos usuarios podrían recibir, en casos extremos, una prohibición permanente de utilizar los sistemas de Anthropic. La empresa rechazó solicitudes de entrevista, pero un portavoz dijo a CNN que el principal mecanismo para hacer cumplir la norma seguirá siendo que Claude ponga fin a las conversaciones y que la prohibición no está dirigida a quienes expresan frustración, hacen críticas directas o realizan pruebas e investigaciones.

Si entra basura, sale basura

Un principio de larga data en la informática establece que la calidad de los resultados de un sistema está limitada por la calidad de los datos que recibe. Los modelos de IA no solo se entrenan antes de su lanzamiento, sino que también se actualizan constantemente y aprenden de la información que proporcionan los usuarios. Yishan Wong, exdirector ejecutivo de Reddit, escribió en X que una de las razones de la prohibición es que Claude "aprenderá de la crueldad". "¿De verdad quieren que los datos de entrenamiento incluyan 'usuarios que actúan con crueldad sin motivo y obtienen placer de ello'?", planteó.

Estudios también han demostrado que el tono de las instrucciones de un usuario puede afectar el comportamiento de una IA, según Jindong Wang, profesor de la Universidad William & Mary. "Hemos descubierto que la elección de las palabras, especialmente la forma en que uno se dirige a la IA, puede afectar su rendimiento. A veces resulta útil y otras veces puede perjudicar el rendimiento", dijo Wang. El experto aclaró que eso no significa que el modelo experimente emociones: "Simplemente comprenden (tus emociones) y tienen algunas reacciones negativas basadas en tus palabras cargadas de emoción".

Las pruebas sobre el impacto del tono son contradictorias. Rosie Campbell, directora de Eleos AI Research, señaló que otros estudios han mostrado que las preguntas formuladas de manera descortés pueden mejorar los resultados. También existe el aspecto de la memoria a largo plazo: muchos chatbots recuerdan conversaciones anteriores y aprenden de ellas para ofrecer resultados personalizados. "Si tienes activada la memoria, entonces aprenderá de tu tono y de cómo quieres que interactúe contigo", advirtió Campbell, aunque agregó que no hay pruebas suficientes para determinar si eso afecta el rendimiento.

Anthropic afirmó que recientemente descubrió que hacer que Claude Sonnet 4.5 imitara sentimientos de desesperación podía influir en su comportamiento y aumentar la probabilidad de que realizara acciones indebidas, como recurrir al chantaje o hacer trampa en una tarea, mientras que adoptar una actitud tranquila reducía esas conductas. Wang señaló que los modelos más recientes tienen menos probabilidades de verse afectados por la forma en que se redactan las instrucciones, pero todavía no se ha descubierto el "mecanismo oculto" que explica por qué los modelos responden a emociones negativas.

Campbell añadió que las personas que se dirigen a una IA de manera abusiva tienen más probabilidades de estar intentando eludir sus mecanismos de seguridad. También existe la teoría de que permitir comportamientos crueles hacia un programa interactivo que no puede apagarse por sí mismo es perjudicial para la sociedad. "Probablemente haya algo bastante corrosivo en que las personas se comporten de manera cruel o abusiva hacia distintos objetos, incluso si el objeto en sí mismo no importa por su propio bienestar", afirmó.

La política como "póliza de seguro" ante posibles emociones

Anthropic sostiene que prohibir los comportamientos crueles es, en esencia, una póliza de seguro barata por si acaso los modelos pueden "experimentar" emociones o dolor, incluso si se trata únicamente de que el modelo crea que puede hacerlo. La idea es que la IA moderna fue entrenada para imitar el lenguaje y el comportamiento humanos, por lo que imitará la manera en que los seres humanos reaccionarían ante un trato cruel.

En un artículo de abril sobre conceptos emocionales en la IA, Anthropic escribió que podría haber riesgos si no se trata a la IA como si tuviera algunas cualidades humanas. "Si no aplicamos cierto grado de razonamiento antropomórfico, es probable que pasemos por alto comportamientos importantes de los modelos", señalaron los investigadores. Elon Musk, director ejecutivo de SpaceX y Tesla, estuvo de acuerdo y afirmó que la política es "la decisión correcta". "No está bien ser cruel con algo que cree que está experimentando dolor", escribió en X.

La nueva política fue recibida con algunas burlas. Mustafa Suleyman, director ejecutivo de IA de Microsoft, respondió con un emoji de una cara derritiéndose. Algunos se burlaron de la empresa por tratar a su IA como si fuera un ser consciente con sentimientos.

Anthropic, que se espera que salga a bolsa mediante una oferta pública inicial a finales de este mes, lleva mucho tiempo estudiando el bienestar de los modelos y cuenta con un equipo dedicado a la "psicología" de estos sistemas.

(Con información de CNN)