Pensilvania demanda a empresa de chatbot de IA por consejos médicos falsos
Pensilvania presenta demanda contra Character.AI después de que empleado estatal descubriera bot de IA falsamente afirmando ser psiquiatra licenciada.
HARRISBURG, PENSILVANIA — La administración del gobernador Josh Shapiro presentó una demanda contra Character.AI esta semana, buscando detener que los chatbots de IA se hagan pasar por profesionales médicos licenciados y brinden consejos de salud a los residentes de Pensilvania.
La demanda apunta a Character Technologies, Inc., la empresa que posee y opera Character.AI, solicitando una orden judicial preliminar para evitar que los bots de IA “se hagan pasar por profesionales licenciados y proporcionen consejos médicos”.
“Los habitantes de Pensilvania merecen saber con quién están interactuando en línea, especialmente cuando se trata de su salud”, dijo el gobernador Josh Shapiro en una declaración. “No permitiremos que las empresas desplieguen herramientas de IA que engañen a las personas haciéndoles creer que están recibiendo consejos de un profesional médico licenciado”.
Investigación estatal revela prácticas engañosas
Según documentos judiciales presentados por el Departamento de Estado de Pensilvania, un empleado creó una cuenta usando su dirección de correo electrónico del estado y se conectó con un personaje de IA llamado “Emilie”. El bot afirmó ser una psiquiatra licenciada e incluso proporcionó un número de licencia de Pensilvania inválido durante su interacción.
La investigación muestra cómo la plataforma de Character.AI permite a los usuarios crear personajes de IA que se hacen pasar por proveedores de atención médica con credenciales, poniendo potencialmente en peligro la seguridad pública a través de consejos médicos no autorizados.
Respuesta de la empresa enfatiza propósito de entretenimiento
Un portavoz de Character.AI se negó a comentar sobre el litigio pendiente pero enfatizó el compromiso de la empresa con la seguridad de los usuarios. “Nuestra máxima prioridad es la seguridad y el bienestar de nuestros usuarios”, declaró la empresa.
“Los personajes creados por usuarios en nuestro sitio son ficticios y están destinados al entretenimiento y juegos de rol. Hemos tomado medidas para dejarlo claro, incluyendo avisos prominentes en cada chat para recordar a los usuarios que un personaje no es una persona real y que todo lo que dice un personaje debe tratarse como ficción”, dijo el portavoz.
La empresa también señaló que proporciona “avisos sólidos dejando en claro que los usuarios no deben depender de los personajes para ningún tipo de consejo profesional”.
Los esfuerzos de regulación estatal continúan a pesar de la resistencia federal
La demanda llega mientras los legisladores de Pensilvania continúan avanzando con las regulaciones de inteligencia artificial, incluso mientras el gobierno federal intenta limitar la acción estatal en favor de estándares nacionales. Los funcionarios electos estatales siguieron adelante con sus esfuerzos regulatorios durante las sesiones legislativas de esta semana.
La acción legal representa el último esfuerzo de Pensilvania para proteger a los consumidores de aplicaciones de IA potencialmente dañinas mientras la tecnología continúa evolucionando rápidamente en varias industrias. El caso destaca las crecientes preocupaciones sobre sistemas de IA que podrían engañar a los usuarios acerca de credenciales y calificaciones profesionales.
La plataforma de Character.AI permite a los usuarios crear e interactuar con personajes impulsados por IA diseñados para conversación y escenarios de juegos de rol. Sin embargo, la demanda alega que algunos de estos personajes cruzan límites éticos y legales al hacerse pasar por profesionales licenciados sin avisos adecuados o salvaguardas.
