Software de IA falló en detectar robo de fentanilo por enfermero en hospital de Chattanooga
Software de inteligencia artificial falló durante meses en detectar a un enfermero robando fentanilo en el hospital más grande de Chattanooga.
CHATTANOOGA, TENNESSEE — Un enfermero del Hospital Erlanger Baroness robó fentanilo durante meses mientras que el software de inteligencia artificial diseñado para detectar el desvío de medicamentos falló en activar las alarmas, según una orden de consentimiento de la Junta de Enfermería de Tennessee.
Hace aproximadamente un año, el personal de anestesia notó que el enfermero arrastraba las palabras y luchaba por mantenerse despierto mientras trabajaba en el centro quirúrgico del hospital más grande de Chattanooga. El enfermero falló una prueba de drogas en los días siguientes y fue despedido, establece la orden.
El enfermero posteriormente admitió haber hurtado y abusado del fentanilo sobrante después de las cirugías, a veces a diario, durante meses según la orden de la junta de enfermería. Tomó las sustancias controladas de la instalación de salud y las usó él mismo.
Sistema de Monitoreo de IA Pasó por Alto Señales de Alerta
El caso se destaca porque Erlanger Baroness usa Sentri7, software de monitoreo de medicamentos impulsado por inteligencia artificial que está diseñado para detectar medicamentos faltantes más rápido de lo que pueden los humanos. El sistema se promociona como la línea de defensa más nueva contra el desvío de medicamentos, la toma ilegal de sustancias controladas de instalaciones de salud.
Durante meses en Erlanger, Sentri7 falló en marcar medicamentos faltantes y otras inconsistencias que “deberían haber sido marcadas”, según la orden de la junta de enfermería. El software pasa por alto lo que deberían haber sido señales obvias de advertencia de robo de medicamentos.
Se cree que el desvío de medicamentos está tan extendido que ocurre en prácticamente todos los hospitales de Estados Unidos. Las instalaciones de salud no están obligadas a revelar su implementación de software de monitoreo de IA o reportar fallas a los reguladores.
Supervisión Limitada de Sistemas de IA
El caso de Erlanger ofrece una perspectiva poco común de una aparente falla del software de IA para desvío de medicamentos usado en cientos de hospitales estadounidenses con poca transparencia o supervisión. No hay un registro completo de qué tan ampliamente se usan estos programas o qué tan seguido fallan en detectar robos.
Erlanger Baroness, también conocido como Erlanger Medical Center, declinó comentar sobre su uso de Sentri7 o sobre los medicamentos desviados. André Rebelo, portavoz de la división de salud de Wolters Kluwer, la empresa tecnológica holandesa detrás de Sentri7, se negó a responder preguntas sobre lo que pasó en Erlanger.
“Seguimos confiados en nuestro software”, dijo Rebelo según el reporte.
David Rastall, neurólogo e investigador de IA de Johns Hopkins Medicine, señaló la falta de transparencia alrededor de las fallas de tecnología de IA en entornos de salud. El caso no había sido reportado públicamente antes.
