El reciente escándalo de Deloitte Australia nos revela una verdad incómoda: en nuestra carrera por adoptar inteligencia artificial, estamos confundiendo eficiencia con valor, y automatización con criterio. Un informe de 439.000 dólares australianos con referencias fabricadas no es simplemente un error técnico: es el síntoma de un fracaso sistémico en cómo estamos integrando estas tecnologías (1).
La Falacia de la Automatización Total
Lo que ocurrió en Deloitte es particularmente elocuente porque sucedió en una firma que se dedica precisamente a la verificación. Nos muestra que cuando quitamos al «humano en el loop» – cuando eliminamos o debilitamos el eslabón humano de supervisión crítica – convertimos herramientas potencialmente valiosas en fuentes de riesgo sistémico.
La IA generativa como GPT-4o no «alucina» – simplemente ejecuta su diseño: predecir secuencias plausibles de palabras. El problema surge cuando confundimos esa capacidad lingüística con capacidad de juicio. Y es aquí donde la analogía con el sector salud se vuelve alarmante.
El Costo Real: Cuando los Diagnósticos se Convierten en Datos Ficticios
Imaginemos por un momento qué habría pasado si el caso Deloitte hubiera ocurrido en el sector salud:
– Diagnósticos generados por IA basados en artículos médicos que no existen
– Protocolos de tratamiento con referencias a estudios clínicos fabricado
– Decisiones de financiamiento sustentadas en evidencia inventada
Las consecuencias ya no serían meramente reputacionales o financieras, sino que se medirían en vidas humanas. El «reembolso» que ofreció Deloitte no tendría equivalente posible en un hospital cuando un diagnóstico erróneo conduce a un tratamiento incorrecto.
Hacia una Gobernanza con Propósito Público
Necesitamos repensar fundamentalmente cómo integramos estas tecnologías:
– Transparencia Radical: Todo resultado generado por IA debe venir con una «marca de agua» digital que identifique su origen y el nivel de supervisión humana recibida.
– Nuevas Capacidades Públicas: Los sistemas de salud necesitan desarrollar internalmente la capacidad de auditar, validar y gobernar estas tecnologías, no simplemente comprarlas a proveedores externos.
– Revalorización del Expertise Clínico: En lugar de ver la IA como reemplazo del juicio médico, debemos diseñarla como amplificación de ese juicio. El valor está en la simbiosis, no en la sustitución.
– Innovación Orientada por Misiones: Debemos dirigir el desarrollo de IA en salud hacia misiones claras: reducir inequidades, mejorar acceso, potenciar la prevención – no simplemente automatizar por automatizar.
La cuestión de fondo: ¿Innovación para qué?
El caso Deloitte nos obliga a preguntar: ¿estamos usando IA para crear valor real o simplemente para reducir costos a corto plazo? En salud, donde el valor se mide en bienestar humano, la respuesta debe ser clara. La solución no es rechazar la tecnología, sino gobernar con propósito. Necesitamos humildad para reconocer que la IA, por más avanzada que sea, no puede ejercer juicio ético, no puede comprender el contexto único de cada paciente, y no puede asumir responsabilidad por las consecuencias de sus recomendaciones. La verdadera innovación no está en quitar al humano del loop, sino en rediseñar el loop para que humanos y máquinas colaboren en crear valor público real. En salud, donde los riesgos son tan altos, esta no es una opción tecnológica: es una obligación moral.
Por Cender Quispe
Link a artículo mencionado: https://www.afr.com/companies/professional-services/academics-raise-alarm-over-suspected-ai-use-in-deloitte-report-20250822-p5mp0f