El error humano
Todo puede fallar, parece ser un aprendizaje que se repite, recientemente con consecuencias fatales. Los sistemas mejor diseñados, en una de esas probabilidades imposibles, en algún momento fallan. Cuando menos valor parece darse al ser humano ante sistemas infalibles que no lo son, hay momentos en que todo está en manos de los humanos.
OPINIÓN
Vivimos una contradicción en las organizaciones, la de implantar automatizaciones e inteligencia artificial con una promesa de infalibilidad mientras desplazamos el valor de las personas precisamente porque pueden equivocarse. Pero reconocer que el error es humano no resuelve la cuestión de quién asume la responsabilidad cuando la tecnología falla, porque falla y, lamentablemente, puede tener consecuencias fatales.
Un sistema de gestión ferroviario de alta velocidad integra posiblemente más automatizaciones y sistemas de control de los que la mayoría de las empresas puedan disponer. Lamentablemente hemos sido testigos de cómo todo puede fallar y, cuando todo falla, queda el ser humano al mando.
Me imagino que alguien responderá que precisamente es la oportunidad para integrar más automatizaciones y más inteligencia artificial. Incluso en un cohete espacial, que suma toda la tecnología disponible, en alguna ocasión todo falla y, si hay alguien a bordo, queda el humano al mando.
Hace unos días, un CTO me contaba que venían de delegar en la IA el desarrollo de aplicaciones con un equipo humano mínimo. Cuando algo fallaba se encontraban con una caja negra, es decir, ningún humano comprendía lo desarrollado y tenían que pedir al agente de IA que buscara el error que precisamente había generado. El algoritmo que crea el error ha de solucionarlo. ¿La conclusión? Reactivar la contratación y reforzar los equipos con humanos.
He contrastado mi punto de vista con Guada Cortés, controladora aérea durante 27 años y experta en factores humanos. Ella va más allá desde su amplia experiencia, las personas no deberían ser consideradas el último recurso cuando todo lo demás falla. Son parte esencial de la capacidad de adaptación y resiliencia del sistema, también cuando todo funciona aparentemente bien.
La tecnología puede fallar y el humano puede equivocarse: «Errare humanum est». La respuesta ha de ir en la dirección de cómo integrar o prevenir el error según sus consecuencias. Cuando no hay vidas en juego ha de ser una fuente de aprendizaje e innovación, Amy Edmondson hace de la seguridad psicológica un contexto laboral en el que los errores crean aprendizaje. Eso sí, los errores dentro de una intención de mejora, no por dejadez o falta de preparación.
Cuando un negocio o un mercado dependen de un posible error humano, hacen falta procedimientos y sistemas para evitarlo. Y cuando está en juego una sola vida, esa prevención es obligatoria: debemos incluir mecanismos que impidan incluso el fallo de los propios sistemas o tener respuestas de contingencia que eviten un daño mayor.
En ningún caso cuestiono que debamos invertir en más y mejor tecnología. Sin embargo, el escenario «¿Y si todo falla?» es un básico en cualquier marco de gestión de riesgo, ignorarlo es un error humano pero de gestión, no de operación.
Lo que sí cuestiono es que esa inversión en sistemas nos haga creer que abre la puerta a restar valor a las personas y a los equipos si cuando todo falla necesitamos su intervención. Hemos llegado a vivir algo inaudito, un país completamente apagado sin electricidad en el que una IA te servía para poco y el criterio volvía a ser humano.
Por eso, hablar del futuro del trabajo implica hablar del desarrollo de las capacidades más humanas. No basta quedarnos solo con incorporar tecnología: también necesitamos reforzar las capacidades de quienes han de trabajar con ella, en calidad y en cantidad.
Es sencillo hacer recaer el error en una persona operativa, cuando las preguntas que hemos de hacernos primero son: ¿hay suficientes personas para atender las tareas y la responsabilidad? ¿Tienen las herramientas y la información oportunas? ¿Tienen la formación requerida? ¿Hay factores para la desmotivación y la ausencia de compromiso? Porque el «venir motivado de casa» es una ingenuidad cuando el contexto te la hace perder desde primera hora de la jornada.
Si hay el conocimiento, la formación, los medios, el dimensionamiento adecuado, las herramientas, procedimientos correctos y la información disponible, puede ser un error humano. Si no es el caso, el error es humano, pero de gestión estratégica, de quien planifica y dirige. «Con gigantes nos hemos topado, Sancho» podría decir don Quijote.
La responsabilidad no se cede: necesitamos personas con formación y criterio para tomar decisiones. La IA amplía la capacidad de acceder a información, contrastarla y analizar opciones, pero esas posibilidades no sustituyen el juicio de quien decide. Por eso, el pensamiento crítico es irrenunciable para consejeros, ejecutivos y responsables de equipos.
Sin embargo, cuando prima una gestión cortoplacista para salvar el objetivo del trimestre falta estrategia, planificar a largo plazo es una inversión que erosiona el margen hoy. Por eso seguimos devaluando el talento humano hasta reducirlo a una línea de costes sociales en las cuentas.
La llegada de la IA se convierte entonces en una razón para recortar ese coste, una excusa cuando genera una deuda silenciosa de un talento que se pierde en capacidad e incluso en motivación y compromiso. Pero cuando todo falla —y puede fallar— exigimos a las personas el criterio y la responsabilidad que antes no parecían importar. Ahí encontramos la contradicción, el restarles valor mientras todo funciona y reclamarlo cuando más lo necesitamos sin asumir la responsabilidad por nuestras decisiones.
Lamentablemente, una tragedia ha de recordarnos que todo puede fallar. Mis más sentidas condolencias para las víctimas.