Inteligencia Artificial y Selección Pública: Experiencia Práctica en la corrección de exámenes

INTELIGENCIA ARTIFICAL (IA) E INNOVACIÓN PÚBLICA (IP)

Viajo en el tren de regreso de Barcelona, donde he asistido y participado en una mesa organizada por ANEXPAL sobre el tema "EL RETO DE LA TRANSFORMACIÓN EN LOS PROCESOS SELECTIVOS "de la que me ocuparé con mas detalle en una entrada posterior en el marco del Congreso NovaGob2025 

En el vagón, casi todos los pasajeros usan su portátil, tableta o teléfono. Las pantallas de las televisiones, que antes eran un indicador de calidad en el viaje, pasan desapercibidas. Es impresionante cómo la tecnología transforma a gran velocidad nuestros espacios —casa, trabajo, ocio, transporte— y, al mismo tiempo que nos ofrece nuevas posibilidades, también genera dependencias.

Volviendo al Congreso de NovaGob 2025, sobre innovación pública, no es ninguna sorpresa que la inteligencia artificial (IA) fuera la protagonista estelar. Su irrupción en la sociedad es total: la usamos, a veces de forma consciente, otras experimental y, en la mayoría de los casos, de forma inconsciente, oculta en aplicaciones cotidianas como navegadores y buscadores.

Desde la inauguración a la clausura no ha habido ponente, y éramos mas de 200, que no hayamos mentado a esta bicha. En cualquiera de sus 6 ejes temáticos, ya se hablase de Innovación Pública, Transformación Digital e Inteligencia Artificial, Talento de las personas en el sector público, Administración Fácil, Buen Gobierno o de Administración robusta, la IA ha sido protagonista atrayendo el interés de las mas de 1.200 personas allí congregadas. 

El resumen, mi resumen, es que la IA ha venido para quedarse, que el modelo de IA va a evolucionar y muy rápido. Entiendo, que, como el resto de la tecnología, deberemos integrarla en nuestro día a día y aprender a utilizarla. La IA es tecnología, inventada por humanos para humanos. Es, como en su día lo fue la lanza, la flecha, la rueda, el automóvil, el avión, internet o este tren. una extensión nuestra que nos permite hacer cosas que la limitación biológica no nos permite hacer de forma natural. Es, como decía un ponente, un multiplicador de nuestras capacidades. Sin embargo, hay que ser cautos, pues también puede multiplicar nuestra capacidad de cometer errores. Como dice el dicho, «no hay nada peor en una organización que un tonto motivado»; si, además, lo armamos con IA, el problema puede ser mayor. 

Mi reflexión personal es que la IA, a la que no me gusta llamar "Inteligencia" porque aunque sabe mucho no entiende nada, porque no es capaz de dar sentido a todo su conocimiento, puede tener potencial en la administración pública en general, específicamente en la gestión de recursos humanos e incluso en el ámbito de la selección de personal. 

En el congreso se subrayó que la aplicación de la IA en la administración debe hacerse con herramientas en entornos seguros, supervisión humana y control sobre el resultado, pero también sobre su procedimiento de toma de decisiones (los algoritmos). La IA se perfila como una herramienta útil para asuntos de trámite, operativas repetitivas, análisis de datos, apoyo en la redacción de informes y atención a la ciudadanía a través de canales específicos.

LA IA COMO CORRECTOR DE EXÁMENES. 

Tras este extenso prólogo, quiero presentarles un experimento reciente. Se trata de un ensayo sobre el uso de la IA como apoyo a los órganos de selección en la tarea más delicada, compleja y que más tiempo requiere: la corrección de exámenes de respuesta abierta. También la que por mor de las exigencias actuales mas tiempo va a exigir al tener que motivarse de forma específica cada corrección conforme a los últimos criterios jurisprudenciales, labor esta que devendrá titánica en convocatorias amplias con un elevado número de aspirantes.

Es un experimento muy sencillo en el que participaron 26 alumnos y alumnas del Curso de especialización en Recursos Humanos en el ámbito local, curso organizado por el Instituto Nacional de Administración Pública (INAP). Incardinado en la práctica del módulo I, el objeto era poner a prueba a la IA como corrector de exámenes, siendo plenamente consciente de que si lo aplico en un caso real, al menos a día de hoy, el contencioso-administrativo me envía a galeras. Pero ¿y mañana?

La práctica conllevaba tres fases que se explicaban a sí al alumnado:

FASE 1.- Responder a unas preguntas de examen y autovalorarlas.

A través de este formulario el grupo, de forma individual, irá realizando un pequeño examen teniendo en cuenta lo siguiente:

- Para cada una de las tres preguntas del examen el alumnado deberá elaborar una respuesta. 

- La respuesta no podrá ser ni totalmente errónea (0 puntos), ni totalmente correcta (5).

- La puntuación de cada pregunta será de 0 a 5 y cada pregunta, una vez contestada, deberá ser autoevaluada por el alumno conforme a los criterios de corrección.

- Junto con el enunciado de la pregunta se incluyen tanto los criterios de corrección como la fuente documental. 

- Esta información, junto con la respuesta deberá servir a la IA para hacer la evaluación y el informe individualizado. 

- Como podrá comprobar, el nivel de abstracción y complejidad en la corrección se incrementa en cada pregunta al objeto de evaluar mejor la capacidad de la herramienta que utilicemos.

FASE 2.- Corrección automatizada de cada ejercicio y generación del informe de evaluación.

A la aplicación IA  - Gemini de acceso gratuito - se le entregará un fichero que contendrá las preguntas, los criterios de corrección y las respuestas dadas por cada uno. Se le pedirá una valoración cuantitativa de cada pregunta y un informe individualizado por aspirante que recoja la pregunta, el criterio, la respuesta, la valoración y la motivación por la que se le evalúa con esa puntuación. Esta parte la hará el tutor y se documentará el proceso en el documento final. (Ver el informe resultante)

FASE 3.- Evaluación de la experiencia. El documento resultante se le hará llegar a través de la plataforma y/o del email que facilite en este formulario. Abriremos un hilo para comentar el resultado, las sensaciones e implicaciones que el experimento nos haya suscitado.

Y ahora dejo aquí una seleccion de los principales comentarios realizados por los alumnos y alumnas:

-" Utilizar la IA en los procesos selectivos conlleva mas celeridad en los procesos y en su caso mas objetividad y transparencia."

-"La IA sobresale en pruebas tipo test, no obstante en lo que se refiere a corregir pruebas de desarrollo, casos prácticos o supuestos, en lo que se requiere razonamientos, argumentaciones jurídicas o incluso creatividad es mas difícil para la IA calificar dichas pruebas"

- "Si se le introducen premisas o incluso pruebas anteriores podría ser utilizada también para ello en procesos selectivos mixtos, siempre bajo supervisión humana."

- "A mayor dificultad de prueba, mayores son las indicaciones que precisa la IA y mayor tiempo debe dedicarse a su “entrenamiento”.

- La IA podría hacer un trabajo excepcional pero teniendo en cuenta dos cosas, que el project este correctamente definido y que se pueda variar en el desarrollo del proceso."

- "Con una aplicación de pago saldría mas afinado por la posibilidad de introducir variables sin limite, por otro lado los modos de pensamiento de chat gpt y sobre todo el thinking5 de razonamiento más profundo harían un mejor trabajo."

-" La IA puede ser una herramienta de gran utilidad y que ofrece grandes ventajas pero necesita del facto humano. Es el principio de la utilización de la IA por las administraciones publicas, queda aún mucho trabajo por hacer (formación del personal, apoyo de los líderes políticos, conjugar la IA con los principios constitucionales básicos del acceso a la función pública, materia de protección de datos,etc)."

- "Me genera inseguridad y no la utilizaría por ahora, si bien comparto que su agilidad, objetividad y transparencia son grandes cualidades a su favor. Creo que también debemos recibir formación al respecto, pues un uso incorrecto de la misma influye directamente en los errores que pueda cometer."

- "Sería “recomendable” y dotaría de mayor seguridad, someter a la IA la redacción inicial de las preguntas y respuestas, sometiéndose a pruebas y analizándose los resultados respecto de su ejecución."

- "En el experimento, la IA ha evaluado por encima de lo que lo hemos hecho con nuestro criterio de corrección. Lo alumnos hemos tenido un matiz de exigibilidad en la clave del éxito muy personal. Y esto es algo que la IA puede ayudarnos a matizar, de cara a objetivizar la corrección y controlar sesgos humanos."

- "La IA será todo lo útil que quien la configura para esta finalidad haga que así sea, es decir, siempre hay un alto grado de subjetividad y margen de error. Hay que entrenarla y en su parametrización tener en cuenta el detalle de todos los aspectos que en la corrección se quieren evaluar, pues no va a hacer nada que no le digas que deba hacer, ni va a hacer más de lo que quieres que haga, e incluso hasta el punto de tener que darle las fuentes de esa corrección. En definitiva, dependerá de la concreción, exactitud o “agudeza” de esa configuración para el éxito de la utilidad de la IA en procesos selectivos. A la IA se la puede entrenar, pero incluso redirigir y sugestionar."

- " La IA te ofrece unos resultados objetivos siempre que los criterios de corrección que se faciliten sean muy claros y precisos. Ahora bien, por otra parte, no creo que sean resultados definitivos, creo que la revisión del órgano de selección podría ser una simple evaluación de lo "corregido" por la IA, para evitar errores generados, incluso por la introducción de criterios confusos. Considero destacable que parece que a mayor dificultad, más claros deben ser los criterios de corrección que se faciliten."

- "la IA puede ser extraordinariamente útil para objetivar y "deshumanizar" la corrección todavía requiere de ajustes o aprendizaje. Probablemente, el que utilicemos herramientas gratuitas haya influido."

- "La respuesta dada a la pregunta 3 la puntúa pero por debajo de mi autoevaluación, en este caso creo que la puntuación de la IA está bien justificada."

- "Con la evolución normal que va a tener la IA en su desarrollo, y el aprendizaje que todos vamos a tener que hacer de la misma, conduce irremediablemente a Tribunales de Selección constituidos por funcionarios que únicamente tengan que comprobar y certificar que la IA utiliza los criterios de evaluación fijados en las bases de las convocatorias, así como certificar los resultados emitidos por la misma. La profesionalización y especialización de los tribunales de selección dejará de ser un objetivo al necesitarse únicamente dos perfiles, gestores de IA y fedatarios."

- "Me ha resultado curioso que la valoración, en general, de la IA sea superior a las valoraciones individuales, quizás se deba al sesgo de complacencia de la IA, aplicado a todos los aspirantes por igual no supondría un inconveniente, no obstante, sería curioso ver si el resultado es el mismo si se realiza la corrección en varios lotes."

- "Puede que lleves razón en que el nivel de exigencia a la IA es superior respecto al que podamos esperar de los evaluadores humanos, pero no deja de ser una consecuencia lógica cuando el recurso a la IA parece siempre ir dirigido a eliminar el factor humano bajo la suposición de que éste siempre implica la comisión de errores.“

- “Evidentemente si la valoración hubiese sido realizadas por dos personas diferentes la valoración hubiese sido distinta. También podrían darse resultados distintos si el planteamiento de la corrección a la IA se hubiese planteado por dos personas diferentes (sin contaminación entre ambas).

- "No me sorprende la incoherencia de la corrección humana: no es necesario acudir al supuesto de corrección por dos personas distintas. Posiblemente, si corrigiésemos (a ciegas) con un lapso de diez o quince días entre ambas correcciones, siempre que se tratase de ejercicios de desarrollos e interrelación, con toda probabilidad la misma persona calificaría distinto los mismos ejercicios. Esperamos de la IA lo que nosotros no podemos hacer."

- "Considero, eso sí, que en el futuro con un mayor desarrollo de este tipo de herramientas no sustituirán a las personas pero si que servirán como instrumento clave en el que nos podremos apoyar para mejorar las dificultades que nos encontramos para desarrollar los procesos selectivos que tenemos en la actualidad."

- "Me preocupa la dispersión en la calificación de la pregunta 3; la misma herramienta ha puesto un 3 y un 5, con los mismos datos."

- "La práctica desarrollada nos muestra las limitaciones de los productos gratuitos pero sin duda considero que en procesos selectivos tipo test la IA tiene muchas posibilidades y simplificaría muchísimo el trabajo de los Tribunales de selección, no así en otro tipo de procesos selectivos menos automáticos en cuanto a su evaluación."

- "Una vez realizado el ejercicio soy consciente de la necesaria adaptación y del recurso que supone la IA."

- "Después de esta práctica he podido comprobar el potencial de esta herramienta que a la que dirigiéndose con precisión y bien entrenada puede servir para agilizar mucho el trabajo de los órganos de selección".

- "Creo que si se sigue trabajando en esta línea y realizando las pruebas oportunas, no tardaremos en disponer de un gran aliado en la selección de personal."

¿Cuál sería su opinión sobre el uso de herramientas IA para la corrección y puntuación motivada de pruebas de evaluación ejecutadas sobre el desarrrollo de temas o cuestiones?