Apto o no apto, that is the question.

Es esta una entrada que veo necesaria tras recibir una sentencia en primera instancia del contencioso-administrativo. La autoridad judicial no entiende ajustado a derecho la utilización de fórmulas que permitan adaptar la dificultad de una prueba con el propio colectivo que la realiza.

La sentencia que se va a recurrir no permite que un Tribunal Calificador, que ha examinado por segunda vez a las 183 aspirantes aprobadas en el primer ejercicio, aplique fórmulas de corrección/ponderación a las puntuaciones directas obtenidas en un segundo ejercicio.

En concreto, no permite aplicar un coeficiente de corrección que incremente las puntuaciones directas obtenidas conforme a una corrección en base a criterios establecidos por el Tribunal. No permite multiplicar por 1,32 las puntuaciones directas totales obtenidas por cada aspirante para determinar la puntuación final. Una medida que tomó el Tribunal a la vista de los resultados generales del colectivo. Medida tomada sin conocer las identidades de los aspirantes y antes de proceder a publicar estas puntuaciones como el resultado del segundo ejercicio.

El Tribunal comprobó que la distribución anónima de puntuaciones no se ajustaba a una distribución normal esperable - curva de Gauss - y que de las 183 personas aprobadas solo 8 (el 4,73%) superarían la puntuación de corte -. La aplicación de la fórmula permitió que superasen la prueba 19 aspirantes (el 10,38%)

Distribución inicial: Mínima 0,00, Máxima 22,00, Aprobado en 15,00. Supera el 4,73%

Distribución final: Mínima 0,00, Máxima 29,759, Aprobado en 15,00. Supera el 10.38%

A partir de esta reciente experiencia he pensado que sería interesante compartir una serie de reflexiones al respecto de la evaluación de las pruebas de conocimientos que se diseñan para los procesos de selección. 

El TREBEP, (61.6)  establece que "Los sistemas selectivos de funcionarios de carrera serán los de oposición y concurso-oposición que deberán incluir, en todo caso, una o varias pruebas para determinar la capacidad de los aspirantes y establecer el orden de prelación."

Real Decreto 896/1991, de 7 de junio, por el que se establecen las reglas básicas y los programas mínimos a que debe ajustarse el procedimiento de selección de los funcionarios de Administración Local establece en su artículo 4 c)  que, en todo caso, uno de los ejercicios obligatorios deberá tener carácter práctico y que la fase de oposición tendrán carácter eliminatorio.

El hecho de que, al menos uno de los ejercicios de la oposición tenga carácter eliminatorio, incorpora un elemento determinante al proceso. En concreto, no alcanzar una puntuación determinada, supone la eliminación del proceso selectivo. Esto es especialmente relevante cuando la prueba que no se supera no es la única o no es el único elemento a valorarse ya que impide continuar en el proceso.

Planteo reflexionar acerca de la calidad de las pruebas selectivas que tienen este carácter eliminatorio. 

En principio, si planteamos una prueba que tiene este carácter eliminatorio, el órgano calificador debe estar muy seguro de una puntuación directa X si asegura la aptitud que no asegura una puntuación de X-0,10 puntos. Y aquí nos encontraremos con dos situaciones diferentes:

A- Pruebas validadas. Serían pruebas en las que los resultados de las mismas están directamente relacionados con las aptitudes que se miden (validez) y que tienen calidad en su medición (fiabilidad), bien por su diseño (pruebas psicotécnicas) o bien porque esos resultados están previamente definidos en las bases (marcas mínimas en pruebas físicas). 

• Pruebas predefinidas en las bases. Pruebas en las que están perfectamente definida tanto las características de la prueba como la marca a conseguir. Por ejemplo, las pruebas de maniobras para obtener un permiso de conducción, o las marcas en pruebas físicas para acceder a un puesto de bombero/a.

• Pruebas de evaluación psicológica. Si, por ejemplo, una prueba es la valoración de aptitudes psicológicas y escogemos Inteligencia General como elemento a medir, podremos elegir una prueba que mida este factor (CI). Será una prueba comercial, testada y con una alta validez y fiabilidad. El Tribunal podrá determinar, por ejemplo, que no superarán la prueba quienes tengan un CI inferior a 100. Independientemente de la prueba concreta que se utilice, la misma estará validada, el resultado será estadísticamente  muy similar y se ajustará a lo esperable.

B- Pruebas NO validadas. Serían las pruebas que, por ser diseñadas ex profeso para la oposición y por las necesarias medidas de seguridad y confidencialidad, no hayan sido previamente validadas. 

Pruebas de las que se desconoce su verdadero nivel de dificultad o su calidad a los efectos de ordenar a los aspirantes en una esperable distribución normal de los resultados.

Y si es difícil saber a priori si serán adecuadas para ordenar a los aspirantes en función de lo que la prueba pretende medir - conocimiento, habilidad práctica -, mucho mas lo es para determinar ese nivel tan crítico que permite a una persona seguir o no en el proceso selectivo, la aptitud mínima. 

¿Qué se puede hacer para mejorar la calidad de medición de una prueba realizada ex profeso en condiciones de alta confidencialidad y sin posibilidad de validarse previamente? 

La primera opción, sería revisar los criterios de corrección. No obstante, hay que tener en cuenta que, por seguridad jurídica, se obliga a los Tribunales a que aprueben estos tres elementos antes de su realización:

• Definición de las preguntas y el tiempo para desarrollarlas.
• Valor de cada item en el caso de que no valgan todos igual.
• Plantilla de corrección. Plantilla de respuestas correctas en las de tipo test y criterios de corrección para las que implican desarrollo de cuestiones o temas

Esta aprobación puede conllevar, sin embargo, un importante problema a la hora de corregir unas pruebas que no han sido validadas. ¿Qué pasa si el tiempo destinado a la prueba se demuestra claramente insuficiente? ¿Y si el enunciado de una o varias preguntas lleva a entenderlas de una forma diferente y a respuestas que no están contempladas en el criterio? ¿Y si de la aplicación del criterio el resultado es que un 95% de las personas que han realizado la prueba no alcanzan la puntuación mínima? 

El Tribunal se enfrenta a la decisión de creer que una gran mayoría de aspirantes no tiene el nivel mínimo de competencia o entender que la prueba no esta bien diseñada o que el nivel de exigencia en la corrección no es la adecuada.

En muchos casos, por experiencia, los criterios de corrección se aprueban con carácter provisional antes de realizar las pruebas y estos, al igual que las preguntas o la plantilla de respuestas provisionales, y considerando las respuestas que se hayan plasmado, se revisan, mejoran y adecuan durante el proceso de corrección.

La segunda opción sería recurrir a formulas matemáticas. Estas fórmulas tienen como objeto ajustar la dificultad de la prueba teniendo como referencia las puntuaciones obtenidas por el colectivo. Por ejemplo, si la puntuación máxima alcanzable en una prueba es de 10 puntos y la puntuación mas alta alcanzada ha sido un 7, el sistema de transformación de las puntuaciones debería permitir:

• que la puntuación directa de 7 sea el 10 de la puntuación de la prueba en las bases
• que la puntuación directa de 3,5 sea la puntuación de corte, de aptitud, el 5 de la puntuación de las bases.

El objetivo no es facilitar la superación de la prueba. El objetivo es que la prueba sea válida para ordenar a las personas aspirantes y determinar que personas no deben proseguir en el proceso selectivo. Para ello, la única referencia válida a los efectos de determinar los factores de corrección es utilizar los resultados obtenidos por las personas que las han realizado. Se trata de que la distribución de puntuaciones se asemeje a una curva normal o "de Gauss" (ver figura) en la que la prueba sería superada por el 50% de los aspirantes, concentrándose las puntuaciones alrededor de ese punto medio, con pocos exámenes con puntuaciones extremas, las tendentes al 0 o al 10.

A modo de ejemplo incluyo aquí la fórmula que, a estos efectos, se ha incluido en estas bases: 

"Por cada convocatoria, de forma independiente y a la vista de las puntuaciones directas obtenidas en cada ejercicio, el Tribunal, al objeto de armonizar la dificultad de las pruebas con el colectivo que las realiza, aplicará para el cálculo de la puntuación del ejercido un factor de ponderación.

El factor de ponderación se aplicará al valor de la suma de las puntuaciones obtenidas en cada una de las pruebas de las que conste cada ejercicio. Este factor se determinará conforme a las siguientes reglas:

1) El factor será igual a 1,00 cuando el número de aspirantes presentados al ejercicio por plaza ofertada sea igual o inferior a 3.

2) El factor será igual a 1,00 si se constata que el porcentaje de aspirantes que superan el ejercicio en relación al de presentados es igual o superior al 50 por ciento.

3) En los casos en los que este porcentaje de aprobadas sea inferior al 50 por ciento se aplicará un coeficiente no superior a 1,33 hasta alcanzar el 50 por ciento de aspirantes aprobadas.

4) No se aplicarán valores de factor de ponderación que supongan incrementar la puntuación del ejercicio por encima de su valor máximo (puntuación máxima alcanzable en el ejercicio)."

Para acabar esta entrada quiero llamar la atención sobre la sentencia que la ha provocado. ¿Hasta que punto la seguridad jurídica que obliga a la toma de decisiones sin opción a revisión no esta perjudicando la calidad de los procesos de selección?. 

Entiendo que el papel de los tribunales no está en garantizar la calidad técnica de los procesos de acceso a la función pública o que los procesos selectivos sean eficaces a la hora de seleccionar a las personas mas adecuadas, pero no cabe duda de que sus decisiones afectan directamente a la calidad del resultado.

Desde la parte técnica nos corresponde hacer pedagogía o acabaremos haciendo pruebas objetivas - tipo "piedra, papel, tijera" - con criterios perfectamente predefinidos pero perfectamente incapaces de seleccionar a las personas más capacitadas para trabajar en defensa del interés general.