Oposición versus Concurso.

En la entrada anterior, "Apto, o no apto, that is the question", invitaba a reflexionar sobre la importante decisión que deben asumir los Órganos de Selección cuando establecen las puntuaciones directas que un aspirante debe alcanzar para continuar en el proceso selectivo, la calificación de supera en el ejercicio. 

No es un tema baladí teniendo en cuenta que las pruebas que se realizan - conocimientos y prácticas - se diseñan específicamente para la ocasión, en condiciones de seguridad y secretismo y por lo tanto, sin una validación previa en cuanto a su eficacia como elemento de evaluación. Eso si, con la seguridad jurídica suficiente para impedir continuar en el proceso. En algunos caso incluso, sin llegar a cubrir la oferta total de vacantes.

La entrada de hoy quiere llevarle a reflexionar sobre el auténtico valor de la fase de oposición en un proceso selectivo, de su capacidad de incidir en la ordenación final de los candidatos.

Antes de entrar en harina creo que debemos tener presente el Artículo 61 del TEBEP. Sistemas selectivos, y en concreto su apartado 3.

3. Los procesos selectivos que incluyan, además de las preceptivas pruebas de capacidad, la valoración de méritos de los aspirantes sólo podrán otorgar a dicha valoración una puntuación proporcionada que no determinará, en ningún caso, por sí misma el resultado del proceso selectivo.

Tendremos que tener en cuenta que, por ley, el diseño del proceso selectivo cuando se trata de un concurso-oposición no puede convertir en decisiva la fase de concurso.

La fase de oposición se caracteriza por tener dos funciones, una la de filtrar aspirantes - pruebas obligatorias y eliminatorias - y otra por ordenarlos, conforme a la puntuación obtenida.

Generalmente los ejercicios de la fase de oposición tienen asignada, además de una puntuación máxima, una puntuación mínima de corte. En la mayoría de los casos sería el 50% de la máxima. Esto significa que la capacidad de ordenar que tiene la fase de oposición es del 50% de su puntuación máxima.

La fase de concurso, reservada a quienes haya superado la de oposición, no es eliminatoria por lo que el 100% de la puntuación que se puede obtener en ella afecta a la ordenación final.

En definitiva, un proceso selectivo en el que el 55% corresponda a la fase de oposición y el 45% a la de concurso (- máximo admitido por STC 67/1989 en caso excepcionales - ) llevaría implícito que las personas que superasen la fase de oposición distribuirían sus puntuaciones con un peso de 45 puntos de concurso y 27,5 de la oposición. 

Me cuesta entender como el Tribunal Constitucional considera que una relación de 62% a favor de la puntuación del concurso, frente a un 37,5% del peso de la puntuación que se pueda obtener en la oposición tras aprobar el ejercicio, sea proporcionada y que no determina por sí misma el resultado del proceso selectivo.

Esta situación, a mi juicio perversa, se incrementa exponencialmente en aquellos procesos de selección en los que la fase de oposición se diseña con el objetivo de que el porcentaje de personas suspendidas sea el menor posible. Me refiero a los procesos selectivos que buscan consolidar personal interino evitando que no queden eliminados en la fase de oposición. De esta forma, evitarían la eliminación y compensarían las puntuaciones de con las obtenidas en la fase de concurso. 

Las herramientas para diluir la capacidad de seleccionar de la fase de oposición son bien conocidas por los representantes del personal interino: pruebas tipo tests que no penalizan los errores (90% de aprobados), minimalismo de los temas, que se reducen a unos pocos artículos, baterías de preguntas a partir de las cuales se seleccionarán las que van a conformar el examen.... 

En cualquier caso, perversiones que, si bien están amparadas por los Tribunales del ámbito contencioso-administrativo entendiendo que se respetan las formas, son como un misil en la línea de flotación del barco del acceso a la función pública. Guardamos las formas pero no cumplimos con el objetivo de seleccionar a las personas mas competentes.

Aprovecho esta entrada para presentar una serie de sugerencias encaminadas al cumplimiento de los principios de igualdad, mérito y capacidad en los procesos de acceso mediante concurso-oposición y del mencionado artículo 61.3 del TREBEP, en el sentido de que la fase de concurso no sea tan determinante en el resultado final del proceso.

Si el lector es responsable del diseño de procesos selectivos estas propuestas le ayudarán a reequilibrar el peso de ambas fases, si se es funcionario interino, con larga experiencia en la administración, deberá adoctrinar a sus representantes para que hagan exactamente lo contrario. Y si, por el contrario, es una persona que desea incorporarse a la función pública, podrá ver si el diseño cumple o no con las premisas mínimas que le garanticen una participación en términos de igualdad, mérito y capacidad.

- Correcto diseño de temarios. El temario debe hacer referencia a contenidos relevantes, directamente relacionados con las funciones del puesto. No es necesario que sea extenso, e inabarcable, pero tampoco debería estar limitado o reducido a la memorización de unos pocos elementos. Debe servir para medir la capacidad de aprendizaje del aspirante, de la interrelación de información y de su aplicación práctica.

- No a los manuales de estudio. Si bien es una demanda habitual, no recomiendo que la administración diseñe y publique manuales para estudiar. No solo por el coste del mismo, tener que afrontar la existencia de errores o el esfuerzo de mantenerlo al día, también porque debemos dejar a los aspirantes que realicen el trabajo de documentación. Hoy en día la búsqueda de información por internet es factible y de bajo coste.

- No a las baterías de preguntas. Si hay una medida que desvaloriza la fase de oposición es la utilización de "baterías de preguntas" que se publican junto con la convocatoria y del cual se extraerán las preguntas que van a conformar el examen. Indudablemente se trata de un auténtico ejercicio de memorización que no exige la más mínima comprensión. El conocimiento del aspirante es memorístico, reducido a la pregunta concreta, al formato tipo test. Un conocimiento que no tienen ninguna relación con la información que se va a manejar en el puesto de trabajo ni en la forma en la que se va a utilizar. Además, consigue que superar la fase de oposición sea muy fácil. Esta técnica conlleva que las plazas se obtengan, no por los resultados de la oposición, si no por la acumulación de puntos en la fase de méritos - antigüedad principalmente -. Es el sistema utilizado en administraciones en las que las plazas se obtienen por antigüedad, no por capacidad.

- Ajustar el valor máximo del concurso.  En la fase de concurso hay dos tipos de elementos, los relacionados con la antigüedad y el resto (idiomas, títulos, curso, publicaciones...). Es la antigüedad la que mas puede distorsionar el proceso. Bajo el epígrafe "experiencia" se valora el número de años en los que se ha estado contratado en la administración, independientemente de si ese tiempo ha sido provechoso, de calidad o no se ha aportado nada. En definitiva, se valoran años, no la calidad o el aprendizaje asociado a ese tiempo. Mi propuesta es que la antigüedad no supere el 8% del valor de todo el proceso y que este tope se alcance con 5 años. Para cualquier profesional, una experiencia en el puesto de 5 años es suficiente para alcanzar una gran cualificación profesional. Una persona con el doble de años, no aporta una doble de calidad en el desempeño que deba reflejarse en el doble de puntos.

- Cambiar la escala de valoración de los ejercicios de la oposición (0 - 10). Generalmente los ejercicios de la fase de oposición, tanto teóricos como prácticos, se manejan en una escala "académica" de 0 a 10, con el aprobado en 5. Esto significa que las personas que aprueban se diferencian entre ellas en 5 puntos, los que van del 5 al 10.

La propuesta es valorar los ejercicios de 0 a 10 puntos. Para ello se debe establecer una puntuación directa mínima (por ejemplo el 50% de aciertos), a partir de la cual se inicie la asignación de puntos, desde el 0 hasta el 10. Una puntuación cualquiera, superior a 0, siempre correspondería a una persona apta en el ejercicio y la diferencia entre el mero apto y la mejor puntuación sería de 10 puntos, revalorizando la capacidad de discriminar de los ejercicios de la oposición.

- Optimizar la capacidad de ordenación de los ejercicios. Una buena práctica es ajustar la distribución de los resultados de las pruebas con el propio colectivo que las realiza. Una de las fórmulas mas utilizadas, que puede incorporarse en las propias bases, es que el factor de transformación de las puntuaciones directas a la distribución de las bases asigne como referencia la puntuación directa mas alta conseguida con el valor máximo alcanzable según bases.

¿Alguna sugerencia más para que los procesos selectivos que incluyan, además de las preceptivas pruebas de capacidad, la valoración de méritos de los aspirantes sólo otorguen a dicha valoración una puntuación proporcionada que no determine, en ningún caso, por sí misma el resultado del proceso selectivo.?

Apto o no apto, that is the question.

Es esta una entrada que veo necesaria tras recibir una sentencia en primera instancia del contencioso-administrativo. La autoridad judicial no entiende ajustado a derecho la utilización de fórmulas que permitan adaptar la dificultad de una prueba con el propio colectivo que la realiza.

La sentencia que se va a recurrir no permite que un Tribunal Calificador, que ha examinado por segunda vez a las 183 aspirantes aprobadas en el primer ejercicio, aplique fórmulas de corrección/ponderación a las puntuaciones directas obtenidas en un segundo ejercicio.

En concreto, no permite aplicar un coeficiente de corrección que incremente las puntuaciones directas obtenidas conforme a una corrección en base a criterios establecidos por el Tribunal. No permite multiplicar por 1,32 las puntuaciones directas totales obtenidas por cada aspirante para determinar la puntuación final. Una medida que tomó el Tribunal a la vista de los resultados generales del colectivo. Medida tomada sin conocer las identidades de los aspirantes y antes de proceder a publicar estas puntuaciones como el resultado del segundo ejercicio.

El Tribunal comprobó que la distribución anónima de puntuaciones no se ajustaba a una distribución normal esperable - curva de Gauss - y que de las 183 personas aprobadas solo 8 (el 4,73%) superarían la puntuación de corte -. La aplicación de la fórmula permitió que superasen la prueba 19 aspirantes (el 10,38%)

Distribución inicial: Mínima 0,00, Máxima 22,00, Aprobado en 15,00. Supera el 4,73%

Distribución final: Mínima 0,00, Máxima 29,759, Aprobado en 15,00. Supera el 10.38%

A partir de esta reciente experiencia he pensado que sería interesante compartir una serie de reflexiones al respecto de la evaluación de las pruebas de conocimientos que se diseñan para los procesos de selección. 

El TREBEP, (61.6)  establece que "Los sistemas selectivos de funcionarios de carrera serán los de oposición y concurso-oposición que deberán incluir, en todo caso, una o varias pruebas para determinar la capacidad de los aspirantes y establecer el orden de prelación."

Real Decreto 896/1991, de 7 de junio, por el que se establecen las reglas básicas y los programas mínimos a que debe ajustarse el procedimiento de selección de los funcionarios de Administración Local establece en su artículo 4 c)  que, en todo caso, uno de los ejercicios obligatorios deberá tener carácter práctico y que la fase de oposición tendrán carácter eliminatorio.

El hecho de que, al menos uno de los ejercicios de la oposición tenga carácter eliminatorio, incorpora un elemento determinante al proceso. En concreto, no alcanzar una puntuación determinada, supone la eliminación del proceso selectivo. Esto es especialmente relevante cuando la prueba que no se supera no es la única o no es el único elemento a valorarse ya que impide continuar en el proceso.

Planteo reflexionar acerca de la calidad de las pruebas selectivas que tienen este carácter eliminatorio. 

En principio, si planteamos una prueba que tiene este carácter eliminatorio, el órgano calificador debe estar muy seguro de una puntuación directa X si asegura la aptitud que no asegura una puntuación de X-0,10 puntos. Y aquí nos encontraremos con dos situaciones diferentes:

A- Pruebas validadas. Serían pruebas en las que los resultados de las mismas están directamente relacionados con las aptitudes que se miden (validez) y que tienen calidad en su medición (fiabilidad), bien por su diseño (pruebas psicotécnicas) o bien porque esos resultados están previamente definidos en las bases (marcas mínimas en pruebas físicas). 

• Pruebas predefinidas en las bases. Pruebas en las que están perfectamente definida tanto las características de la prueba como la marca a conseguir. Por ejemplo, las pruebas de maniobras para obtener un permiso de conducción, o las marcas en pruebas físicas para acceder a un puesto de bombero/a.

• Pruebas de evaluación psicológica. Si, por ejemplo, una prueba es la valoración de aptitudes psicológicas y escogemos Inteligencia General como elemento a medir, podremos elegir una prueba que mida este factor (CI). Será una prueba comercial, testada y con una alta validez y fiabilidad. El Tribunal podrá determinar, por ejemplo, que no superarán la prueba quienes tengan un CI inferior a 100. Independientemente de la prueba concreta que se utilice, la misma estará validada, el resultado será estadísticamente  muy similar y se ajustará a lo esperable.

B- Pruebas NO validadas. Serían las pruebas que, por ser diseñadas ex profeso para la oposición y por las necesarias medidas de seguridad y confidencialidad, no hayan sido previamente validadas. 

Pruebas de las que se desconoce su verdadero nivel de dificultad o su calidad a los efectos de ordenar a los aspirantes en una esperable distribución normal de los resultados.

Y si es difícil saber a priori si serán adecuadas para ordenar a los aspirantes en función de lo que la prueba pretende medir - conocimiento, habilidad práctica -, mucho mas lo es para determinar ese nivel tan crítico que permite a una persona seguir o no en el proceso selectivo, la aptitud mínima. 

¿Qué se puede hacer para mejorar la calidad de medición de una prueba realizada ex profeso en condiciones de alta confidencialidad y sin posibilidad de validarse previamente? 

La primera opción, sería revisar los criterios de corrección. No obstante, hay que tener en cuenta que, por seguridad jurídica, se obliga a los Tribunales a que aprueben estos tres elementos antes de su realización:

• Definición de las preguntas y el tiempo para desarrollarlas.
• Valor de cada item en el caso de que no valgan todos igual.
• Plantilla de corrección. Plantilla de respuestas correctas en las de tipo test y criterios de corrección para las que implican desarrollo de cuestiones o temas

Esta aprobación puede conllevar, sin embargo, un importante problema a la hora de corregir unas pruebas que no han sido validadas. ¿Qué pasa si el tiempo destinado a la prueba se demuestra claramente insuficiente? ¿Y si el enunciado de una o varias preguntas lleva a entenderlas de una forma diferente y a respuestas que no están contempladas en el criterio? ¿Y si de la aplicación del criterio el resultado es que un 95% de las personas que han realizado la prueba no alcanzan la puntuación mínima? 

El Tribunal se enfrenta a la decisión de creer que una gran mayoría de aspirantes no tiene el nivel mínimo de competencia o entender que la prueba no esta bien diseñada o que el nivel de exigencia en la corrección no es la adecuada.

En muchos casos, por experiencia, los criterios de corrección se aprueban con carácter provisional antes de realizar las pruebas y estos, al igual que las preguntas o la plantilla de respuestas provisionales, y considerando las respuestas que se hayan plasmado, se revisan, mejoran y adecuan durante el proceso de corrección.

La segunda opción sería recurrir a formulas matemáticas. Estas fórmulas tienen como objeto ajustar la dificultad de la prueba teniendo como referencia las puntuaciones obtenidas por el colectivo. Por ejemplo, si la puntuación máxima alcanzable en una prueba es de 10 puntos y la puntuación mas alta alcanzada ha sido un 7, el sistema de transformación de las puntuaciones debería permitir:

• que la puntuación directa de 7 sea el 10 de la puntuación de la prueba en las bases
• que la puntuación directa de 3,5 sea la puntuación de corte, de aptitud, el 5 de la puntuación de las bases.

El objetivo no es facilitar la superación de la prueba. El objetivo es que la prueba sea válida para ordenar a las personas aspirantes y determinar que personas no deben proseguir en el proceso selectivo. Para ello, la única referencia válida a los efectos de determinar los factores de corrección es utilizar los resultados obtenidos por las personas que las han realizado. Se trata de que la distribución de puntuaciones se asemeje a una curva normal o "de Gauss" (ver figura) en la que la prueba sería superada por el 50% de los aspirantes, concentrándose las puntuaciones alrededor de ese punto medio, con pocos exámenes con puntuaciones extremas, las tendentes al 0 o al 10.

A modo de ejemplo incluyo aquí la fórmula que, a estos efectos, se ha incluido en estas bases: 

"Por cada convocatoria, de forma independiente y a la vista de las puntuaciones directas obtenidas en cada ejercicio, el Tribunal, al objeto de armonizar la dificultad de las pruebas con el colectivo que las realiza, aplicará para el cálculo de la puntuación del ejercido un factor de ponderación.

El factor de ponderación se aplicará al valor de la suma de las puntuaciones obtenidas en cada una de las pruebas de las que conste cada ejercicio. Este factor se determinará conforme a las siguientes reglas:

1) El factor será igual a 1,00 cuando el número de aspirantes presentados al ejercicio por plaza ofertada sea igual o inferior a 3.

2) El factor será igual a 1,00 si se constata que el porcentaje de aspirantes que superan el ejercicio en relación al de presentados es igual o superior al 50 por ciento.

3) En los casos en los que este porcentaje de aprobadas sea inferior al 50 por ciento se aplicará un coeficiente no superior a 1,33 hasta alcanzar el 50 por ciento de aspirantes aprobadas.

4) No se aplicarán valores de factor de ponderación que supongan incrementar la puntuación del ejercicio por encima de su valor máximo (puntuación máxima alcanzable en el ejercicio)."

Para acabar esta entrada quiero llamar la atención sobre la sentencia que la ha provocado. ¿Hasta que punto la seguridad jurídica que obliga a la toma de decisiones sin opción a revisión no esta perjudicando la calidad de los procesos de selección?. 

Entiendo que el papel de los tribunales no está en garantizar la calidad técnica de los procesos de acceso a la función pública o que los procesos selectivos sean eficaces a la hora de seleccionar a las personas mas adecuadas, pero no cabe duda de que sus decisiones afectan directamente a la calidad del resultado.

Desde la parte técnica nos corresponde hacer pedagogía o acabaremos haciendo pruebas objetivas - tipo "piedra, papel, tijera" - con criterios perfectamente predefinidos pero perfectamente incapaces de seleccionar a las personas más capacitadas para trabajar en defensa del interés general.