Herramientas de selección: Exámenes tipo test

El pasado 30 de noviembre, invitado por la Federación Española de Municipios y Provinicas (FEMP) y la Diputación de Ávila, tuve la oportunidad de asistir a las "Jornadas Técnicas de Función Pública y RRHHs: Función Pública y Recursos Humanos en tiempos de covid19". (Descargar programa)

Dentro del apartado de buenas prácticas presentamos varias relacionadas con los procesos de selección. Esta entrada desarrolla una de ellas, el procedimiento de diseño, elaboración, aplicación, revisión y corrección de pruebas de conocimientos en modo test que tenemos implementado. Este procedimiento esta orientado a la consecución de tres objetivos: 

• Seguridad, garantizando la máxima confidencialidad.
• Calidad, preguntas correctamente enunciadas y ajustadas a temario
• Ajuste, que sirva al objeto primero de determinar que aspirantes se considerarán aptos/as y cuales no y, segundo, a ordenar a los primeros. 

SEGURIDAD.

Garantizar la mayor igualdad de los aspirantes ante una prueba selectiva es uno de los principales objetivos a cumplir en el diseño y ejecución de un proceso selectivo. Es, sin embargo, un objetivo complicado cuando debemos recurrir a pruebas de conocimiento tipo test y aplicación masiva.

Es costumbre reunir al Tribunal con días de antelación al objeto de que proponga, discuta y redacte las preguntas y opciones de respuestas que conformarán la prueba. Posteriormente, una vez definida a prueba, es posible que estas mismas personas realizaran el fotocopiado de los cuadernillos de examen o se lo asignen a terceros. Este procedimiento, tanto por el número de personas que participan, como por los tiempos que se manejan, pone en cuestión la necesaria confidencialidad de la prueba.   

Desde 2007 la cultura de funcionamiento de nuestros órganos de selección conlleva delegar la confección de estas pruebas en el Dpto. de RRHH, el cual actúa como asesoría especializada de los Tribunales. Estos son los pasos que se dan:

1.- Tribunal: Define las características de la prueba: tipología, duración, temas, número de items, número de alternativas, fórmula de corrección...

2.- Tribunal: Delega en RRHH la confección de la prueba. Hay una delegación expresa. Esta delegación esta definida e incluye los elementos anteriormente mencionados, así como los elementos logísticos relacionados: fecha de examen, si hay uno o mas modelos de examen...

3.- RRHH: Busca asesoría técnica y encarga prueba. Es misión de RRHH localizar a la persona que asumirá esta labor. En la medida de lo posible, una única persona, de forma que cualquier problema de seguridad quede claramente identificado. A cambio, RRHH garantiza el necesario anonimato, proporciona los recursos necesarios y gestiona las indemnizaciones que correspondan.

4.- Asesor/a: Diseña la prueba, conforme a las indicaciones recibidas, y adjunta la plantilla provisional de respuestas.

5.- RRHH: Recibe la prueba y plantilla. Confecciona y custodia cuadernillos de examen.

6.- Tribunal: Recibe la prueba el mismo día de su aplicación - realizados los correspondientes cuadernillos - y la valida de forma provisional para que pueda ser aplicada. 

7.- Aspirantes: Realizan la prueba y, al finalizarla, recogen junto al cuadernillo de preguntas utilizado, copia de su hoja de respuestas. Finalizado el tiempo de la prueba, la plantilla provisional es descargable en la página web.

Al llegar a este punto se ha tenido que asegurar a los aspirantes que todos se han medido contra una prueba, realizada por un experto/a y en igualdad de condiciones.  El colectivo de aspirantes puede autocorregirse y la administración no publica resultados nominales provisionales que pueden sufrir cambios a posteriori. Alcanzado este objetivo empezamos a trabajar el segundo, la calidad de la prueba.

CALIDAD.

Por muy experto que se sea en una materia o mucha experiencia que se tenga en trasladar un conocimiento a un formato de preguntas tipo test, la posibilidad de cometer errores es elevada. El trabajo en solitario, en condiciones de alta seguridad, sin poder confrontar o revisar con terceros, sin opción a imprimir para una mejor revisión y la propia dificultad de elaborar alternativas de respuesta que siendo verosímiles sean erróneas, obligan a una posterior revisión de este cuestionario provisional. Si añadimos la posibilidad de errores materiales a la hora de redactar, de trasladar las respuestas a la plantilla o que los enunciados no correspondan a un temario muy definido, la revisión se convierte, no ya en una opción, si no en una necesidad.

A este objeto, proceder a revisar los cuestionarios y plantillas provisionales, obedece este procedimiento que empieza una vez que el colectivo abandona la zona de examen.

8.- RRHH: Recogida de alegaciones a la plantilla provisional. Mediante un formulario electrónico estándar disponible en la web, los aspirantes, de forma individualizada por cada ejercicio, aspirante y pregunta, informan al Tribunal de los errores que, en su opinión, existen en el examen. En su caso, proponen y motivan la anulación de la pregunta o que se modifique la opción - A, B, C o D - que se haya dado provisionalmente como correcta.

9.- RRHH: Deriva a la asesoría técnica las alegaciones recibidas. La información recogida a través del formulario se presenta en una hoja excel en la que se encuentran ordenadas todas las alegaciones realizadas para un mismo ejercicio. Las alegaciones se ordenan por y para cada pregunta.

10.- Asesor/a: Informa en relación con las alegaciones. Utilizando el mismo formato recibido y a la luz de las alegaciones la persona que ha diseñado la prueba revisa los enunciados y alternativas del cuestionario e informa, motiva y propone al órgano de selección su estimación o desestimación.

11.- RRHH: Informa al Tribunal. Una vez recibido en RRHH el informe-propuesta se envía al órgano de selección correspondiente. Las personas que han ejercido de asesores son anónimos y la responsabilidad del diseño de la prueba es siempre de RRHH. 

12.- Tribunal: Analiza y, en su caso, valida el informe de alegaciones, aprobando el cuestionario y plantilla definitivas. Si precisa ampliar una información, RRHH será el intermediario ente asesor/a y Tribunal.

13.- Tribunal: Ordena la lectura óptica de los exámenes y la corrección conforme a la plantilla definitiva. La puntuación se calcula en función del número de preguntas válidas, no hay preguntas de reserva. El resultado es una puntuación directa (PD examen), resultado generalmente de restar a los aciertos los errores, y un factor de corrección que permite trasladar esa PD a la escala de puntuación de la prueba (PP) conforme al valor de la misma estipulado en las bases de la convocatoria.

Finalizado este proceso, dispondremos de un examen del cual podremos asegurar su confidencialidad hasta el momento de aplicarse y. tras el proceso de depuración supervisado por el propio órgano selectivo, también de un examen conformado por enunciados adecuados que se ajustan al temario.

AJUSTE

No obstante, es probable que una vez aplicada la corrección, los resultados obtenidos no se ajusten a una curva normal. No es extraño el caso en el que, aplicada una prueba y una vez corregida, nos encontramos que el porcentaje de aspirantes que la supera es extremadamente reducido. Damos por "NO aptos" a un elevado número de aspirantes basándonos en unas pruebas que están diseñadas mas para ordenar aspirantes que para determinar con exactitud quien es apto/a y quien no lo es.

En la entrada "Apto o no apto, that is the question" del pasado 21 de marzo y a la cual le remito encontrará mas información al respecto de propuestas para ajustar de forma matemática el nivel de dificultad a las características del propio colectivo que ha realizado la prueba.

Este procedimiento, que nace y se define en las propias bases de la convocatoria, debe llevarnos a disponer de unas pruebas de conocimientos que, si bien están diseñadas ex profeso y sin opción a comprobación previa, finalmente sean seguras en lo que a confidencialidad hace referencia, de calidad en cuanto a que las preguntas y sus enunciados responden al temario y estén bien definidas y capaces de establecer el límite de aptitud/no aptitud con una justificación razonable.

Espero que esta propuesta sea de su interés.