Estándares de calidad para la gestión de la certificación
El punto de arranque de esta fase se ha iniciado con el estudio exhaustivo y la recogida de documentación relativa a estándares y calidad para la elaboración y administración de pruebas de certificación.
Actualmente existen tres agencias internacionales que es importante tener en cuenta a la hora de elaborar e implantar pruebas de certificación. Estas agencias son:
ALTE: The Association of Language Testers of Europe: http://www.alte.org/
EALTA: European Association for Language Testing and Assessment http://www.ealta.eu.org/
ILTA: International Language Testing Association: http://www.iltaonline.com/
Cada una de estas asociaciones ha publicado una serie de directrices para la buena práctica en el desarrollo de pruebas y la evaluación de lenguas, que el equipo investigador ha tenido muy en cuenta en el diseño de la implantación del D. LETRA.
Entre los documentos más relevantes a tener en cuenta se encuentran: el Código de práctica de ALTE, los Estándares mínimos para el establecimiento de perfiles de calidad en los exámenes de ALTE y las directrices de EALTA para una Buena Práctica en el desarrollo de pruebas y la evaluación de lenguas.
Estándares de calidad adoptados para el D. LETRA
De cara a la implantación del D. LETRA, hemos adoptado los 17 puntos destacados por ALTE para el establecimiento de perfiles de calidad, relacionados con los siguientes aspectos:
CONFECCIÓN DEL EXAMEN
a) El examen está basado en un constructo teórico que es un modelo de competencia comunicativa.
Las tareas que se utilizan en el examen D. LETRA son tareas de comunicación. Se centran primordialmente en el significado, en el mensaje, no en aspectos formales de la lengua. Se centran en descifrar qué es lo que se expresa en un texto oral o escrito, en expresar de forma oral o escrita lo que deseamos transmitir. Exigen por tanto la comprensión, negociación y expresión de significados con el fin de alcanzar una finalidad comunicativa. Se considera que el logro de la finalidad comunicativa de una tarea de comunicación refleja competencia lingüística, sociolingüística, pragmática y estratégica --- las microcompetencias que conforman la competencia comunicativa --- dado que significado y forma están íntimamente ligados en la expresión de significados: es imposible transmitir un significado sin darle una forma lingüística.
Las tareas de comunicación del D. LETRA reproducen y activan procesos auténticos de comunicación, oral o escrita, poniendo en juego estrategias de comunicación como las que utilizamos en la vida cotidiana, en las fases de planificación, ejecución, control y reparación de la comunicación. Están contextualizadas de forma clara y bien definida, un contexto que ayuda a comprender y cumplir con la finalidad comunicativa. Utilizan un amplio abanico de tipologías de tareas para las diferentes actividades comunicativas de la lengua.
b) Puede describirse la finalidad y el contexto de uso del examen, así como la población para la que es adecuado.
El D. LETRA pretende satisfacer la necesidad de evaluar la competencia lingüística de la población trabajadora inmigrante que existe actualmente en la Comunidad de Madrid.
Mediante esta certificación, similar a la que se está ofreciendo ya en otros países, se pretende ofrecer una herramienta que sirva de ayuda para los propios trabajadores y para la comunidad receptora.
Perfil de la población inmigrante: adultos (18-65 años), con menos de un año de permanencia en España, trabajadores o en busca de trabajo.
c) Se facilitan criterios para la selección y formación de los creadores de las pruebas y se emplean juicios expertos tanto para la confección de exámenes y para su revisión.
Todo el proceso de elaboración de las distintas tareas que conforman el examen, así su pilotaje y validación, ha sido realizado por un equipo de expertos multidisciplinar que garantiza el cumplimiento de los estándares de calidad exigidos por las agencias de evaluación más importantes (ALTE, EALTA e ILTA). Dentro de este equipo existen expertos en evaluación, validación, estadística y metodología, elaboración de tareas comunicativas, profesores de ELE y expertos en procesos de comprensión.
d) Los exámenes son comparables en paralelo a través de las diferentes administraciones de los mismos en términos de contenidos, estabilidad, consistencia y puntos de corte. La consistencia de la prueba viene determinada por su alto índice de fiabilidad y validez.
e) Si se dice que el examen está vinculado a un sistema de referencia externo, por ejemplo el MCER, existen pruebas fehacientes de su alineación a este sistema.
El D. LETRA se sitúa en un nivel A1+1 o en un nivel A2-n del MCER. Para la elaboración de su contenido se ha seguido el PCIC, adaptado a la población de referencia mediante un análisis previo de necesidades.
ADMINISTRACIÓN Y LOGÍSTICA
f) Todos los centros que administran las pruebas son seleccionados de acuerdo con procedimientos establecidos claros y transparentes, y todos ellos tienen acceso a la normativa que regula estos procesos.
Los centros asociados a la Universidad Nebrija, acreditados para la administración del D. LETRA, cumplirán una serie de requisitos en cuanto a ventajas, obligaciones, requisitos generales y procedimiento de incorporación.
Estos requisitos tendrían que estar disponibles en la página Web que se ha creado y que se publicará en caso de que se implante esta Certificación.
g) Los materiales de examen son remitidos en buenas condiciones y por medios de transporte seguros a los centros de examen; el sistema administrativo de exámenes facilita la seguridad y trazabilidad de todos los envíos de documentos y puede garantizarse la confidencialidad de todos los procedimientos del sistema.
h) El sistema de administración de exámenes cuenta con sistemas adecuados de apoyo, por ejemplo, línea de teléfono de incidencias, página Web, personal de apoyo que se trasladará a los centros asociados siempre que sea necesario.
i) Se protege de manera adecuada la seguridad y la confidencialidad de los resultados y de los certificados, así como de los datos correspondientes, en cumplimiento de la legislación vigente sobre protección de datos, y los candidatos cuentan con información sobre el modo de acceder a sus datos.
PUNTUACIÓN Y CALIFICACIÓN
j) La calificación es lo suficientemente precisa y fiable para la finalidad y el tipo de examen del que se trate.
k) Puede documentarse y explicarse cómo se lleva a cabo el proceso de calificación, cómo se calcula la fiabilidad y cómo se recogen y analizan los datos correspondientes al rendimiento de los calificadores de las pruebas de expresión oral y escrita.
ANÁLISIS DEL EXAMEN
l) Se recogen y analizan datos de una muestra adecuada y representativa de los candidatos y así se puede confiar en que su desempeño es resultado de las destrezas que se evalúan en el examen y no se encuentra influido por factores como lengua materna, país de origen, género, edad o extracción étnica.
m) Se recogen y analizan datos a nivel de ítem (por ejemplo para calcular la dificultad, discriminación, fiabilidad y errores estándar de medida del examen) de una muestra adecuada y representativa de los candidatos
Los análisis estadísticos que se han realizado para determinar la fiabilidad y validez de la prueba incluyen, asimismo, análisis ítem a ítem para determinar su nivel de dificultad, discriminación, fiabilidad y error estándar.
COMUNICACIÓN CON LOS PARTÍCIPES
n) El sistema de administración de exámenes comunica los resultados de los mismos a los candidatos y a los centros de examen (por ejemplo, escuelas) con prontitud y claridad.
ñ) Se facilita información a los partícipes sobre los contextos adecuados, la finalidad y el uso del examen, sobre sus contenidos y sobre la fiabilidad general de los resultados del mismo. Las personas interesadas en hacer esta prueba dispondrán de un material de preparación del mismo, concretamente, la Guía del D. LETRA y el Portal de Español para inmigrantes.