Informe de investigación sobre la evaluación de la eficacia de la prueba de inglés académico PTE
El mes pasado (2065 438 28 de marzo de 2009), se publicó un informe completo de eficiencia de la evaluación académica de PTE en el sitio web oficial de PTE.
Curiosamente, el título del artículo es:
¿Cómo respalda PTE Academic los resultados de sus exámenes?
Cualquier examen educativo debe establecer un sistema de evaluación. Para ser ampliamente aceptado y reconocido globalmente, primero debe demostrar la equidad de su proceso y la legitimidad de sus resultados.
Desde su lanzamiento en 2009, el examen PTE Academic English ha sido reconocido por el Servicio de Inmigración de Australia, el Servicio de Inmigración de Nueva Zelanda, el Reino Unido, Estados Unidos, Canadá, Australia y miles de universidades e instituciones educativas. alrededor del mundo. Los candidatos se distribuyen en más de 180 países y regiones; la consideración anual aumenta a una tasa de alrededor del 30%. A juzgar por diversos hechos y datos, el examen de inglés académico PTE ha sido profundamente reconocido por los candidatos y examinados, y este sistema de evaluación también ha sido probado y promovido en la práctica.
Entonces, volvamos al punto de partida.
Desde una perspectiva de investigación científica, ¿cómo demuestra el sistema de argumentación lógica que los resultados del examen de inglés académico PTE pueden estar respaldados por el examen mismo? En lengua vernácula, ¿cómo demostrar que los resultados son fiables?
En el "Informe de eficiencia" recientemente publicado, Pearson utilizó investigaciones de texto e investigaciones de campo para demostrar la imparcialidad de PTE Academic como proceso de examen y la legitimidad de los resultados.
El propósito del Informe de efectividad de la prueba académica PTE es explicar de la manera más abierta y transparente posible cómo se diseña y desarrolla la prueba académica PTE, y evaluar el impacto de su producto en los estudiantes.
Medición de la calidad del examen: Tres criterios de calidad para la evaluación.
Sarah Hughes, Gerente de Investigación y Análisis, ayudó * * * a organizar este Informe Académico de PTE. Estas son las conclusiones principales del informe que enumeró:
“El Informe de eficacia de la evaluación académica de PTE explica cómo nuestra investigación se relaciona con tres indicadores clave de la calidad de la evaluación: validez, confiabilidad y equidad".
"Un informe sobre la evaluación de la validez de PTE Academic explica cómo nuestra investigación vincula PTE Academic con tres indicadores clave de la calidad de las pruebas: validez, confiabilidad y equidad. ”
“Utilizamos estos tres indicadores principales estándares de calidad de la evaluación como base para la evaluación de la efectividad y aplicarlos al propósito principal de PTE Académico Dominio del idioma inglés en lectura, expresión oral y escritura"
Los tres principales criterios de calidad de la evaluación discutidos aquí son el alcance. a los cuales los usuarios de la prueba pueden evaluar el dominio del inglés (validez) de los examinados. Se deben dar explicaciones razonables sobre la consistencia y precisión (confiabilidad) de las puntuaciones y la imparcialidad de la prueba (AERA, APA y NCME, 2014).
¿Por qué utilizar estos tres estándares de calidad de la evaluación?
Los "Estándares para pruebas educativas y psicológicas" (AERA, APA, NCME, 2014) proporcionan una definición que utiliza tres atributos básicos para evaluar la eficiencia de una prueba: validez, confiabilidad y equidad.
Eficiencia
La validez de "La medida en que la evidencia y la teoría respaldan el uso de los puntajes de las pruebas (P11)" requiere evidencia de que los puntajes de las pruebas pueden entenderse como puntajes de las pruebas para el propósito o propósito de la prueba y son razonablemente para un propósito específico y claro.
Confiabilidad
"Coherencia de las puntuaciones de las pruebas a través de procedimientos repetidos (P33). "La confiabilidad requiere la demostración de las puntuaciones de las pruebas versus el tiempo, múltiples formatos de prueba en todos los dominios y/o múltiples Los evaluadores acordaron .
Equidad
“Las puntuaciones tienen el mismo significado para todos los individuos que se adaptan a la multitud” (P50).
La equidad requiere evidencia de que cuando los exámenes se realizan según lo previsto, no existe un sesgo sistémico contra grupos particulares de candidatos dentro de cada programa y que los estudiantes no se ven obstaculizados por barreras irrelevantes en el proceso de administración del examen.
Dado el tradicional papel desempeñado por los sistemas teóricos como guías de mejores prácticas para el desarrollo y evaluación de pruebas, y su papel en la defensa legal de las evaluaciones, Pearson adopta estos tres Atributos que sirven como Índice de Calidad de la Evaluación (AQI). ) para nuestros productos de examen Pearson publicados públicamente.
Evaluación de estándares de calidad I. Validez
Existe evidencia de que las puntuaciones de las pruebas pueden usarse y comprenderse para los fines para los cuales se define la prueba. Para el examen académico PTE, es muy importante que los puntajes del examen puedan reflejar de manera significativa el nivel de idioma del candidato, para que el mundo pueda comprender y ayudar en el siguiente paso del candidato en el futuro.
El objetivo principal del examen de inglés académico PTE es permitir a los usuarios del examen dar una explicación razonable de la capacidad del idioma inglés del candidato. A través de la capacidad de captura precisa proporcionada por el examen y la descripción resumida de las ventajas y desventajas relativas de las cuatro habilidades de comunicación, se puede juzgar o posicionar a los usuarios del examen.
Los resultados de la prueba de inglés académico PTE pueden interpretarse como una evaluación del dominio del idioma inglés y también pueden usarse para admisiones a programas académicos o inmigración calificada. (Efectividad verificada)
Estándar de calidad de la evaluación dos. Confiabilidad
La confiabilidad es un concepto de medición que significa que las puntuaciones son siempre las mismas independientemente del tiempo, el formato de la prueba o los múltiples organizadores de la prueba. Independientemente de cuándo los candidatos realicen el examen, deberían tener la misma oportunidad de afrontar una evaluación constante.
Otro objetivo importante de PTE Academic es minimizar los errores de juicio y toma de decisiones proporcionando puntuaciones consistentes en una variedad de ocasiones de prueba.
Los puntajes de las pruebas académicas PTE son consistentes independientemente del tiempo de experiencia y/o de los múltiples organizadores de las pruebas. (Fiabilidad verificada)
Estándar de calidad de la evaluación tres. Equidad
Equidad significa que no hay sesgos sistemáticos en la prueba y que las puntuaciones de la prueba se pueden interpretar de la misma manera para todos los candidatos. La investigación sobre la imparcialidad y la puntuación automática de la prueba de inglés académico PTE garantiza que los candidatos, independientemente de su género, raza o nacionalidad, tengan las mismas oportunidades para demostrar su dominio del idioma.
El examen de inglés para estudiantes de PTE también se esfuerza por que los puntajes de todos los examinados se interpreten de la misma manera, independientemente de su género, raza/etnia o idioma nativo. La equidad significa que cuando el examen se realiza como se esperaba, no hay un sesgo sistemático contra un grupo particular de candidatos en cada proyecto, y los candidatos no se ven impedidos de mostrar sus talentos por obstáculos irrelevantes durante el proceso de examen.
Los puntajes de las pruebas académicas PTE se pueden interpretar de la misma manera para diferentes grupos de examinados. (Equidad verificada)
Investigación e investigación de productos: recopilación de múltiples argumentos
Para demostrar los tres estándares anteriores, el equipo de prueba de inglés académico de PTE realizó una gran cantidad de investigaciones y recopiló Evidencia científica sistemática. Toda esta evidencia fue recopilada y publicada en un manual técnico. Algunas de estas encuestas son datos enteramente internos y los académicos e investigadores interesados pueden consultar el manual técnico oficial de Pearson.
El siguiente es el informe de evaluación del desempeño de la prueba PTE Academic y el proyecto de investigación del producto utilizado:
Alinear las puntuaciones de las pruebas PTE Academic con el Marco Común Europeo de Referencia
Alineación de los niveles globales de inglés con otros niveles: Alineación entre PTE Academic, IELTS y TOEFL
Estudio de establecimiento de estándares: Alineación con los puntos de referencia del idioma canadiense (CLB)
Informe técnico de puntuación automatizada
Funciones diferenciales de los elementos y unidimensionalidad
Revisión de sensibilidad de los elementos
Prueba de campo I
Prueba de campo II
p>Preparación PTE