¿Se puede informar el cuestionario de intervención sin confiabilidad ni validez?
1. Descripción general de la confiabilidad
La confiabilidad también se llama estabilidad o precisión. Se utiliza para reflejar el grado en que los resultados de múltiples mediciones del mismo objetivo en las mismas condiciones se superponen o son consistentes entre sí, lo que indica la confiabilidad de los datos. Cuando se utiliza la misma herramienta de medición para medir repetidamente un objeto objetivo, cuanto mayor sea la consistencia de los resultados, mayor será la confiabilidad de la herramienta de medición.
La confiabilidad incluye dos significados: Primero, si el mismo individuo puede obtener los mismos resultados en diferentes momentos, usando la misma herramienta de medición, o repetidamente, o en diferentes circunstancias, es decir, si los resultados de la medición son aleatorios. ; el segundo es si se puede reducir el impacto de los errores aleatorios en los resultados de la prueba, reflejando así la situación real que la herramienta de medición pretende medir, es decir, si los resultados de la medición son estables, confiables, y predecible. Una buena herramienta de medición debe ser estable y confiable, y los resultados de múltiples mediciones deben ser consistentes.
2. Clasificación de la confiabilidad
La clasificación de la confiabilidad generalmente se puede dividir en las siguientes cuatro categorías:
●Confiabilidad test-retest.
●Fiabilidad de forma alterna.
●Fiabilidad de consistencia interna.
●Confiabilidad evaluador-evaluador
1. Confiabilidad prueba-reprueba
La confiabilidad prueba-reprueba se refiere al mismo grupo de encuestados dentro de un cierto intervalo. de correlación entre los resultados de pruebas repetidas utilizando la misma herramienta de medición. La confiabilidad test-retest se puede probar de dos maneras:
Ruta 1: Calcular el coeficiente de correlación de los dos resultados de la prueba. Si la correlación es estadísticamente significativa, la confiabilidad del instrumento de medición se considera alta, en caso contrario la confiabilidad es baja. También se ha sugerido que el estándar aceptable para la confiabilidad test-retest de una herramienta de medición es que el coeficiente de correlación entre dos pruebas sea superior a 0,7.
Ruta 2: Pruebe la diferencia entre dos muestras relacionadas de dos resultados de pruebas repetidos. Si la diferencia es estadísticamente significativa, la confiabilidad de la herramienta de medición se considera baja; en caso contrario, la confiabilidad es alta.
2. Confiabilidad de la copia
El método de confiabilidad de la copia consiste en pedirle al mismo grupo de encuestados que complete dos cuestionarios a la vez y calcular el coeficiente de correlación de los dos cuestionarios. El método de confiabilidad de la redacción requiere que los dos escritos sean completamente consistentes en términos de contenido, formato, dificultad y tipos de preguntas correspondientes, excepto por diferentes expresiones. Sin embargo, en las encuestas reales, es difícil hacer que el cuestionario cumpla con este requisito, por lo que pocas personas utilizan este método.
3. Fiabilidad dividida por la mitad
La fiabilidad dividida por la mitad se suele utilizar cuando no es posible realizar ajustes repetidos. El método de cálculo consiste en dividir los ítems de la encuesta en dos mitades y calcular el coeficiente de correlación r de los resultados de la medición de las dos mitades, también conocido como coeficiente de confiabilidad de la mitad dividida, como estándar para medir la confiabilidad de toda la escala.
La confiabilidad dividida por mitades divide los ítems de la encuesta en dos mitades, calcula el coeficiente de correlación de las puntuaciones de las dos mitades y luego estima la confiabilidad de toda la escala. La confiabilidad dividida por la mitad es la confiabilidad de la consistencia interna y mide la consistencia entre las puntuaciones de dos ítems y medio. Este método generalmente no es adecuado para cuestionarios basados en hechos (por ejemplo, la edad y el género no se pueden comparar) y, a menudo, se utiliza para el análisis de confiabilidad de cuestionarios de actitud y opinión. La forma más común de medir la actitud en las encuestas por cuestionario es la escala Likert de 5 puntos.
4. Coeficiente de confiabilidad de Cronbach
El coeficiente sQ de Cronbach fue creado por Cronbach en 1951 y se utiliza para evaluar la consistencia interna del cuestionario. El coeficiente α está entre 0 y 1. Cuanto mayor sea el coeficiente Q, mayor será la fiabilidad del cuestionario y mejor la consistencia interna.
El coeficiente a de Cronbach no sólo es aplicable a cuestionarios de calificación de dos niveles, sino también a cuestionarios de calificación de múltiples niveles.
Un coeficiente evalúa la consistencia entre las puntuaciones de cada ítem de la escala, y es un coeficiente de confiabilidad de consistencia interna. Este método es adecuado para el análisis de confiabilidad de cuestionarios (escalas) de actitud y opinión.
Baja confiabilidad: a
5. Confiabilidad del evaluador
El método para examinar la confiabilidad de los evaluadores consiste en seleccionar aleatoriamente un número considerable de cuestionarios y utilizar dos. Cada evaluador calificó por separado de acuerdo con las reglas de puntuación. Luego se calculó el coeficiente de correlación con base en la puntuación de cada cuestionario para obtener la confiabilidad entre evaluadores. La confiabilidad del evaluador también puede ser el coeficiente de correlación entre dos calificaciones de un evaluador. Si la puntuación la obtienen varios evaluadores o más de dos evaluadores, se pueden utilizar el coeficiente de concordia de Kendall y el coeficiente Kappa. Se utilizó el coeficiente de concordia de Kendall para datos jerárquicos y el coeficiente Kappa para datos cualitativos.
En tercer lugar, métodos para mejorar la confiabilidad
Métodos para mejorar la confiabilidad Cuanto mayor sea la confiabilidad del cuestionario, menos interferirán las personas, el tiempo y las cosas, y puede reflejar la hechos o uso Cuanto mayor sea el grado de creencia.
Por lo tanto, cómo mejorar eficazmente la confiabilidad antes de la implementación del cuestionario es la clave para el éxito o el fracaso de las pruebas del cuestionario. Hay varias formas de mejorar la fiabilidad del cuestionario:
1. Ampliar adecuadamente la longitud del cuestionario.
El cuestionario tiene muchas preguntas, lo que elimina en cierta medida la influencia de factores accidentales y mejora la fiabilidad del cuestionario. Sin embargo, un aumento en la longitud del cuestionario no siempre es directamente proporcional a un aumento en la confiabilidad del cuestionario. Cuando el coeficiente de confiabilidad es pequeño, a medida que se amplía la longitud del cuestionario, el coeficiente de confiabilidad del cuestionario aumenta considerablemente. Cuando el coeficiente de confiabilidad es grande, ampliar la longitud del cuestionario tiene poco efecto sobre el coeficiente de confiabilidad.
2. La dificultad del cuestionario debe ser moderada.
Cuando las preguntas del cuestionario son demasiado difíciles, las puntuaciones del cuestionario son generalmente demasiado bajas; cuando las preguntas del cuestionario son demasiado difíciles, las puntuaciones del cuestionario generalmente son altas. Las preguntas que son demasiado difíciles o demasiado fáciles reducirán la variabilidad de las puntuaciones del cuestionario y la varianza de las puntuaciones obtenidas, reduciendo así la fiabilidad del cuestionario.
3. El contenido del cuestionario debe ser coherente.
Cuestionarios con el mismo contenido requieren que los encuestados tengan las mismas habilidades, conocimientos y destrezas. Por tanto, para mejorar la fiabilidad del cuestionario, el contenido del cuestionario debe ser lo más homogéneo posible.
4. Debe haber tiempo suficiente para el examen.
El cuestionario debe garantizar que la gran mayoría de los encuestados puedan completar la prueba en el tiempo especificado. Cuando el encuestado no puede responder todas las preguntas con calma, la puntuación del cuestionario no puede reflejar la verdadera situación del encuestado.
5. Se deben unificar los procedimientos de prueba.
Se deben unificar los tipos de preguntas de los cuestionarios, así como el lenguaje de instrucción, los métodos de respuesta, los métodos de cierre del papel y el tiempo de prueba del cuestionario. Éstas son las garantías básicas para que el cuestionario tenga una alta fiabilidad.
Período de validez
1. Definición
La validez se refiere a si el contenido del cuestionario puede reflejar verdaderamente el contenido de la encuesta.
En segundo lugar, el rol
1. La validez es el requisito previo más importante para las herramientas de medición científica. Al elegir una prueba estándar o diseñar y compilar su propia herramienta de medición, primero debe evaluar su validez.
2. La validez es el grado de concordancia entre la medida y el mensurando. Algunas medidas pueden ser perfectamente adecuadas para un propósito pero no necesariamente para otros.
Tercero, clasificación
Según los estándares de la Asociación Estadounidense de Psicología para pruebas educativas y psicológicas, se puede dividir en tres categorías:
1. validez: Se refiere a la validez del cuestionario para predecir el comportamiento operativo del encuestado bajo ciertas condiciones.
(1) Validez predictiva: se refiere al grado de correlación entre los resultados del cuestionario y un determinado criterio en el futuro. A menudo se utiliza para predecir la posibilidad de éxito individual en un determinado aspecto en el futuro. Por ejemplo, los resultados del examen simulado de ingreso a la escuela secundaria pueden predecir con precisión el desempeño de un estudiante en cuatro años de escuela. Sólo observando la alta correlación entre ellos la encuesta puede tener validez predictiva.
(2) Validez concurrente: la correlación entre los resultados del cuestionario y los estándares válidos actuales a menudo demuestra la validez del cuestionario. Por ejemplo: administrar una encuesta de validación al mismo grupo de encuestados y comparar sus puntuaciones. Si la correlación es alta, es efectiva al mismo tiempo.
2. Validez de contenido: se refiere a la cobertura o representatividad del cuestionario sobre el contenido investigado. Por ejemplo, si un cuestionario tiene como objetivo investigar la satisfacción del servicio al cliente con el personal en diversos puestos, incluidos: guías de compras, cajeros y guardias de seguridad, si el cuestionario solo menciona guías de compras y cajeros, carecerá de validez de contenido.
3. Validez de constructo: El concepto de validez de constructo fue propuesto por primera vez por el Comité Conjunto de la Asociación Estadounidense de Psicología (APA), la Asociación Estadounidense de Investigación Educativa (AERA) y el Consejo Nacional para la Medición en Educación. (NCME) (1954), publicado en Recomendaciones técnicas para pruebas psicológicas y técnicas de diagnóstico. Originalmente fue diseñado para usarse cuando no existe una medida estándar clara del atributo que se está midiendo del examinado, pero se necesita una medición indirecta para demostrar la validez de la teoría. Hasta ahora, la validez de constructo se refiere al grado en que una prueba realmente mide las estructuras y características teóricas que pretende medir. Se refiere a la coherencia entre el experimento y la teoría, es decir, si el experimento realmente mide lo hipotetizado (construido). ) teoría.
4. Validez convergente: se refiere al grado de agregación de múltiples variables observadas con los mismos rasgos o estructuras utilizando diferentes métodos. Si se utilizan diferentes herramientas de medición para medir los resultados del mismo individuo, una validez convergente alta significa que las variables observadas tendrán cargas factoriales más altas en la construcción factorial correspondiente, y habrá correlaciones más altas entre las variables observadas. Entonces la validez convergente es. alto.
5. Validez discriminante: se refiere a probar el grado de diferencia entre diferentes factores. Los indicadores de prueba comúnmente utilizados son: comparar el valor extraído de la varianza promedio de la estructura de dos factores y el cuadrado del coeficiente de correlación entre la estructura de dos factores.
Si el primero es mayor que el segundo, significa que existe una buena validez discriminante entre las dos estructuras factoriales.
Cuarto, métodos para mejorar la validez
La validez representa la corrección. Cuanto mayor sea la validez del cuestionario, más podrán representar los resultados de la prueba las verdaderas características de los sujetos evaluados. Los métodos para mejorar la validez son los siguientes:
1. El diseño del cuestionario debe ser científico y razonable;
Existe una relación muy importante entre el contenido del cuestionario y la validez. Si la configuración del contenido es científica y apropiada, la validez será alta. Por el contrario, afectará la validez. Por ejemplo, el planteamiento de cada pregunta debe tener un concepto claro, la dificultad de las preguntas debe permanecer sin cambios y la disposición de las preguntas debe ser razonable.
2. Seleccione la muestra con cuidado:
Seleccione una muestra representativa. Cuanto más representativa sea la muestra, más podrá reflejar las principales características del cuestionario. En igualdad de condiciones, cuanto mayor sea el rango completo de puntuaciones de la muestra, mayor será el coeficiente de validez.
3. Preste atención a la tasa de respuesta del cuestionario;
Si la tasa de respuesta es baja, puede no ser representativa y no puede reflejar correctamente las características de los sujetos evaluados.
4. Razonabilidad de los objetivos:
Las normas son el requisito previo para la eficacia. Deberíamos construir operaciones apropiadas basadas en el contenido. Si elegimos estándares poco razonables, no podremos mostrar ningún valor.
5. Preste atención al estado del encuestado:
En el proceso de responder el cuestionario, el estado del encuestado es un factor importante que afecta la validez. Si el encuestado está distraído o no está dispuesto a responder, o incluso tiene una actitud negativa, afectará la precisión de los resultados del cuestionario.
6. Asegúrese de que el entorno de la prueba no sea perturbado:
Si el encuestado se encuentra en un entorno externo ruidoso o el entorno externo no puede ser controlado por el investigador, el encuestado será perturbado. , por lo que es necesario eliminar interferencias irrelevantes para no afectar la corrección del cuestionario.