Evaluación en educación Misión de la evaluación

Evaluación en educación

Misión de la evaluación n n n n Ayudar a las personas a aprender más y mejor. Detrás de las decisiones , siempre hay personas. Preguntas evaluativas posibles: -¿Cómo distinguir , entre todos los proyectos ejecutados cuáles tuvieron éxito y cuáles no? -¿Cómo reconocer a los que están siendo verdaderamente efectivos en producir un mejoramiento? -¿Con qué grado de eficiencia se desarrollan estos proyectos? -¿Cuál es la relación entre los costos que implica desarrollar el proyecto y los beneficios que logra ? - ¿Cuál es el efecto o impacto del proyecto en los individuos o grupos involucrados ?

Investigación evaluativa 1 n La evaluación como proceso cognitivo es un caso particular de la investigación; constituye en sí una forma de producir conocimiento de una situación , cosa o fenómeno específico. Su particularidad consiste en la emisión de un juicio de valor sobre lo que en su realización se ha descubierto o llegado a conocer.

Investigación evaluativa 2 n El modelo conceptual para este proceso señala que la evaluación es el resultado que se obtiene al emitir un juicio valorativo sobre lo que muestra el contraste de los desempeños reales de aquello que se evalúa, con los desempeños que se consideran ideales. Desempeños reales Juicios de Desempeños ideales valor = EVALUACIÓN

Investigación evaluativa 3 n n n Tareas implícitas asociadas al modelo: Paso previo : identificar convenientemente lo que se va a evaluar. 1. definir los desempeños que se estiman ideales 2. descubrir los desempeños que se alcanzan en la realidad 3. establecer si existe discrepancia entre ambos desempeños y emitir una conclusión en la forma de un juicio de valor 4. presentar las conclusiones y recomendaciones pertinentes en un informe apropiado

Estándares de desempeño n n n Al establecer los estándares de desempeño óptimo se fijan las bases para afirmar en ellas el juicio de valor producto de la evaluación. Se fijan antes de la realización de la evaluación ¿Quién los fija? - Pueden estar contenidos en principios normativos o legales El evaluador Por acuerdo entre evaluador y quien encarga la evaluación. Para determinar los niveles de desempeño que se observan en la realidad estudiada, se aplican las estrategias cognitivas usadas en la producción del conocimiento : metodología cuantitativa, cualitativa o mixta ( cuantificando lo que es posible de ser cuantificado y tratado estadísticamente y documentado cualitativamente lo que corresponde)

Interrogantes de la investigación evaluativa n n n n n ¿Cuál es la naturaleza y magnitud del problema que está originando la acción ? ¿Qué acciones pueden ser implementadas para producir un mejoramiento significativo de la situación actual? ¿Quién ha de ser el destinatario de las acciones que se lleven a cabo? ¿Está llegando la intervención a quienes corresponde? ¿Se desarrollan las acciones como se pensó que deberían ser ejecutadas ? ¿Están siendo efectivas las acciones realizadas? ¿Cuál es el costo de la intervención ? ¿Cuál es la relación entre los costos y la efectividad y beneficios que las acciones consiguen? ¿Cómo se pueden mejorar las acciones realizadas?

Finalidad de la investigación evaluativa n n La investigación evaluativa en educación es la aplicación sistemática de procedimientos de investigación social para averiguar el valor que tiene la conceptualización y diseño de un programa ( proyecto) educativo, su implementación , su ejecución y , por cierto, su utilidad. El programa evaluado puede estar en cualquier campo en que se ejecuten acciones sociales de servicio a personas y grupos de personas.

Condiciones n n El evaluador dispone de estrategias tanto cuanti como cualitativas. Debe aportar información relevante, válida, confiable y oportuna al proceso de toma de decisiones. La práctica debe cimentarse en una teoría consistente y actualizada. Su aporte debe servir para aumentar el conocimiento existente acerca del problema o necesidad abordado por el programa evaluado o para mejorar la efectividad y la eficacia de éste.

Modelos de evaluación en educación 1 Modelo genérico en cuanto permite distintas instrumentalizaciones de acuerdo a los intereses y manejo de técnicas del evaluador. n Se estructura a partir de la consideración de los resultados. n

Modelos de evaluación en educación 2 n PROYECTO Fidelidad Necesidades Respuesta Resultados Demandas Eficiencia Costos Efectividad Metas Retroalimentación

Patrón de propuesta de evaluación 1 n basado en Worthen y Sanders: 1. Fundamentación. ¿Cuál es el propósito de la evaluación a realizar? ¿qué se sabrá que ya no se sepa? n 2. Objetivos : ¿qué productos generará? (informes) ¿a quiénes resultará útil? ( usuarios, destinatarios) n 3. Descripción del proyecto evaluado. n -filosofía del proyecto n - contenido n -objetivos explícitos e implícitos n Procedimientos aplicados en el desarrollo del proyecto ( estrategias, medios, etc. ) n -beneficiarios de las acciones del proyecto ( población a quien se dirigió el esfuerzo) n -contexto en que se desarrolló el proyecto. n

Patrón de propuesta de evaluación 2 n n n 4. Diseño de la evaluación - limitaciones o restricciones que se enfrentan para la ejecución de la evaluación -plan general de la evaluación ( diseño, estrategia) - preguntas que la evaluación ha de responder - información que es necesario obtener para responder a las preguntas - fuentes de datos y métodos que se aplicarán en su recolección - calendarización de la recolección de datos -técnicas para analizar los datos, procesarlos y producir información evaluativa -estándares que se utilizarán ( para contrastar lo observado y permitir la emisión de juicios) -forma en que se entregarán los resultados (informes parciales, único, etc) -presupuesto

Patrón de propuesta de evaluación 3 5. Descripción del informe final n -esquema del contenido que incluirá el informe final n -utilidad que podría prestar la información evaluativa que se va a generar n -discusión de algunos sesgos que podrían introducirse en la evaluación por ser opciones del evaluador ( opción metodológica, por ejemplo) n

Ejemplos de diseño n n n “Efectos de un programa educativo de estimulación emocional a lactantes desnutridos “ Diseño ex post facto; se observó en terreno sala de actividades, contenido y orientación de mensajes verbales que emiten las educadoras y los niños durante la actividad pedagógica“Integración de alumnos deficientes mentales en la escuela básica” , diseño cuasi- experimental; evaluación de diferencias significativas entre dos escuelas básicas experimentales y una , control Un diseño de evaluación es un plan definido para guiar la recolección de datos sobre el objeto de la evaluación. Como tal, señala a quiénes se observará, cuándo y cuántas veces.

DISEÑOS EXHIBIDOS EN EL DIAGRAMA DE FLUJO Diseños pre-experimetnales N° 1 Estudio de Caso XO N° 2 Antes- después o pretest-postest OXO N° 3 Comparación sólo después XO O Diseños propiamente experimentales N° 4 Antes-después con un grupo control Aleatorizado R O R X O O O N° 5 Diseño de Solomon para cuatro grupos R O R R X N° 7 Series Temporales O O X Diseños Cuasi-experimentales O O ooooo x ooooo N° 8 Aplicación alternada del tratamiento X 1 O XO O X 1 0 XO O , etc N° 9 Antes-después con grupo control no equivalente O O X O O

Taxonomía de enfoques de la evaluación House Modelo Destinatarios Concuerda Metodología Producto Cuestiones típicas Análisis de sistemas Economistas, directivos Objetivos, causa efecto conocidos variables cuantif Programación lineal, variación planificada, análisi Coste/producto Eficiencia ¿Se han alcanzado los efectos previstos? programas más eficientes Objetivos conductuales Directivos, sicólogos Objetivos preespecificados Variables de producto cuantific. Objetivos conductuales , test de resultados finales Prductividad, responsabilidad ¿alcanza los objetivos? productivo Decisión Ejecutivos administradores Objetivos generales, criterios Encuestas, cuestionarios, entrevistas Eficacia, control de calidad ¿Es eficaz? ¿qué partes? Sin objetivos definidos clientes Consecuencias, criterios Control de sesgos, análisis lógico Elección del cliente, utilidad social ¿Cuáles son todos los efectos? Crítica de arte Entendidos Clientes Crítica, normas, niveles Revisión crítica Normas mejores, mayor consciencia ¿Resiste el programa la crítica? Revisión profesional Profesionales Público Criterios, tribunal, procedimientos Revisión del tribunal, estudio Aceptación profesional ¿Cómo lo clasificarían los profesionales? Cuasi- jurídico Jurado Procedimientos , jueces Procedimientos cuasi jurídicos Resolución ¿Qué argumentos hay en pro y en contra? Estudio de casos Clientes profesionales Negociaciones, actividades Estudio de casos, entrevistas, observaciones Comprensión de la diversidad ¿Qué les parece a distintas personas?

El enfoque de análisis de sistemas n n n Pocas medidas de resultados (ej: puntuaciones de tests) Datos cuantitativos Tratamiento estadístico Utilización de diseño experimental Derivado de la teoría microeconómica Presupuesto básico : las personas y organizaciones se comportan de forma que se eleve al máximo algún resultado Supone una función estable de producción, relación regular y cuantificable de los factores iniciales y de los productos. Característica : análisis comparativo coste- producto de los programas. Valora la objetividad para proporcionar una valoración “firme” Adopta la metodología de la ciencia social positivista Enfoque funcionalista : de acuerdo ala función de los programas , deben cumplir con ciertos requisitos.

Enfoque de objetivos conductuales Los objetivos son la única fuente de normas y criterios (Tyler, Mager, Bloom, Suchman) n Preocupaciones centradas primero en la formulación de los objetivos y luego en la forma de medirlos. n Un objetivo claro de un programa equivale a la hipótesis de un trabajo de investigación. n

Enfoque de decisión 1 n n n n Enfoques modernos conectan evaluación y toma de decisiones Sostiene que la evaluación ha de estructurarse a partir de las decisiones que haya que tomar, lo que alude al responsable máximo. Stufflebeam define tres ámbitos de decisión: homeostasia, incrementalismo, neomovilismo; cuatro tipos de decisisón: planificación, estructuración, implementación y reciclado; tres fases en el proceso de evaluación: delimitación, obtención. Comunicación Cuatro tipos de evaluación : de contexto, de entrada , de proceso y de producto

Enfoque de decisión 2 n n n Patton resalta el factor personal en la utilización de los hallazgos de la evaluación; la responsabilidad de determinar qué información se requiere corresponde a los encargados de tomar decisiones. Utiliza metodología de encuesta, cuestionarios y entrevistas y el evaluador trabaja más sobre las variaciones naturales en el medio en donde se desarrolla el programa que tratando de montar experimentos. Por regla general, se incluye la eficacia del programa en alguna dimensión y en especial, qué partes del programa funcionan

Enfoque sin objetivos 1 n n n Scriven platea que centrarse en objetivos para evaluar conduce a sesgos tendenciosos. El evaluador debe investigar todos los resultados aunque algunos sean efectos colaterales imprevistos. El problema es cómo determinar los criterios de evaluación Este enfoque toma como grupo de referencia a los beneficiarios de los programas sociales Scriven trata de desarrollar el concepto de necesidad como fundamento de la evaluación; el establecimiento de la validez objetiva de tales necesidades proporcionaría al evaluador una fuente autorizada de normas.

Enfoque sin objetivos 2 Metodología variada. Incluye : n Experimentos “doble ciego” n Juicios de expertos n Entrevistas n Tribunal de jueces n Réplica de experiencias n Análisis secundario con agentes independientes n Poco usado ej: evaluación de nuevos materiales curriculares n

Enfoque crítica de arte 1 n n n n Se juzga la calidad del objeto evaluado Eisner considera la crítica cualitativa por naturaleza pues es una operación empírica Considera la crítica como la iluminación de las cualidades del objeto, situadas en él. La prueba de la crítica está en los efectos instrumentales que produce en el destinatario. En tanto el experto se caracteriza por el arte de la apreciación , el crítico lo hace por el arte de la revelación ( juicio o descripción públicos) El experto debe tener la oportunidad de asistir a los acontecimientos y compararlos. Así, las percepciones se integran, perfeccionan y valoran. Para percibir sensiblemente las cualidades que surgen del objeto, hay que manejar un conjunto de ideas, teorías , modelos, etc. , que permitan diferenciar lo significativo de lo trivial. Requiere, preparación y experiencia. “la crítica es el arte de revelar las cualidades de los hechos u objetos que percibe el arte del experto”. Trata de traducir una situación de tal manera que se pongan en evidencia los aspectos significativos de la situación, objeto o programa.

Enfoque crítica de arte 2 n n n n La crítica realizada de manera adecuada aumenta el conocimiento. En cuanto a la validez y confiabilidad, Eisner habla de la “corroboración estructural” y de la “adecuación referencial” Existe la corroboración estructural o sea la evidencia se corrobora cuando los elementos de la misma encajan entre sí. La adecuación referencial alude a la posibilidad de encontrar en el objeto criticado las características señaladas por el evaluador. Metodología : revisión crítica, realizada de diversos modos. Se considera fundamental la inmersión y familiaridad con el programa La crítica lleva a una conciencia reforzada, mejora de los niveles y actuación perfeccionada. Otros enfoques sobre la crítica figuran en Kelly, Jenkins, O”Toole.

Enfoque de revisión profesional n n n n n (acreditación) Los criterios de esta evaluación surgen por materias específicas y se refieren a diversas áreas temáticas y de servicios, como ser : servicios educacionales, instalaciones, medios audiovisuales de aprendizaje, etc. Enfoque pensado para involucrar a los evaluados (profesores de escuela) en una autoevaluación. Una variante de esta evaluación es la que se realiza a departamentos o unidades de universidades El la U de Illinois se evaluaron departamentos (6 criterios): -calidad del programa docente -calidad de la investigación, de la actividad creativa o del trabajo académico -calidad de servicio a la universidad y a la profesión -contribución prestada por la unidad a otras del campus o importancia de aquella en el mismo Valor del programa para la sociedad o singularidad del mismo en el estado Posibilidades y previsiones de futuro

Enfoque de revisión profesional 2 En estos casos, la fuente de normas y criterios son los profesionales mismos. n Los procedimientos varían, pero la evaluación culmina en una valoración global de un programa profesional a cargo de otros expertos. n

El enfoque cuasijudicial (adversary) n n n Se emplea este tipo de tribunales para tratar cuestiones controvertidas y resolver las dudas que pesen sobre ellas. Aunque estos tribunales y comisiones no forman parte del sistema judicial, su autoridad se deriva de sus procedimientos cuasijudiciales. Las pruebas se presentan al tribunal. Los testigos testifican y presentan pruebas. Suele ponerse mucho cuidado en tomar declaraciones exhaustivas. En suma, el problema del evaluador se resuelve mediante el empleo de procedimientos cuasijudiciales que prestan a la evaluación la autoridad de la justicia. “El enfoque judicial facilita la consideración estructurada de argumentos e inferencias alternativos que hagan que la evaluación sea intelectualmente honrada y equitativa” WOLF. Cuatro fases : Planteamiento del problema, (entrevistas para descubrir problemas), selección del mismo, (encuesta a profesores, estudiantes y administradores para reducir el número de problemas) presentación de argumentos (alegatos)y audiencia. (presentaciones anteriores a la audiencia y la audiencia misma) : alrededor de 6 meses de duración.

Enfoque de estudio de casos o negociación 1 n n n ¿Qué les parece el programa a los sujetos que tienen contacto habitual con él? Se centra en los procesos del programa y la visión que tienen las personas de éste. Metodología: entrevistas con muchas personas, hacer observaciones in situ y presentar los hallazgos en forma de estudio cualitativo de casos. ( un estudio cuantitativo se apartaría del enfoque) El objetivo es mejorar la comprensión que de la evaluación tenga el o los destinatarios, mostrándoles cómo perciben otros el programa sometido a evaluación. La metodología etnográfica constituye un enfoque relacionado y es común calificar estas metodologías de naturalistas

Enfoque de estudio de casos o negociación 2 n n El enfoque de Stake se centra en la percepción y en el conocimiento como proceso de negociación. En la evaluación responsiva el evaluador suele negociar con el cliente sobre lo que ha de hacerse y responde a lo que quieren saber distintos destinatarios. Representan descripciones complejas, holísticas y que implican gran cantidad de variables interactivas. Los datos se obtienen por la observación personal y la redacción es narrativa , utilizando citas, ilustraciones, alusiones y metáforas. Se orienta más a las actividades del programa que a sus intenciones, a responder a peticiones de información y tener en cuenta diferentes perspectivas de valor al informar sobre el éxito o fracaso.