Vinculación de la evaluación institucional con la calidad

Vinculación de la evaluación institucional con la calidad: las acciones de mejora Laurentino Salvador José Manuel Osoro Universidad de Cantabria

CONTENIDO: 1. Sistemas de garantía de la calidad 2. Planes de evaluación institucional (PEI) y vinculación de la evaluación con la mejora continua 3. La mejora como consecuencia de la evaluación institucional: contratos programa y planes estratégicos 4. La acreditación ¿incompatible con la evaluación institucional y la mejora continua? 5. A modo de resumen: desarrollo en el ámbito educativo español (evaluación vs acreditación) 6. Enlaces a webs sobre calidad

SISTEMAS DE GARANTÍA DE LA CALIDAD Algunas de las transparencias siguientes han sido extraídas de ANECA

¿Qué es un sistema de calidad? CONJUNTO DE ESTRUCTURAS DE LA ORGANIZACIÓN, DE RESPONSABILIDADES, DE PROCEDIMIENTOS, DE PROCESOS Y DE RECURSOS QUE SE ESTABLECEN PARA LLEVAR A CABO LA GESTIÓN DE LA CALIDAD. CONSISTE EN LA DEFINICIÓN Y EJECUCIÓN DE UN MÉTODO DE TRABAJO QUE ASEGURE QUE EL PRODUCTO O SERVICIO CUMPLE CON UNAS ESPECIFICACIONES PREVIAMENTE ESTABLECIDAS PARA SATISFACER LAS NECESIDADES DEL CLIENTE.

MEJORA CONTINUA Ciclo PDCA (rueda de Shewhart o de Deming) Planificar, Desarrollar, Comprobar y Actuar nivel de calidad Check: Compruebe los resultados de su acción A C P Do: Desarrolle lo que planificó D Plan: Planifique lo que va a realizar Identifique los grupos de interés Analice sus necesidades o expectativas Defina características para satisfacerlas Diseñe un proceso adecuado Act: Actúe para modificar lo que hace o para asegurar los resultados con mayor calidad tiempo

¿Cómo se consigue la calidad? Logrando la satisfacción de los clientes. Con el apoyo incondicional de la dirección. Con la participación y cooperación de todos. Mejorando e innovando de forma continua. Con la formación permanente.

¿Cómo implantar un sistema de calidad? DARSE CUENTA (sensibilización “cultura de la calidad”). DECISIÓN (ANTES FORMARSE E INFORMARSE). COMPROMISO. ELEGIR UN MODELO DE REFERENCIA: ¿ISO 9000: 2000? . ¿BENCHMARKING DE UNA ORGANIZACIÓN SIMILAR CONSIDERADA EXCELENTE? . ¿MODELO EUROPEO DE GESTIÓN DE LA CALIDAD TOTAL? . EVALUACIÓN INSTITUCIONAL (PEI) ACREDITACIÓN DE LAS TITULACIONES INDICADORES DE DESEMPEÑO ACTUACIÓN (SISTEMA; MÉTODO; OBJETIVOS; PLANIFICACIÓN; ORGANIZACIÓN; CALENDARIO; PERSONAS Y MEDIOS). CONTROL DEL PROCESO. MEJORA CONTINUA. Contratos-programa y planes estratégicos

Modelos y entidades certificadoras Modelo ISO EFQM JOINT COMMISSION CARTAS DE SERVICIOS ONG CALIDAD Características Norma para asegurar la calidad y mejora continua Modelo de empresa excelente Estándares mínimos de calidad de gestión y resultados Compromisos explícitos y personalizados Norma para asegurar la calidad respetando principios ONG Impulsado por Gobiernos ENAC AENOR Grandes empresas europeas Grandes hospitales americanos. En España FAD Administración pública ONGs Entidades acreditadas por el Club de Gestión de Calidad FAD que evalúa y acredita centros hospitalarios y servicios sociales No hay certificación. Asociación para la Calidad de los Servicios Públicos No tiene sistema. Incipiente Aenor, TÜV, SGS, Bureau Veritas… FAD Nadie Fundación Lealtad Certificación Entidades acreditadas por ENAC Entidades Aenor, TÜV, SGS, Bureau Veritas…

Dos enfoques de la Calidad Total MODELO ISO 9000 MODELO DE EXCELENCIA ES UN SISTEMA PARA VERIFICAR LA CALIDAD DEL PRODUCTO O SERVICIO ES UNA ESTRATEGIA O MODELO DE GESTIÓN DE UNA ORGANIZACIÓN CUALQUIER PROCESO DE IMPLANTACIÓN DE UN SISTEMA DE CALIDAD, QUE NO IMPLIQUE LOS PRINCIPIOS DE LA CALIDAD TOTAL, CORRE EL RIESGO DE QUEDARSE EN MERO GASTO

Modelo Europeo de Gestión de la Calidad Total (EFQM) Gestión del Personal (90) Liderazgo (100) Política y Estrategia (80) Resultados en las personas (90) Procesos (140) Alianzas y Recursos (90) Agentes facilitadores (500) Resultados en los cliente (200) Resultados Claves (150) Resultados en la sociedad (60) Resultados (500) Innovación y aprendizaje

Modelo Iberoamericano de Gestión de Calidad Total (FUNDIBEQ)

PLAN DE EVALUACIÓN INSTITUCIONAL UNIVERSITARIA (PEI) Algunas de las transparencias siguientes han sido extraídas de ANECA

EVALUACIÓN INSTITUCIONAL DE LAS TITULACIONES ANECA 1. Programa formativo: objetivos y plan de estudios 2. Organización de la enseñanza: • Dirección y planificación 6. Resultados: • Gestión y organización • del programa • de los egresados • en la sociedad 5. Proceso formativo: PROPUESTAS DE MEJORA 3. Recursos humanos: • Atención al alumno y formación integral • Proceso enseñanza-aprendizaje • Personal académico • PAS 4. Recursos materiales: Aulas, espacios de trabajo, laboratorios, biblioteca

Visión Global del Proceso Fuentes de información Miembros de la Comunidad Universitaria FASE AUTOEVALUACIÓN Documentación, Informes y estudios Comité de Autoevaluación DIAGNÓSTICO DE LA SITUACIÓN ACTUAL DE LA TITULACIÓN Programa Formativo Organización de la Enseñanza Recursos Humanos Recursos Materiales Proceso Formativo Informe de Autoevaluación FASE EVALUACIÓN EXTERNA FASE FINAL VISITA A LA TITULACIÓN DEL COMITÉ EXTERNO Informe de Evaluación Externa Comité de Autoevaluación Áreas de Mejora Plan de Mejoras Resultados

Modelo de Evaluación de la ANECA OBJETIVOS PROGRAMA FORMATIVO PLANIFICACIÓN DEL P. F. ORGANIZACIÓN DE LA ENSEÑANZA Gestión de recursoshorarios de procesos clase COMUNICACIÓN Y DIFUSIÓN Gestión plan de estudios (contenido, coherencia, flexibilidad, factibilidad, revisión y actualización) Proceso de captación y selección de alumnos Perfil de ingreso: conocimientos y competencias Proceso enseñanza -aprendizaje ALUMNO DE NUEVO INGRESO Metodología enseñanza aprendizaje Metodología evaluación Prácticas externas Movilidad Perfil de egreso: conocimientos y competencias EGRESADO Formación integral Programas de acogida Resultados de I+D+I PDI PAS Programas apoyo al orientación aprendizaje profesional SOCIEDAD Programas Actividades de acción formación tutorial integral Aulas R E C U R S O S H U M A N O S R E C U R S O S M A T E R I A L E S Bibliotecas Espacios de trabajo alumnos Espacios de trabajo RRHH Infraestructuras destinadas a prácticas externas Laboratorios, talleres y espacios experimentales R E S U L T A D O S M E J O R A C O N T Í N U A

Protocolo para la elaboración de los INFORMES Descripción de la situación 1. 1. Objetivos del programa formativo El programa formativo tiene definidos sus objetivos entre los que se encuentran los conocimientos y las capacidades que los alumnos debe tener al concluir sus estudios.

Protocolo para la elaboración de los INFORMES Valoración semicuantitativa

Protocolo para la elaboración de los INFORMES Fortalezas, debilidades y propuestas de mejora

Elaboración del Plan de mejoras PLAN DE MEJORAS N-(N+X) Acciones de mejora 1. 1 1. 2 (…) 2. 1 2. 2 (…) Tareas Responsable de tarea Tiempos (inicio-final) Recursos necesarios Financiación Indicador seguimiento Responsable seguimiento

MEJORA COMPROMISO SE GU IM IE NT O EVALUACIÓN EJECUCION PLANES DE MEJORA

ACREDITACIÓN DE LAS TITULACIONES UNIVERSITARIAS Algunas de las transparencias siguientes han sido extraídas de ANECA

ACREDITACIÓN: CRITERIOS ANECA 9. Sistema de garantía de la calidad 8. Resultados 1. Objetivos 2. Admisión de los estudiantes 7. Recursos y servicios ACREDITACIÓN 6. Personal académico 5. Orientación del estudiante 3. Planificación de la enseñanza 4. Desarrollo de la enseñanza y Evaluación de los aprendizajes

Criterios y momentos del proceso de ACREDITACIÓN

Proceso de ACREDITACIÓN

Comparación Evaluación Institucional y Acreditación E. Institucional Acreditación Objetivos Mejora continua Homologación Unidad de análisis Titulación ¿Titulación o institución? Metodología Cuantitativa y cualitativa Cuantitativa Datos Evidencias: datos, Evidencias: indicadores opiniones contrastadas… y documentos Dimensiones Criterios Aspectos a evaluar Proceso Evaluación interna y externa Externa Papel de los Evaluadores Resultados “cómplices” de la mejora Auditores Propuestas de mejora contratos-programa Plan estratégico Agencias responsables Agencias autonómicas Informe Acreditación ANECA MEC

http: //www. aneca. es/actividades/docs/eventos/uimp 06_rauret. pdf (UIMP 2006)

LA EVALUACIÓN EN LA ENSEÑANZA NO UNIVERSITARIA

ENSEÑANZA NO UNIVERSITARIA • Observatorio Ciudadano de la Educación y Red de Investigadores sobre la Educación Superior (RISEU). Estadísticas, indicadores, bases de datos, encuestas y estudios de la educación: http: //www. observatorio. org/estadisticas/2005 -1. html • Certificaciones ISO, EFQM, FUNDIBEQ: http: //www. comipems. org. mx/autoevaluacion/ACEMMCT. php • Indicadores: ü España: http: //www. institutodeevaluacion. mec. es/sistema_estatal_de_indicadores_de_la_educacion/ind ice_de_indicadores/ ü México: http: //www. comipems. org. mx/autoevaluacion/ACEBID. php • OECD-PISA (Programme International Student Assessment): http: //www. pisa. oecd. org/pages/0, 2966, en_32252351_32236359_1_1_1, 00. html Conviene tener en cuenta los objetivos de la educación en los distintos países, la definición de los indicadores y el contexto de la comparación. ü 2003 España: http: //www. ince. mec. es/pubintn. htm ü 2003 México: http: //www. oecd. org/dataoecd/33/61/36741673. pdf ü Algunas repercusiones: http: //www. stecyl. es/prensa/041207_ag_informe_PISA_2003. htm

UTILIZACIÓN DE RESULTADOS: La EVAIN ha tenido algunas consecuencias fundamentales: • Cultura de la calidad y de la mejora continua (débil). • Creación de un cuerpo técnico preparado en cada universidad que permitirá la convergencia con Europa y la acreditación de las titulaciones (irreversible). • Actualmente se está produciendo un peso más fuerte de la acreditación y certificación frente a la evaluación. UNIVERSIDAD: • General: líneas estratégicas con objetivos e indicadores. Contrato-programa externo en ciclos de varios años. • Titulaciones: propuestas de mejora en formato contrato-programa internos en base a los criterios ANECA. • Servicios: modelos de evaluación ISO, EFQM y Cartas de Servicios con establecimiento de contratos-programa internos. Sobre todo Bibliotecas. CENTROS DE BACHILLERATO: • Utilización de modelos ISO, EFQM… a la busca de la certificación. Similar a las empresas. • Anteriormente programas nacionales de mejora (por ej. Bibliotecas…) con premios a las mejores. • Indicadores: PISA, México, España. (OTROS NIVELES)

PROPUESTA DE CONTRATO-PROGRAMA PARA LA FINANCIACIÓN DE ACCIONES DE MEJORA DE LA TITULACIÓN D. . . . . , Cargo en la Institución, y el responsable la titulación……………. D/Dª. . . . . de Exponen que, de acuerdo con el programa de ayudas a la mejora promovido por esta Institución, se comprometen para realizar las acciones de mejora que se relacionan a continuación y que se detallan en las fichas que para cada una de las mismas se incluyen como anexos a este documento. Proyectos a realizar: …………………. . Compromisos: El responsable de la titulación se compromete a promover y gestionar las acciones arriba mencionadas en los plazos indicados para cada una de ellas y a aportar los datos de los indicadores para el seguimiento de este contrato-programa o, en su caso, la justificación del gasto realizado. Así mismo, se compromete a realizar la presentación pública de los resultados a su finalización. La Universidad se compromete a facilitar la gestión de este conjunto de acciones a través del Vicerrectorado ? ? ? y subvencionar, con cargo al epígrafe ? ? ? Plan de Acciones de Mejora, dichas acciones con la cantidad de. . . . . , en la forma en que se especifican en las fichas adjuntas (anexos 3). El importe de esta subvención será transferido a la unidad funcional de gasto. . . . . Esta subvención no excluye cualquier otra que pueda recibirse con cargo a otros programas de la Universidad. a. . . . de. . . . . de …….

FICHA DE SEGUIMIENTO DE LAS PROPUESTAS DE MEJORA 1. UNIVERSIDAD: Identificador de la propuesta: __ 2. UNIDAD (TITULACIÓN): 3. NOMBRE ACCION: 4. CRITERIO ANECA: 5. PROBLEMA DETECTADO: 6. ACCIÓN PROPUESTA: OBJETIVOS 7. PLANIFICACIÓN DE LA PROPUESTA (Procedimiento a seguir) 8. PRIORIDAD / TEMPORALIZACIÓN 9. NIVEL DE REALIZACIÓN (%): 10. DESTINATARIOS: 11. RESPONSABLES DE LA ACCIÓN: 12. FINANCIACIÓN: 13. COMENTARIOS:

Enlaces Web sobre calidad (1) ORGANIZACIÓN ENLACE ACESUC (Axencia para a Calidade do Sistema Universitario de Galicia) http: //www. acsug. es/galego/webs/portada. php Acreditación de centros escolares. Dirección General de Evaluación de Políticas de la Secretaría de Educación Pública. México http: //www. comipems. org. mx/autoevaluacion/ Agencia Andaluza de Acreditación (AGAE) http: //www. agae. es/ Agencia Canaria de Evaluación de la Calidad y Acreditación Universitaria (ACECAU) http: //www. gobiernodecanarias. org/organizacion/diagramas/detalle/ acecau. htm Agencia de Calidad y Prospectiva Universitaria de Aragón http: //portal. aragob. es/servlet/page? _pageid=4118&_dad=portal 30& _schema=PORTAL 30&_type=site&_fsiteid=490&_fid=1789361&_fn avbarid=1794797&_fnavbarsiteid=490&_fedit=0&_fmode=2&_fdisp laymode=1&_fcalledfrom=1&_fdisplayurl= Agencia de Calidad, Acreditación y Prospectiva de las Universidades de Madrid (ACAP) http: //www. madrid. org/cs/Satellite? id. Consejeria=1109266187254&id List. Consj=1109265444710&c=CM_Agrupador_FP&pagename=Com unidad. Madrid%2 FEstructura&id. Organismo=1109266227448&pid= 1109265444699&language=es&cid=1109266187254 Agència de Qualitat Universitària de les Illes Balears (AQUIB) http: //www. aquib. org/ Agencia Nacional de la Evaluación de la Calidad y Acreditación (ANECA) www. aneca. es Agencia para la Calidad del Sistema Universitario, Castilla y León (ACUCYL) http: //www. acsucyl. com/ Amercian Society for Quality http: //www. asq. org/ AQU (Agència per a la Qualitat del Sistema Universitari de Catalunya) http: //www. aqucatalunya. org/scripts/web/index. asp? cid=Esp&res=1 10

Enlaces Web sobre calidad (2) ORGANIZACIÓN ENLACE Asociación Española de la Calidad www. aec. es Asociación Española de Normalización (AENOR) www. aenor. es Benchmarking http: //www. americanquality. com/directory/Benchmarking/ Bureau Veritas www. bureauveritas. com Club de Gestión de la Calidad. http: //www. clubcalidad. es/ Comisión Valenciana de Acreditación y Evaluación de la Calidad Universitaria (CVAEC) http: //www. gva. es/industria/universidad/cvaec. htm Consejo de Coordinación Universitaria http: //www. mec. es/consejou/calidad/index. html Entidad Nacional de Acreditación (ENAC) www. enac. es European Foundation for Quality Management (EFQM). www. efqm. org European Organization for Quality http: //www. eoq. org/ European Organization for Quality (EOQ) www. eoq. org European Society for Quality in Health Care http: //www. esqh. net/ Fundació Avedis Donabedian http: //www. fadq. org/default_principal. asp? cidioma=2 Fundación Europea para la Calidad Social (EFSQ) http: //www. socialquality. nl/ Fundación Iberoamericana para la Gestión de la Calidad http: //www. fundibeq. org/ Fundación Lealtad http: //www. fundacionlealtad. org/web/jsp/index. jsp Instituto de Evaluación. MEC. España http: //www. institutodeevaluacion. mec. es/sistema_estatal_de_indicad ores_de_la_educacion/indice_de_indicadores/ Instituto Nacional de Evaluación y Calidad del Sistema Educativo http: //www. ince. mec. es/

Enlaces Web sobre calidad (y 3) ORGANIZACIÓN ENLACE International Standarization Organization (ISO) www. iso. ch Observatorio de Calidad para los Servicios Públicos http: //www. ocsp. arrakis. es ONG con calidad http: //www. ongconcalidad. org/enlaces. htm Proyecto de la ONU www. unglobalcompact. org Proyecto de Responsabilidad Social www. accountability. org Proyecto Norma de Calidad www. ongconcalidad. org Proyecto Sphere www. sphereproject. org q-bo. org es una herramienta informática para implantar, mantener y mejorar un sistema de Gestión de Calidad basado en la Norma ISO 9001/2000 http: //www. q-bo. org/quienessomos/index. html RIACES (Red Iberoamericana para la Acreditación de la Calidad de la Educación Superior) http: //www. riaces. net/home. aspx SGS http: //www. es. sgs. com/ SLC (Sociedad Latinoamericana para la Calidad) www. calidad. org The European Network for Quality Assurance in Higher Education (ENQA) http: //www. enqa. net/ The Joint Commission http: //www. jointcommission. org/ TÜV Rheinland www. tuv. es UCUA (Unidad para la Calidad de las Universidades Andaluzas) http: //www. ucua. es/ucua/index. html UEALC (Unión Europea América Latina y Caribe) http: //www. aneca. es/present/uealc. html