Hodnocení výsledků vzdělávání a učení Efektivita a kvalita

Hodnocení výsledků vzdělávání a učení Efektivita a kvalita Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

FAKTORY EFEKTIVITY VÝUKOVÝCH PROCESŮ • • Koncepce přípravy pracovníků Určení vzdělávacích (učebních) cílů Výběr účastníků do kurzů a školení Diagnostika účastníků Obsah (program) kurzu Forma a metodika vzdělávání Vyhodnocení výsledků Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

FAKTORY PŮSOBÍCÍ NA EFEKTIVITU PROFESNÍHO VZDĚLÁVÁNÍ DOSPĚLÝCH Projekt Vyhodnoc ení průběhu a ověřování výsledků Použitá forma metody a pomůck y Určení cílů Efektivita PVD Výběr a diagnóz a účastní ků Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

KRITERIA EFEKTIVITY VÝUKOVÝCH PROCESŮ Výsledek? Čas Energie Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

ZÁKLADNÍ POHLEDY NA EFEKTIVNOST VÝUKY DOSPĚLÝCH Účastník Čemu se naučil Podnik Okamžitý nebo dlouhodobý Celkové náklady efekt (rizika!) Lektor Akceptování lektorského vystoupení (odměna) Čas, energie spotřebované na přípravu Vzdělávací zařízení Posílení image firmy Náklady versus příjmy (zisk, případně jiný efekt) Create think tank! Kolik vynaložil osobní námahy, volného času (peněz) Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

HODNOCENÍ VZDĚLÁVACÍCH AKCÍ I (Kirkpatrick 2003 – upraveno) Reakce • Jaké pocity mají účastníci ze vzdělávacího programu, jak jsou spokojeni (dotazníky). Vyučování a učení • Do jaké míry zvětšili účastníci své znalosti, zlepšili dovednosti, případně změnili postoje. Chování • Do jaké míry změnili účastníci své chování na pracovišti. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

HODNOCENÍ VZDĚLÁVACÍCH AKCÍ II (Kirkpatrick 2003 – upraveno) Výsledky • Jaké konečné výsledky se projevily (množství, kvalita, bezpečnost, prodej, náklady, zisk, návratnost investic apod. ). Doporučení • Používat pokud možno všechny úrovně. • Mít na mysli náklady versus užitek (zážitek) versus exaktní důkaz. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

ÚROVEŇ MĚŘENÍ EFEKTIVITY VÝUKY Úroveň Stručný popis cílů měření 1. Reakce Měření reakce účastníka na program, často zaměřená na jeho spokojenost 2. Učení Měření zlepšení v dovednostech, znalostech nebo postojích vzniklé vlivem programu 3. Chování Měření změn v chování v praxi, v nichž se odrazil vliv programu 4. Výsledky Měření změn v klíčových výkonnostních parametrech vlivem programu 5. Návratnost investic (ROI) Srovnání finanční hodnoty výsledků s náklady vloženými do vzdělávání Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

STRATEGIE HODNOCENÍ PODLE HAMBLINA Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

JINÝ AUTOR (ARMSTRONG, 1999) ROVNĚŽ PŘISTUPUJE K HAMBLINOVU POJETÍ A UVÁDÍ POUZE PĚT ÚROVNÍ 1. Reakce školených osob na zážitky ze vzdělávání. 2. Hodnocení poznatků (posun ve znalostech, dovednostech a změny v chování). 3. Hodnocení chování účastníků (jak v praxi uplatňují, co se naučili). 4. Hodnocení na úrovni organizační jednotky (dopad změn pracovního chování účastníků na výsledky). 5. Hodnocení konečné hodnoty (prospěch organizace jako celku z uskutečněného vzdělávání). Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

ROLI Model (Greeno 2005) I (Return on Learning Investment) Východiska 1. Produktivita a ziskovost 2. Kvalita a cena 3. Spokojenost a kompetentnost Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

ROLI Model (Greeno 2005) II (Return on Learning Investment) Postupy 1. Doména podniku (návratnost) – výkon, kompetence, motivace, … 2. Doména podniku (vstupy) – lidský kapitál, distribuce tréninků, finanční náklady 3. Doména zaměstnance (vstupy) – profesionalita, čas, úsilí 4. Doména zaměstnance (návratnost) – schopnosti, motivace, obohacení, konkurenceschopnost… Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

ZÁSADY PRO ZPĚTNOU VAZBU PŘI HODNOCENÍ VÝSLEDKŮ VÝUKY (Danne, Knabe 2003) 1. 2. 3. 4. 5. Motivace ke vzdělávání a rozvoji Cílová orientace výuky a účastníka Hodnocení (účastník, lektor) Náměty na zlepšení výuky Akční plán – jak budou použity poznatky a dovednosti a v čem se dále rozvíjet (účastníci). Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

VYHODNOCOVÁNÍ VÝSLEDKŮ A ÚČINNOSTI VZDĚLÁVACÍHO PROGRAMU (podle Koubka) 1. Porovnání výsledků vstupních a výstupních testů 2. Monitorování vzdělávacího procesu 3. Praktický přínos vzdělávání pomocí ekonomických ukazatelů Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

HODNOCENÍ PRŮBĚHU A OVĚŘOVÁNÍ VÝSLEDKŮ VÝUKY Vyhodnocení průběhu a ověřování výsledků výuky Kontrola Ověřování - Vstupní ověřování - Průběžné ověřování Ústní forma - Individuální zkoušky - Kolektivní zkoušky Create think tank! Písemná forma - Písemné zadání - Testy - Aplikační práce Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

ÚČINNOST VYUČOVÁNÍ Obsahová validita - Nebyla (byla) vynechána určitá část programu. Validita cílů - Výukové cíle byly v určité míře naplněny. Validita profesní - Výsledky výuky zaváděné do praxe. Validita komparativní - Výsledky lze srovnat s výsledky jiných lektorů s podobně tvořenými skupinami. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

HODNOCENÍ UČENÍ • Měření znalostí před, v průběhu a po skončení vzdělávání. • Měří se postoje, znalosti, dovednosti. • Pokud je to praktické, používejte srovnání s jinými skupinami účastníků. Každý lektor by měl mít vlastní nástroj měření efektivity učení! Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

HODNOCENÍ PODNIKOVÉHO VZDĚLÁVÁNÍ 1. Účastníci (profil) 2. Školitelé a organizátoři (zdroje školení, reakce účastníků a jejich učení) 3. Linioví manažeři (relevantnost obsahu k naplnění práce podřízených, vliv školení na výkonnost) 4. Vrcholoví manažeři (náklady versus přínos vzdělávání pro podnik) Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

HODNOCENÍ EFEKTIVITY PVD SE ZAMĚŘUJE NA TO: 1. Zda byly při vzdělávání použity adekvátní nástroje tj. cíle, obsah, formy, metody, pomůcky a organizace. 2. Jaká je odezva účastníků (může být zkreslena). 3. Míra získaných informací, vědomostí a návyků. 4. Do jaké míry uplatňují účastníci zkušenosti z výuky ve své praxi. Také hodnocení má své možnosti a relativitu! Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

HODNOCENÍ EFEKTŮ PODNIKOVÉHO VZDĚLÁVÁNÍ 1. Podpora vyššího a kvalitnějšího pracovního výkonu. 2. Větší využití výrobních zařízení, technologií a kapacit služeb. 3. Pozitivní vliv na firemní kulturu, firemní klima, identifikaci pracovníka s podnikem a pracovní motivaci. 4. Formuje se vztah pracovníků nejen k podniku a spolupracovníkům, ale také k zákazníkům. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

KROKY K HODNOCENÍ VÝSLEDKŮ VYUČOVÁNÍ A UČENÍ (AUDIT) 1. Stanovení požadované úrovně vstupů a výstupů výuky (standardy V, D, N, postojů). 2. Hodnocení reálného času k dosažení cílů výuky. 3. Jednoznačnost instrukcí k provedení požadovaných výkonů účastníků. 4. Vlastní realizace výuky, vedení záznamů. 5. Rozbor výsledků učení. 6. Poskytování zpětné vazby. 7. Poskytnutí návodů k odstranění nesprávných návyků účastníků, odstranění chyb a odchylek. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

FAKTORY ÚSPĚŠNOSTI PODNIKOVÉHO VZDĚLÁNÍ Znalosti Motivace Dovednosti Spokojenost Postoje Profil Hodnoty Sebevědomí Jack Welsch, Formacion la espresa, SA Mexiko City 2006 Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

PŘEDNOSTI PVD V PODNIKU I 1. Umožňuje průběžné formování pracovních schopností pracovníků podle specifických potřeb podniku. 2. Ovlivňuje pracovní výkon, produktivitu práce a tím i kvalitu výrobků a služeb. 3. Zlepšuje vztah pracovníků k podniku a zvyšuje jejich motivaci. 4. Rozšiřuje sociální jistoty pracovníků podniku. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

PŘEDNOSTI PVD V PODNIKU II 5. Zvyšuje kvalitu a tím i tržní cenu individuální pracovní síly a tím i její potencionální šance na vnitropodnikovém i vnějším trhu práce. 6. Urychluje personální a sociální rozvoj pracovníků, zvyšuje jejich šance na funkční a platový postup. 7. Přispívá ke zlepšování mezilidských vztahů. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

MODEL STUDIA S POUŽITÍM DIAGNOSTIKY Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

OBSAH A METODY JEDNOTLIVÝCH OBLASTÍ DIAGNOSTIKY V PVD Vstupní diagnostika Průběžná diagnostika Výstupní diagnostika Vstupní testy Individuální konzultace Orientační sondy Průběžné testy znalostí Výstupní testy Individuální konzultace Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

PŘÍNOS DIAGNOSTIKY VE VZDĚLÁVÁNÍ DOSPĚLÝCH I • Umožňuje systematický přístup k realizaci vzdělávání. • Vytváří podmínky pro účelné plánování etap vzdělávání. • Přináší komplexnější pohled na motivaci účastníků. • Dává možnost k měření dosažených pedagogických cílů. • Zajišťuje didaktickou efektivitu a ekonomiku práce lektorů i organizátorů. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

PŘÍNOS DIAGNOSTIKY VE VZDĚLÁVÁNÍ DOSPĚLÝCH II • Zajišťuje informovanost účastníka o vzdělávacím procesu, o stavu a charakteru jeho vědomostí a o možnostech jeho dalšího růstu. • Urychluje adaptaci účastníka na podmínky, způsoby i režim studia. • Působí na studijní motivaci účastníků. • Umožňuje přesnější a objektivnější klasifikaci zkoušek účastníků a vyrovnání jejich studijních problémů. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

FUNKCE DIAGNOSTIKY DOSPĚLÝCH I • Funkce poznávací Je funkcí primární a vyplývá vlastně z podstaty metody. • Funkce regulační Díky získaným údajům lze regulovat proces vyučování i učení. • Funkce motivační Spočívá v sebepoznání účastníků a jejich „vyladění“ v průběhu studia. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

FUNKCE DIAGNOSTIKY DOSPĚLÝCH II • Funkce sociálně integrující Pomáhá vytvořit skupinovou výukovou situaci. • Funkce adaptační Urychluje adaptaci účastníků na jejich studium. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

ČINITELÉ DIAGNOSTIKY VE VÝUCE DOSPĚLÝCH Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

METODICKÁ DOPORUČENÍ K INDIVIDUÁLNÍM KONZULTACÍM S ÚČASTNÍKY V RÁMCI VSTUPNÍ DIAGNOSTIKY I • Při výuce dospělých dochází často k porušení rovnováhy mezi vnitřními schopnostmi účastníka a objektivními požadavky okolí. • Východiskem pro konzultaci je prvotní zjištění celkového postoje účastníka k učení a vzdělávání. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

METODICKÁ DOPORUČENÍ K INDIVIDUÁLNÍM KONZULTACÍM S ÚČASTNÍKY V RÁMCI VSTUPNÍ DIAGNOSTIKY II • Cílem konzultace je ujasnění a upřesnění některých osobních údajů účastníků, které byly získány při úvodním testování a konkretizaci osobnostních charakteristik a dispozic. • Konzultace musí být řádně metodicky a organizačně připraveny, dodržování etických zásad a diskrétnost zacházení s individuálními údaji je samozřejmostí. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

METODICKÁ DOPORUČENÍ PRO PRÁCI S DIAGNOSTICKÝMI ORIENTAČNÍMI SONDAMI I • Zpracovatelem orientační sondy by měl být sám lektor. • V praxi se osvědčilo následující členění orientačních sond: 40% otázek z poznatkových struktur, které lektor již nehodlá ve výuce sdělovat, 40% otázek ke stěžejnímu výkladu látky, 20% otázek týkajících se postojů k učební látce a možnosti jejího praktického uplatnění. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

METODICKÁ DOPORUČENÍ PRO PRÁCI S DIAGNOSTICKÝMI ORIENTAČNÍMI SONDAMI II • Účastníci musí být jasně a přesně informováni o smyslu účelu sondy. • Osvědčila se praxe, kdy lektor uplatní totožnou sondu i po skončení určitého tematického bloku. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

METODICKÁ DOPORUČENÍ PRO PRÁCI S VÝSTUPNÍ DIAGNOSTIKOU • Výstupní diagnostika představuje vlastně komparativní činnost předchozích etap diagnostiky. • Důležitým cílem výstupní diagnostiky je postižení studijního vývoje účastníka. • Doporučuje se vypracování celkové zprávy postihující celkový průběh a výsledky výuky. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

VYUŽITÍ VÝSLEDKŮ DIAGNOSTIKY I • V pedagogické práci s účastníky Např. při vytváření a vědomostní homogenizaci studijních skupin, ovlivňování motivace dospělých k učení, usměrňování efektivních způsobů učení apod. • Při zdokonalování didaktického procesu Určování učebních cílů výuky, výběr učební látky, volba vzdělávacích forem, rozvoj didaktických metod, použití vyučovacích pomůcek a didaktické techniky. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

VYUŽITÍ VÝSLEDKŮ DIAGNOSTIKY II • Pro zkvalitnění lektorské činnosti Při výběru vhodných metod výuky, uplatnění učebních pomůcek i objektivnějším přístupu při ověřování znalosti účastníků • Pro práci s externími lektory Z hlediska slaďování jejich způsobů výuky vzhledem ke složení účastníků, lepší komunikaci s lektory apod. • Pro personální činnosti obecně Zlepšení výběru pracovníků do kurzů, posuzování schopností pracovníků apod. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

PŘEDPOKLADY PRO ZAVEDENÍ DIAGNOSTIKY DO LEKTORSKÉ PRAXE • Získání nezbytných podkladů od organizátora vzdělávací akce (profesní a funkční složení účastníků, věk, pohlaví, předchozí vzdělání apod. ). • Vytvoření vlastního systému diagnostiky včetně kriterií pro hodnocení efektivity výuky a interpretaci výsledků. Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

SROVNÁNÍ CERTIFIKACÍ VZDĚLÁVÁNÍ DOSPĚLÝCH ČSN EN 9001: 2001 Q FOR Oborová certifikace Zaměření: všeobecné Zaměření: vzdělávací a poradenské Zaměření: vzdělávací a firmy poradenské firmy Zakladatel: Mezinárodní organizace pro normalizaci Zakladatel: Síť EEIG Q FOR sídlící v Belgii Zakladatel: AIVD ČR Časové nároky na zavedení: 6 měsíců Časové nároky na zavedení: 1 den – vyplnění dotazníku 3 hod – návštěva auditora Časové nároky: 1 měsíc Platnost auditu: 3 roky Cena: 100 – 200 000, - Kč Cena: 35 – 50 000, - Kč Cena: 30 000, - Kč Výstup auditu: příručka jakosti, Výstup auditu: zpráva o auditu, logo Výstup auditu: příručka jakosti Využití: Mezinárodně Využití: Marketingové využití pouze Využití: Marketingové neomezené ve všech oblastech v oboru vzdělávání a poradenství využití pouze v oboru podnikání a státní sféry vzdělávání a poradenství Známost: ***** v celé Evropě Známost: *** především v zapojených státech Create think tank! Známost: ** pouze v ČR Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

OSM PRINCIPŮ ŘÍZENÍ KVALITY PODLE ISO 9001 1. 2. 3. 4. 5. 6. 7. 8. Orientace na zákazníka Vedení Zapojení osob Procesně orientovaný koncept Systémově orientovaný koncept Neustálé zlepšování Věcný koncept pro rozhodování Dodavatelské vztahy k vzájemnému užitku Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

ČSN EN ISO 9001: 2001 I Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

ČSN EN ISO 9001: 2011 II Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

Q FOR – průběh auditu I Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

Q FOR – průběh auditu II Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

Q FOR – FÁZE AUDITU • • Předávání podkladů Telefonická anketa Návštěva auditora ve firmě Uzavření auditu Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.

OBOROVÁ CERTIFIKACE (Přehled oblastí požadavků na systém řízení jakosti žadatele) • • • Požadavky obecné a organizační Požadavky z oblasti ekonomiky a řízení Řízení a plánování Systém řízení jakosti Komunikace s klientem Vývoj nového produktu Proces poskytování služby vzdělávání dospělých Personál Vnitřní kontroly Monitorování, vyhodnocování Create think tank! Doc. Ph. Dr. Jaroslav Mužík Dr. Sc.