2 учебная сессия ПОЗИТИВНОЕ РАЗВИТИЕ МОЛОДЕЖИ
Курс «Позитивное развитие молодежи» «ПОВТОРЕНИЕ ПРОЙДЕННОГО» РАЗДЕЛ 1
Курс ПРМ – обзор целей обучения К концу обучения слушатели курса смогут: применять теорию ПРМ в своей ежедневной работе с молодежью создавать программы, основанные на принципах ПРМ. управлять молодежными программами, проводить мониторинг и оценку, основываясь на принципах ПРМ рекомендовать преимущества подходов ПРМ органам власти, а также всем, чья деятельность затрагивает интересы молодежи, включая руководство и коллег в своих организациях
Основные темы второй учебной сессии Основы мониторинга и оценки Коучинг для развития молодежи Мотивирование пассивной молодежи Укрепление программ на основе ПРМ Запрос и использование обратной связи Продвижение подходов ПРМ
Задачи блока «Мониторинг и оценка» дать слушателям базовые понятия и инструменты мониторинга и оценки определить возможность использования мониторинга и оценки в практической деятельности специалистов, работающих с молодежью, в их практической деятельности, на основе ПРМ объяснить их применение в практической деятельности
Основные темы блока М и О Планирование результатов Мониторинг Индикаторы: виды и характеристики Оценка Система мониторинга и оценки Подходы ПРМ в мониторинге и оценке
Проектный цикл: составляющие 5 1 ПЕРЕХОД НА НОВЫЙ УРОВЕНЬ АНАЛИЗ ПРОБЛЕМЫ (СИТУАЦИИ) ? 2 ФОРМУЛИРОВКА ЖЕЛАЕМЫХ ИЗМЕНЕНИЙ МОНИТОРИНГ ОЦЕНКА 4 РЕАЛИЗАЦИЯ ПРОЕКТА 3 ПЛАНИРОВАНИЕ ПРОЕКТА
Курс «Позитивное развитие молодежи» ОСНОВЫ МОНИТОРИНГА И ОЦЕНКИ РАЗДЕЛ 2
2. РЕЗУЛЬТАТ: что это такое?
Программа и проект Проект (программа) – это особая форма организации деятельности, отличающаяся тем, что она направлена на достижение запланированного конкретного результата, заранее определенным способом, с использованием известного заранее и ограниченного количества ресурсов, в оговоренные заранее сроки.
Программа и проект В отличие от проекта программа предполагает больший масштаб и продолжительность деятельности и может включать несколько проектов. В программе каждая цель разрабатывается как отдельный проект – со своими целями и задачами. Главное в программе – координация действий в рамках проектов для достижения цели программы
Цель - результат ЦЕЛЬ А Движение к цели Достижение результата В РЕЗУЛЬТАТ
Примеры формулировки цели снижение ущерба от ДТП для жизни и здоровья людей в N-ском районе снижение административных барьеров для организации предприятий малого бизнеса в городе N к 2012 году улучшение знаний семей о правилах санитарии и гигиены снижение количества случаев проявления жестокости среди подростков группы риска
Цели конференции Программы Вдохновить участников конференции на проектирование эффективной молодежной политики и молодежных программ ЦЕЛЬ Способствовать распространению теории позитивного развития молодежи ЗАДАЧА 1 Отпраздновать достижения Программы через демонстрацию проектов и их результатов ЗАДАЧА 2 Обменяться опытом и практическими наработками проектов и регионов, чтобы получить новые идеи, как можно улучшить существующие проекты и как выполнять новые программы ЗАДАЧА 3 Вовлечь участников в дискуссию о современной молодежной политике, дать возможность участникам спроектировать эффективные подходы к работе с молодежью
Цели Программы «Электронная Москва» повышение уровня и качества жизни горожан, развитие демократических институтов, создание благоприятных условий для предпринимательской деятельности и повышения конкурентоспособности предприятий города, повышение эффективности и открытости городского управления, улучшение работы городского хозяйства и экологии города, обеспечение оперативного реагирования на чрезвычайные и аварийные ситуации, повышение безопасности граждан за счет развития и широкомасштабного использования информационно-коммуникационных технологий. Комментарии Цели влияния спутаны с целями действий (задачами) Попытка в одной программе решить множество актуальных задач У проекта (программы) должна быть одна миссия и одна цель. Задач может быть несколько
Цель программы создания ЭП в Канаде Организация государственных услуг и информации в соответствии с потребностями и ожиданиями граждан.
Ассоциация водолазных служб России Целью программы является улучшение экологической ситуации на водных объектах реки Волга на основе осуществления первоочередных мероприятий по очистке акваторий от брошенных и затонувших судов, не используемых гидротехнических сооружений, другого бесхозного имущества, промышленных и бытовых отходов. Комментарий: Не нужно включать задачи и действия и характеристики объектов в формулировку цели.
SMART - критерии формулировки цели Specific – конкретная Measurable – измеримая Area-bounded – привязанная к территории или определенному месту Realistic – реалистичная (достижимая) Time-bounded –указывающая временные сроки
Рекомендации к формулировке цели Будьте осторожны со словами, которые можно по-разному интерпретировать Ищите ответы на вопросы, кто, что, где, когда, сколько Избегайте слов, описывающих менталитет или процессы, например, «формирование» , «воспитание» , «расширение» , «осознание» . Спрашивайте себя, в чем выражается запланированный вами результат процесса, в каких действиях это проявляется, какие конкретные признаки успеха? Оценивайте реалистично количество людей, на которых вы оказываете воздействие своими усилиями, учитывая ваши ограничения в ресурсах (люди, помещение, бюджет) Оцените, к какому сроку вы надеетесь выполнить свою задачу?
Программа безопасности дорожного движения ЦЕЛЬ ПРОЕКТА Снижение количества ДТП с тяжелыми последствиями ЗАДАЧА 1 Предотвратить рискованное поведение пешеходов и водителей ЗАДАЧА 2 Улучшить состояние ТС ЗАДАЧА 3 Улучшить организацию движения транспорта и пешеходов
Логическая модель проекта ЦЕЛЬ ПРОЕКТА (долгосрочная) РЕЗУЛЬТАТ (результат влияния) ЗАДАЧИ ПРОЕКТА МАКРО-РЕЗУЛЬТАТ (среднесрочные цели) (среднесрочные результаты) Действия ?
Логическая модель проекта ЦЕЛЬ ПРОЕКТА (долгосрочная) (результат влияния) ЗАДАЧИ ПРОЕКТА МАКРО-РЕЗУЛЬТАТ (среднесрочные цели) (среднесрочные результаты) РЕЗУЛЬТАТ КОЛИЧЕСТВО ДТП УМЕНЬШАЕТСЯ (изменение ситуации) ДЕТИ СОБЛЮДАЮТ ПРАВИЛА (знание+применение) ПРОДУКТ ДЕЙСТВИЯ МИКРО-РЕЗУЛЬТАТ (краткосрочные результаты) ДЕТИ ИНФОРМИРОВАНЫ (знание) ЗАНЯТИЕ
Логическая схема результатов РЕСУРСЫ ДЕЙСТВИЯ Если менеджеры программы смогут мобилизовать ресурсы, определенные в логической модели программы, то они смогут произвести действия. ПРОДУКТ Ы Если необходимые ресурсы будут использоваться эффективно, будут задействованы соответствующ ие действующие лица и процессы, то действия дадут ожидаемые продукты. РЕЗУЛЬТАТЫ Если в результате всех действий будут получены все ожидаемые продукты, то продукты приведут к ожидаемым кратко- и среднесрочн ым результатам. Если будут достигнуты результаты различных программ, то произойдут ожидаемые изменения в благосостояни и населения, состоянии институтов и систем. ВЛИЯНИ Е
Логическая схема результатов РЕСУРСЫ ДЕЙСТВИЯ ПРОДУКТ Ы РЕЗУЛЬТАТЫ Что мы должны сделать для того, чтобы это состоялось? ВЛИЯНИ Е
Где проблема? Что можно упустить? Стратегическая Цель (миссия) Цель проекта Цели действий (задачи) Действия
Как мы «видим» результаты? Что может произойти после того, как с детьми было проведено занятие о правилах дорожного движения? Результаты Краткосрочные Среднесрочные Долгосрочные Как можем узнать? Когда можем узнать?
3. МОНИТОРИНГ: что будем измерять?
Инструменты управления проектом Мониторинг Аудит Инспекция Проверка на соответствие Отслеживание хода программы по сравнению с планом на основании замера значений показателей (индикаторов) Выявление и предотвращение нарушений НАРУШЕНИЯ Контроль СООТВЕТСТВИЕ САМОКОНТРОЛЬ Оценка Анализ процесса выполнения программы, достигнутых результатов и причин отклонений от плана ЦЕННОСТЬ Исследование Получение нового знания, моделирование ЗНАНИЕ Получение нового знания
Мониторинг и оценка Сущность мониторинга и оценки одна и та же – отслеживание хода и результатов программы и выдача информации для лиц, принимающих решения. Мониторинг отвечает Оценка отвечает на на вопрос «Как идут вопросы «Ну и что? » и дела? » . «Почему? » . Рутинное, отслеживание Более глубокий по сравнению ситуации, сравнение текущего с мониторингом анализ положения дел с планом. происходящего.
Мониторинг: что отслеживаем? использование ресурсов (соответствие потраченных ресурсов плану) процесс выполнения программы (соответствие содержания и сроков мероприятий графику выполнения работ; соблюдение технологий, методов, процедур) результаты (в какой мере удается достигать поставленных целей) влияние (как влияет программа на ситуацию, в чем заключается это влияние)
Мониторинг – это… …процесс регулярного сбора и анализа ключевых данных (индикаторов) для определения: какие сдвиги или прогресс достигнуты в изучаемом явлении или процессе (определение ООН) …систематический сбор информации о значениях заранее выбранных индикаторов для обеспечения руководителей и других заинтересованных сторон сведениями о том, насколько успешно выполняется программа развития, в какой степени достигаются поставленные цели и как используются фонды, выделенные на данную программу.
Основная функция мониторинга поставлять информацию для принятия управленческих решений
4. ИНДИКАТОРЫ: сколько это будет в попугаях?
Индикаторы Индикатор – это количественный или качественный показатель, который служит простым и надежным средством измерения достижений, отражает изменения, вызванные программой или помогает оценить деятельность структуры, осуществляющей программу.
Примеры индикаторов Индикатор Что он показывает Количество юридических консультаций за определенный период по определенным темам Востребованность юридических консультаций на определенную тему в определенном регионе Количество детей, которые тратят на домашние уроки больше 1 часа Показатель критически большого уровня домашних заданий Количество законопроектов, возвращенных на доработку, количество изменений или дополнений в них Качество законотворчества Соотношение открытых и закрытых Уровень прозрачности и парламентских слушаний открытости парламента, доступа населения к законодательной информации
«Хорошие» индикаторы К Конкретность – имеет отношение к конкретной сфере или целевой группе, простой, понятный в изложении, не допускает двусмысленных толкований И Измеримость – измерим в обычных и широко используемых единицах (например, к-во, кг, дни и пр. ) Д Достижимость - указывает на реальный действительный прогресс в достижении желаемого результата Н Необходимость – действительно является важным, необходимым для получения информации и выводов Надежность – источники сбора информации по этому индикатору надежные и объективные, могут быть перепроверяемы другими людьми, методами О Обусловленность временем – заранее известно, когда планируется получить намеченные изменения
Неудачные индикаторы Неизмеримый – улучшение качества обслуживания пассажиров – как мы это измерим? Двусмысленный – снижение безработицы – какой? Официальной или скрытой? Трудно трактуемый – рост ипотечного кредитования. В чем? В количествах кредитных договоров или сумме выданных кредитов? Зависит от роста курса валюты Подверженный влиянию – безработица при сезонной занятости населения Затратный – стоимость исследования не должна составлять более 10% от бюджета организации
Признаки «полезного» индикатора Его значение можно измерить. Его значение заранее неизвестно и действительно может меняться. Тем, кто управляет программой, действительно нужно иметь информацию о значении индикатора. Те, кто будут принимать решения и пользоваться информацией, хотят знать значение индикатора для себя, а не для кого-то другого. Те, кто будут принимать решения, могут объяснить, как они будут использовать сведения о значении индикатора, то есть как это значение может влиять на их дальнейшие действия.
Пример описания индикатора Компонент программы, к которому относится индикатор Название индикатора Определение индикатора Исходное значение индикатора Плановое (целевое) значение индикатора Когда должно быть достигнуто целевое значение Период использования индикатора Частота измерения Источник информации Метод сбора данных Комментарии
Пример описания индикатора Параметры Описание Компонент программы, к которому относится индикатор Задача: повышение удовлетворенности родителями качества образования Название индикатора Количество родителей, желающих обучать ребенка в данной школе Определение индикатора Показатель количества родителей (1 представитель), прямо или косвенно высказавших желание, намерение отдать ребенка в 1 класс конкретной школы Исходное значение индикатора На 1. 4. 2009 – Х Плановое (целевое) значение На 1. 4. 2010 – ХХ Когда должно быть достигнуто целевое значение Апрель 2010 г. Период использования индикатора Март 2010 Частота измерения 1 раз Источник информации 1. 2. Метод сбора данных 1. 2. Директор школы Родители детей 5 -6 лет, проживающих рядом Изучение количества поданных заявлений Опрос родителей
Классификация индикаторов Прямые и косвенные Прямые индикаторы отслеживают те результаты, для измерения которых они предназначены Косвенные индикаторы используются в том случае, когда нет возможности измерить явление или процесс при помощи прямых индикаторов Количественные и качественные Количественные – характеризуют конкретные размеры общественных явлений Качественные – показатели, которые трудно «взвесить» имеющимися количественными параметрами
Несколько правил разработки индикаторов должно быть несколько индикаторов для мониторинга каждого результата индикаторы должны учитывать интересы многочисленных заинтересованных сторон и в то же время находить баланс между ними, так как стороны будут иметь различные интересы индикаторов не должно быть слишком много, но достаточно для того, чтобы ответить на вопрос: достигнут ли результат нормально и ожидаемо добавлять новые и убирать старые индикаторы для совершенствования системы мониторинга для решения новых задач каждая организация сама может создавать для себя индикаторы учитывать смещение индикаторов ( «лукавые цифры» ) «защищать» индикатор (подвергать его проверкам)
Полезные советы «Чтобы разработать хорошие индикаторы, придется предпринять больше, чем одну попытку. Создание окончательного перечня хороших индикаторов требует профессионализма и времени»
5 уровней индикаторов для мониторинга Затрачиваемые ресурсы (это вклады, финансовые, Проводимые мероприятия / меры / действия Немедленные продукты отдачи / деятельности человеческие, материальные ресурсы, используемые в деятельности) (предпринятые действия, посредством которых мобилизуются ресурсы для достижения результатов) ( «микрорезультаты» , которые являются следствием нашей деятельности) Среднесрочные результаты ( «макрорезультаты» - кратко - и среднесрочные последствия микрорезультатов деятельности, они аккумулируют эффект от нескольких мероприятий или действий) Окончательное воздействие ( «результаты воздействия» фактические или намеченные изменения, долгосрочное последствие программы, проекта, стратегии, политики, деятельности)
5 уровней индикаторов Классификация Тип И Промежуточные индикаторы Конечные индикаторы И И ресурсов И И действий И И продуктов Вопросы Сколько и Какие меры и действия? Для кого? Какие результаты сразу же? К чему приведут? Какие последствия? Обучение грамоте (к-во курсов, чел-кочасов) К-во взрослых, прошедших курсы и применяющих знания Повышение грамотности ресурсов какие ресурсы? Пример К-во-учр. Сумма К-во тренеров действий продуктов И И результатов И И воздействия влияния Вопросы КАК? ЧЕГО ХОТИМ? ЧТО В ИТОГЕ? Уровни проекта Ресурсы и действия в рамках проекта Задачи проекта Цель проекта
Мониторинг в системе проекта Мониторинг позволяет осуществлять: планирование деятельности по результатам управление деятельностью по результатам проверку деятельности по результатам
Рекомендации по мониторингу программ Индикаторы разрабатываются для каждого уровня проекта Программа мониторинга разрабатывается на стадии планирования как часть программы Каждый индикатор прорабатывается тщательно Нужна система, а не только индикаторы Инструктаж участников процесса Результаты мониторинга используются по назначению Не преувеличивать возможностей мониторинга
5. ОЦЕНКА: придет ли наш корабль в порт назначения?
Ограничения мониторинга Измеряет только то, что мы запланировали заранее Не измеряет то, что мы не запланировали заранее Констатирует факты, но не объясняет их причин Есть риск манипулирования значениями индикаторов
Мониторинг и оценка: соотнесение Сущность мониторинга и оценки одна и та же – отслеживание хода и результатов программы и выдача информации для лиц, принимающих решения, для принятия управленческих решений. Мониторинг: Оценка: «Как идут дела? » «Ну и что? » , «Почему так? » «Что произошло? » «Какие отклонения произошли по сравнению с первоначально запланированным? » «Как были достигнуты эти результаты? Почему произошли отклонения? Как можно исправить ошибки? » Рутинное, отслеживание ситуации, Более глубокий по сравнению с сравнение текущего положения мониторингом анализ дел с планом. происходящего. [УВИДЕТЬ] [ОБЪЯСНИТЬ]
Что такое оценка Оценка – это анализ данных с использованием исследовательских методов (определение ООН) Оценка - это определение значимости и ценности конкретного направления работы или деятельности всей организации в целом.
Цель и функции оценки Цель оценки: анализ реализации проекта / программы или результатов их деятельности для дальнейшего принятия управленческого решения в отношении дальнейшей деятельности Оценка… дает важную аналитическую информацию о реальных событиях и процессах помогает усовершенствовать существующую практику дает основу для принятия оптимальных политических и управленческих решений, включая эффективное использование фондов, эффективное управление программами, достижение долгосрочных результатов.
Когда прибегают к оценке: традиционные методы измерения результатов деятельности говорят о том, что реальные показатели резко отличаются от запланированных (ожидаемых) результатов решается вопрос о выделении дополнительного финансирования принимается решение о расширении или сворачивании деятельности в течение длительного времени реализации проекта, программы не наблюдаются положительные изменения
Типы и виды оценки Промежуточная оценка – проводится во время реализации программы. Цель – выявление проблем и улучшение существующей программы, улучшение текущей реализации проекта, содействие принятию решения тогда, когда можно принять решение и что-то изменить в деятельности Обобщающая или завершающая оценка – проводится после реализации программы. Цель обобщающей оценки – демонстрация результатов программы, подведение итогов и улучшение будущих программ. Она может проводиться: сразу же после завершения реализации программы, проекта и прекращения финансирования через 3 -7 лет после завершения программы для оценки ее долгосрочного воздействия или последствия программы
Вопросы оценки При проведении оценки программы необходимо ответить на вопросы: Каковы фактические результаты программы, в какой мере они соответствуют целям Программы? Что можно считать основными достижениями программы? Чего по сравнению с планом сделать не удалось и почему? Каковы перспективы продолжения работы по окончании проекта?
СИСТЕМА МОНИТОРИНГАИ ОЦЕНКИ: 6. шкафчики и полочки
Общая схема мониторинга и оценки СБОР ДАННЫХ ПЛАНИРОВАНИЕ МОНИТОРИНГА И ОЦЕНКИ АНАЛИЗ ДАННЫХ ИСПОЛЬЗОВАНИЕ ДАННЫХ
Планирование мониторинга и оценки Определить объект мониторинга и оценки: проблемы, которые подлежат решению; установить (конкретизировать) цели программы (проекта), задачи, реализация которых приводит к цели; уточнить, через какие меры и мероприятия мы достигаем поставленной цели Определить измеряемые показатели (индикаторы), которые будут использоваться для того, чтобы можно было отслеживать ход программы Конкретизировать, кто и как будет использовать данные, в какой информации они нуждаются Проверить логическую схему интервенции ( «если» «тогда» ) Установить источники информации для проведения мониторинга (организации, отделы, отдельные люди или группы людей, документы и т. д. ) Выбрать методы сбора информации
Планирование мониторинга и оценки Определить частоту и график сбора информации Определить ответственных лиц за проведение мониторинга, потребность в специалистах, ресурсах, времени, при необходимости обучить специалистов, подготовить подробное задание Определить ответственных лиц за предоставление информации: договориться с ними Определить технологию обработки и анализа получаемой информации Спланировать, как и кому будут переданы данные мониторинга, а также кто и как будет их использовать Учесть в бюджете программы расходы, необходимые для проведения мониторинга.
Сбор данных: источники Источники данных – это лица или объекты, обеспечивающие данные, а именно: письменные записи (на электронных и твердых носителях) лица, связанные с программами общественность обученные наблюдатели механические измерения и эксперименты Первичные данные – собираются непосредственно в организации Вторичные данные – получены другими лицами для других целей (отличных от ваших), например, опросы, проводимые другими организациями, статистика и пр.
Сбор данных: методы Посещение грантополучателей и партнеров, осуществляющих программные/проектные мероприятия (site visits); Рассмотрение промежуточных аналитических отчетов и других отчетных документов, предоставленных грантополучателями и партнерами; Телефонные звонки и переписка по электронной почте; Участие во встречах, конференциях, круглых столах и других мероприятиях, осуществляемых в рамках Программы/Проекта; Опросы, интервью, анкетирование участников, благополучателей, партнеров и др. Проведение фокус-групп с участниками, благополучателями, партнерами и др. заинтересованными лицами Метод наблюдения Метод анкетирования
Кто может проводить М и О? Независимые специалисты, которые не имеют отношения к программе. Такая методика называется внешней. Сотрудники организации, не принимающие участия в программе. Это – внутренняя оценка (мониторинг). Участники программы. В этом случае процесс точнее будет назвать самооцениванием. Возможно и желательно применение смешанного типа.
Мониторинг и оценка: сравнение МОНИТОРИНГ Периодически, регулярно ОЦЕНКА Частота Эпизодически Отслеживание Содержание Определение значимости Улучшить ход исполнения, повысить эффективность, скорректировать план работ Основное назначение Улучшить качество, эффективность, влияние, будущие программы Краткосрочный Ресурсы, процесс, продукты, в идеале – результаты и влияние Планы работы, целевые характеристики работы и контрольные индикаторы Охватываемый период Уровень проекта Программные документы Долгосрочный, выходящий за рамки конкретной программы Результаты и влияние Более широкие программные цели, стратегия, а внешние нормы и стандарты
Мониторинг и оценка: сравнение МОНИТОРИНГ Отчеты, наблюдения, опросы Менеджеры программы, участники программы, основные заинтересованные стороны, те, кто предоставляет финансирование Менеджерам программы, участникам программы, основным заинтересованным сторонам, тем, кто предоставляет финансирование ОЦЕНКА Источники и методы информации Те же, также фокус-группы и др. специальные методы Исполнители Те же, если используется внутренняя оценка, а также внешние независимые оценщики Кому предоставляется отчет Тем же, если используется внутренняя оценка, а также политикам и широкому кругу внешних заинтересованных сторон
Основные стратегические решения ничего не делать, продолжать работать по плану изменить дизайн проекта: действия, мероприятия, целевую группу, задачи проекта, … добавить новый компонент проекта или новый проект начать сотрудничество с другими организациями (государственные, некоммерческие, бизнес) учесть влияние других сил, имеющих решающее значение для достижения цели, и начать работу в этом направлении прекратить проект ……. .
4 стратегии выхода из кризиса Стратегия 1: «Ничего не делаем» Стратегия 2: «Начинаем заново» Стратегия 3: «Признаем поражение» Стратегия 4: «Исправляем и продолжаем» Есть Стратегия 5: «С самого начала делаем все правильно» И тогда нам не нужна книга Д. Никсона «Кризис проекта. Анализ ошибок и варианты выхода с минимальными потерями»
Кому презентовать результаты Ми. О Группе проекта (коллегам) Начальству Грантодателю Спонсорам Общественности Партнерам Потенциальным партнерам СМИ …….
Задачи блока «Мониторинг и оценка» дать слушателям базовые понятия и инструменты мониторинга и оценки определить возможность использования мониторинга и оценки в практической деятельности специалистов, работающих с молодежью, в их практической деятельности, на основе ПРМ объяснить их применение в практической деятельности
7. ПОДХОДЫ ПРМ В МОНИТОРИНГЕ И ОЦЕНКЕ: даешь молодежь!
Лестница Харта сделать
Общая схема мониторинга и оценки СБОР ДАННЫХ ПЛАНИРОВАНИЕ МОНИТОРИНГА И ОЦЕНКИ АНАЛИЗ ДАННЫХ ИСПОЛЬЗОВАНИЕ ДАННЫХ
Упражнение Обсудите в группах и, основываясь на своем опыте работы, ответьте на вопросы: 1. Как вы привлекаете молодежь к мониторингу и оценке проектов, на каких уровнях, когда, какие методы используете? 2. На основе полученной сегодня на тренинге информации подумайте, как вы можете что-то делать по-другому, какие методы вы реально сможете применять?
Скачать презентацию 2 учебная сессия ПОЗИТИВНОЕ РАЗВИТИЕ МОЛОДЕЖИ Курс
Презентация 2 сессия.ppt