Разработка сред управляемого исполнения на примере виртуальной машины Java Занятие 9 Салищев С. И.
Салат Оптимизация локальности кода и данных Взаимодействие с операционной системой Стандартные тестовые нагрузки Направления исследований
Нарушение локальности и способы исправления Нарушение локальности – обращение к памяти приводящее к промахам кэширования памяти (Cache Miss) или отображения виртуальных адресов (TLB Miss) n n Потери производительности из-за неоптимального использования вычислительных блоков ЦП Возможно извлечение информации о нарушениях локальности при динамическом профилировании Нарушение локальности данных n n Из-за несоответствия порядка создания и порядка использования объектов Из-за перемещения объектов при сборке мусора Сборка мусора должна сохранять порядок объектов в памяти Сборка мусора может учитывать данные профилирования при перемещении объектов Нарушение локальности кода n n n Из-за избыточной связности модулей, приводящей к частому вызову далеких методов Из-за перекомпиляции методов Нарушение локальности должно учитываться при подстановке (inlining)
Проблемы взаимодействия с OS Предпочтительно кооперативное планирование n OS общего назначения используют вытесняющее планирование Безопасность обеспечивается верификацией кода n Для обеспечения безопасности естественных приложений OS переключается для планирования в привилегированный контекст Требуется большая куча n Приводит к росту файла подкачки (swap file) Сборка мусора сканирует всю память системы n Вызывает загрузку редко используемой памяти из файла подкачки Сборка мусора предпочтительнее вытеснения памяти в файл подкачки n OS не предоставляют возможности управления вытеснением памяти
Интеграция с планировщиком OS Обеспечение кооперативного планирования n Близко к требованиям OS реального времени Планирование управляемых нитей без переключения контекста n Требует подтверждения безопасности системы управляемого исполнения, например включения ее как драйвера ядра
Интеграция с системой управления памятью Согласование размещения поколений объектов и вытеснения памяти в файл подкачки n n Только старые поколения объектов должны вытесняться на диск Сборка мусора не должна часто сканировать вытесненную память Обработка недостатка физической памяти при помощи сборки мусора n Перед вытеснением памяти должна производиться сборка мусора
Стандартные тестовые нагрузки Тестовые нагрузки n n Цели производительности для разработчиков платформ Оценка производительности платформ для разработчиков решений SPEC - Standard Performance Evaluation Corporation n n jvm 2008 – клиентские приложения jms 2007 – распределенные системы на основе JMS j. Enterprise 2010 – распределенные системы на платформе J 2 EE 5 jbb 2005, jbb 2013 – серверные приложения Da. Capo – клиентские приложения Sci. Mark – научные расчеты
SPEC jvm 2008 Тест оценивает производительность типичных клиентских приложений Java, характерных для разработчиков ПО Тест включает компиляцию (javac), упаковку данных (LZW), криптографию (AES, RSA, SHA 256), работу с базами данных (telco), декодирование mp 3, математические вычисления (scimark), старт JVM, трассировку лучей (sunflow), сериализацию данных, XML Все тесты многонитевые Оценивается время исполнения тестов
SPEC j. Enterprise 2010 Тест основан на реальном сценарии использования по управлению производством автомобилей Тест измеряет производительность распределенной корпоративной системы управления построенной как набор взаимодействующих 3 уровневых web приложений (3 tier app) на платформе J 2 EE 5 с использованием технологий n n n The web container, including servlets and JSPs The EJB container EJB Container Managed Persistence JMS and Message Driven Beans Transaction management Database connectivity Кроме того нагружаются DB, JDBC, network Тест создает случайный параллельный статистически реалистичный поток запросов к системе Измеряется количество выполненных транзакций и количество параллельных источников запросов при сохранении качества обслуживания
SPEC jbb 2005 Тест измеряет производительность бизнес логики (middle tier) системы управления оптовой торговой компании построенной как 3 уровневое приложение Используются только классы J 2 SE 5. 0 Финансовые вычисления проводятся используя Big. Decimal вместо чисел с плавающей точкой Взаимодействие по сети и обращение к базе данных эмулируются Java объектами в памяти Одновременно запускается несколько экземпляров системы управления (warehouse) Тест создает случайный последовательный статистически реалистичный насыщающий поток обращений к каждой системе (warehouse) Измеряется среднее количество выполненных транзакций по всем запущенным экземплярам
SPEC jbb 2013 Тест измеряет производительность бизнес логики (middle tier) системы управления оптово-розничной торговой компании построенной как 3 уровневое приложение Взаимодействие по сети и обращение к базе данных эмулируются Java объектами в памяти Использует Java 7 Измеряется как чистая производительность так и производительность при ограниченном времени ответа от 10 до 500 ms
SPEC jms 2007 Тест измеряет производительность системы управления оптоворозничной торговой компании построенной на основе JMS Кроме того нагружаются DB, JDBC, network Тест поддерживает вертикальное и горизонтальное масштабирование нагрузки для изучения масштабируемости системы
Da. Capo Тест с открытым исходным кодом Тестирует производительность пользовательских приложений Все подтесты являются многонитевыми Включает подтесты: n n n Antlr – генерация парсера Bloat – оптимизация и анализ Java байт кода Chart – использует JFree. Chart для построения графиков и генерации PDF Eclipse – тестирование не интерфейсных компонент Eclipse IDE Fop – форматирует XSL-FO, генерирует PDF Hsqldb – эмулирует работу базы данных с банковским приложением Jython – выполняет pybench Python benchmark Luindex – использует lucene для индексирования текстов Lusearch – использует lucene для поиска по индексам Pmd – анализирует Java исходный код Xalan - трансформирует XML в HTML используя XSLT Измеряется суммарное время прохождения тестов
Sci. Mark Тестирует производительность математических вычислений в основном с плавающей точкой Два размера исходных данных n n Обычный – помещается в кэш памяти современных процессоров для оценки вычислительной производительности Большой – существенно превышает размер кэша памяти для оценки производительности памяти Содержит подтесты: n n n Fast Fourier Transform (FFT) – быстрое преобразование Фурье Jacobi Successive Over-relaxation (SOR) – метод последовательной верхней релаксации для решения сеточных уравнений Monte Carlo integration – целочисленная аппроксимация π методом Монте-Карло Sparse matrix multiply – умножение разреженных матриц dense LU matrix factorization – LU факторизация матриц Все тесты однонитевые
Направления исследований Интеграция с OS Managed in Managed OS Оптимизация JIT Оптимизация GC Использование в Real-Time системах Распараллеливание внутренних структур VM Транзакционная память
Интеграция с OS Интеграция планировщика Интеграция системы управления памятью Улучшение масштабируемости
Managed in Managed Разработка систем управляемого исполнения на управляемых языках n Jikes RVM Разработка технологических подходов к разработке
Managed OS Разработка OS общего применения на управляемых языках n n Singularity JNode Разработка систем реального времени на управляемых языках Исследование обратной совместимости с традиционными OS
Оптимизация JIT Извлечение параллелизма из пользовательского кода n n Распараллеливание зависимых итераций циклов Векторизация вычислений Распараллеливание компиляции Алгоритмы оптимизации управляемые динамическим профилированием
Оптимизация GC Распараллеливание алгоритмов Уменьшение задержек Улучшение производительности (MMU) Оптимизация использования NUMA Оптимизация работы с вытеснением памяти на диск (swap)
Использование в Real-Time системах Разработка тестовых нагрузок Разработка примеров реального использования Исследование реализуемости различных парадигм параллельного программирования
Распараллеливание внутренних структур VM Минимизация влияния пользовательской синхронизации Оптимизация библиотек для параллельного исполнения Распараллеливание загрузки классов и верификации
Транзакционная память Программная реализация (Software TM) Аппаратная реализация (Hardware TM) Комбинированная реализация (Hardware aided STM) Портирование стандартных библиотек Разработка новых прикладных алгоритмов Использование в GC Влияние на парадигму параллельного программирования
Скачать презентацию Разработка сред управляемого исполнения на примере виртуальной машины
6cd9d49cae669a5f13e2065f9054f41d.ppt