Differences

This shows you the differences between two versions of the page.

--- courses:high_performance_computing:lectures [2018/05/19 12:07] – kel
+++ courses:high_performance_computing:lectures [2023/06/26 13:07] – odoronin
@@ Line 30: / Line 30: @@
     * использование wait/notify
     * Spurious wakeups
+  - Thread Local Storage (TLS)
 ===== 4. Алгоритмы синхронизации =====
@@ Line 42: / Line 43: @@
     * lock-free
     * wait-free
-  - SWMR-регистры
   - Lock-free snapshot
   - Wait-free snapshot
@@ Line 56: / Line 56: @@
     * Инверсия приоритетов
-===== 7. Профилирование многопоточных приложений =====
+===== 7. Модель памяти =====
+  - Пример ошибки в ядре ОС
+  - Устройство кэшей процессора
+  - Пример на протоколе MESI
+  - Барьеры памяти (store/load)
+  - Модели памяти: Sequential consistency...
+  - Acquire/release семантика
+===== 8. Профилирование многопоточных приложений =====
   - Средства анализа производительности
     * Утилита time
@@ Line 62: / Line 70: @@
     * Valgrind (модули callgrind, cachegrind)
   - Пример поиска узких мест
+  - Профилирование промашек по кэшу и метрика CPI
-===== 8. Java.util.concurrent и Fork-Join Framework =====
+===== 9. Flat-Combining =====
-  - Пулы потоков, корректное завершение пула
+  - Схема Flat-Combining
-  - Контроль задач через Future
+  - Возможные оптимизации за счёт интерференции операций
-  - Потокобезопасные контейнеры
+  - Сравнение производительности с lock-free очередью Michael & Scott
-===== 9. OpenMP и Intel TBB =====
+===== 10. RCU =====
-  - Обзор OpenMP:
+  - Суть RCU и синхронизация на эпохах
-    * параллельные секции
+  - Kernel-space RCU
-    * области видимости переменных
+  - User-space RCU
-    * ограничения
-  - Обзор Intel TBB:
+===== 11. Транзакционная память =====
-    * алгоритмы
+  - Идея transactional memory
-    * аллокаторы
+    * Software transactional memory
-    * деревья задач
+    * Hardware transactional memory
-    * особенности планирования (work stealing...)
+  - Преимущества и круг задач
-    * flow graphs //(параллель с BPEL)//
+  - Реализация HTM на линейках кэша
+  - Lock teleportation
+===== 12. Сети Петри =====
+  - Суть модели сетей Петри
+  - Пример с обедающими философами
+  - Верификация || программ
+===== 13. Консенсус =====
+  - Консенсус:
+    * Консенсусное число RMW-регистров
+    * Универсальность CAS-операций
+===== 14. Асинхронный ввод/вывод =====
+  - Блокирующий/неблокирующий
+  - Синхронный (реактор)/асинхронный (проактор)
+  - Преимущества асинхронной работы и реализация со стороны операционной системы
+  - Библиотеки асинхронного ввода/вывода
+===== 15. Линеаризуемость =====
+  - Понятие линеаризуемости
+  - Lock-free стек Trieber
+  - Пример на очередях
+  - Lock-free очередь Michael & Scott
+  - Точки линеаризации
+===== 16. Оптимизации в компиляторах =====
+  - Статические оптимизации
+  - Оптимизации циклов:
+    * Развёртывание
+    * Повторение
+    * Вынесение инварианта
+  - JIT-оптимизации
+    * Объединение захвата примитивов
+    * Оптимистичный захват
+    * Адаптивные блокировки
+    * Замена виртуального вызова
-===== 10. Шаблоны || программирования =====
+===== 17. Шаблоны || программирования =====
   - Структурные шаблоны:
     * Декомпозиция по задачам
@@ Line 93: / Line 138: @@
     * Local Serializer
-===== 11. Кластерные вычисления =====
+===== 18. OpenMP =====
+  - Архитектура работы через директивы препроцессора
+  - Параллельные секции
+  - Области видимости переменных
+  - Ограничения
+  - Миграция вычислений
+===== 19. Intel TBB =====
+  - Алгоритмы
+  - Аллокаторы
+  - Деревья задач
+  - Особенности планирования (work stealing...)
+  - flow graphs //(параллель с BPEL)//
+===== 20. Кластерные вычисления (MPI) =====
   - Виды кластерных систем:
     * Балансировки нагрузки
@@ Line 112: / Line 171: @@
     * Intel® Trace Analyzer и Intel® Trace Collector
-===== 12. Консенсус. Сети Петри =====
+===== 21. Сопрограммы / Coroutines =====
-  - Консенсус:
+  - Преимущества по отношению к callback-программированию
-    * Консенсусное число RMW-регистров
+  - Примеры co_await и сравнение с синхронным кодом
-    * Универсальность CAS-операций
+  - Проблемы реализации примитивов и TLS
-  - Верификация || программ (сети Петри)
+  - Архитектурная аналогия с асинхронными framework
-===== 13. Оптимизации в компиляторах =====
+===== 22. Акторная модель =====
-  - Статические оптимизации
+  - Суть модели:
-  - Оптимизации циклов:
+    * Передача сообщений
-    * Развёртывание
+    * Легковесные процессы
-    * Повторение
+    * BEAM
-    * Вынесение инварианта
+  - Применение в современных языках:
-  - JIT-оптимизации
+    * Erlang
-    * Объединение захвата примитивов
+    * Elixir
-    * Оптимистичный захват
-    * Адаптивные блокировки
-    * Замена виртуального вызова
-===== 14. Транзакционная память =====
+===== 23. Java.util.concurrent и Fork-Join Framework =====
-  - Идея transactional memory
+  - Пулы потоков, корректное завершение пула
-    * Software transactional memory
+  - Контроль задач через Future
-    * Hardware transactional memory
+  - CompletionStage и CompletableFuture
-  - Преимущества и круг задач
+  - Потокобезопасные контейнеры
-  - Реализация HTM на линейках кэша
-  - Lock teleportation
-===== 15. Асинхронный ввод/вывод =====
-  - Блокирующий/неблокирующий
-  - Синхронный (реактор)/асинхронный (проактор)
-  - Преимущества асинхронной работы и реализация со стороны операционной системы
-  - Библиотеки асинхронного ввода/вывода
-===== 16. Wait-free MRMW снимок регистров =====
-  - Напоминание о MRSW алгоритме
-  - Переход к //bounded// версии на битовых //handchake//
-  - Расширание до MRMW
-===== 17. Средства поиска ошибок =====
+===== 24. Средства поиска ошибок =====
   - Google Thread Sanitizer
   - Intel Parallel Studio
   - Valgrind (модуль helgrind)
   - Пример использования
-===== 18. Модель памяти =====
+===== 25. Lock-free изнутри =====
-  - Устройство кэшей процессора
+  - Feldman Multi Array
-  - Пример на протоколе MESI
-  - Барьеры памяти (store/load)
-  - Модели памяти: Sequential consistency...
-  - Acquire/release семантика
-===== 19. Lock-free изнутри =====
-  - User-space RCU
   - Схемы управления памятью:
     * Tagged pointers
     * Hazard pointer
-===== 20. Модель акторов =====
+===== 26. Оптимизации в реализации контейнеров =====
-  - Суть модели
+  - Relaxed SkipList
-  - Применение в современных языках
-  - Шаблоны применения
-===== 21. Линеаризуемость =====
+===== 27. Системы потоковой обработки данных =====
-  - Понятие линеаризуемости
+  - Analytics vs Streaming
-  - Lock-free стек Trieber
+  - Гарантии обработкии данных:
-  - Пример на очередях
+      * Exactly once
-  - Lock-free очередь Michael & Scott
+      * At least once
-  - Точки линеаризации
+      * At most once
+  - Windows
-===== 22. Flat-Combining =====
+      * Session
-  - Схема Flat-Combining
+      * Sliding
-  - Возможные оптимизации за счёт интерференции операций
+      * Tumbling
-  - Сравнение производительности с lock-free очередью Michael & Scott
+      * Hopping
+  - Linear scalability
-===== 23. Оптимизации в реализации контейнеров =====
+  - Fault tolerance
-  - Relaxed SkipList
+  - Back pressure
+  - Isolation
+  - Qutoing
+  - MillWheel/Checkpointing
+  - Yandex Query
-===== 24. Системная архитектура =====
-  - Компонентный подход (Layers, DTO...)
-  - Сервисный подход (Services, ESB...)
-  - Логическая и физическая архитектуры