Open Source & Linux Lab

It's better when it's simple

User Tools

Site Tools


courses:high_performance_computing:producer_consumer

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
courses:high_performance_computing:producer_consumer [2020/02/11 15:08] kelcourses:high_performance_computing:producer_consumer [2024/03/04 02:19] (current) odoronin
Line 1: Line 1:
-====== Использование pthread API ======+====== Posix threads ====== 
 +> [[https://classroom.github.com/a/w-966goN|GitHub-classroom]] для самостоятельно изучающих курс **не** в рамках университетских программ 
 Ваша задача - реализовать классический паттерн producer-consumer с небольшими дополнительными условиями. Ваша задача - реализовать классический паттерн producer-consumer с небольшими дополнительными условиями.
 Программа должна состоять из 3+N потоков:  Программа должна состоять из 3+N потоков: 
-  - главный+  - Главный
   - producer   - producer
   - interruptor   - interruptor
   - N потоков consumer   - N потоков consumer
-На стандартный ввод программе подается строка - список чисел, разделённых пробелом. Длина списка чисел не задаётся - считывание происходит до перевода каретки.+В файл, чтение которого уже реализовано в шаблоне кода в блокирующкем режиме, пишется список чисел, разделённых пробелом (читать можно до переноса строки). Длина списка чисел не задаётся - считывание происходит до перевода каретки.
   * Задача producer-потока - получить на вход список чисел, и по очереди использовать каждое значение из этого списка для обновления переменной разделяемой между потоками   * Задача producer-потока - получить на вход список чисел, и по очереди использовать каждое значение из этого списка для обновления переменной разделяемой между потоками
   * Задача consumer-потоков отреагировать на уведомление от producer и набирать сумму полученных значений. Также этот поток должен защититься от попыток потока-interruptor его остановить. Дополнительные условия:   * Задача consumer-потоков отреагировать на уведомление от producer и набирать сумму полученных значений. Также этот поток должен защититься от попыток потока-interruptor его остановить. Дополнительные условия:
Line 13: Line 15:
     - Потоки consumer не должны дублировать вычисления друг с другом одних и тех же значений     - Потоки consumer не должны дублировать вычисления друг с другом одних и тех же значений
     - В качестве возвращаемого значения поток должен вернуть свою частичную посчитанную сумму     - В качестве возвращаемого значения поток должен вернуть свою частичную посчитанную сумму
-  * Задача потока-interruptor проста: пока происходит процесс обновления значений, он должен постоянно пытаться остановить случайный поток consumer (вычисление случайного потока происходит перед каждой попыткой остановки). Как только поток producer произвел последнее обновление, этот поток завершается. +  * Задача потока-interruptor проста: пока происходит процесс обновления значений, он должен постоянно пытаться остановить случайный поток consumer (вычисление случайного потока происходит перед каждой попыткой остановки). Как только поток producer произвел последнее обновление, этот поток завершается. В этом потоке можно выполнять вспомогательные действия которые помогут корректно обработать сигнал 
 +  * Завершение приложения происходит или при считывании перевода каретки из файла или по посылке сигнала SIGTERM, обработку которого нужно также добавить. В обработчике сигнала можно вызывать только signal-safe функции https://man7.org/linux/man-pages/man7/signal-safety.7.html В случае, если в этот момент поток, читающий данные с файла, находится в режиме блокирующего чтения, - он также должен корректно завершиться. Полезно присмотреться к [[https://en.cppreference.com/w/cpp/utility/program/sig_atomic_t|std::sig_atomic_t]] - позволяет потокобезопасно и signal-safe обращаться к переменной такого типа. 
 +  * При сигнале в качестве вывода нужно выдавать посчитанную на этот момент сумму 
 +  * В нашем producer/consumer необходимо реализоваться потоковую обрботку данных для этих целей запрещается загружать весь файл в ОЗУ, иначе на больших файлах обработка не будет помещаться в ограничения ОЗУ на вычислительном устройстве.
 Функция run_threads должна запускать все потоки, дожидаться их выполнения, и возвращать результат общего суммирования.  Функция run_threads должна запускать все потоки, дожидаться их выполнения, и возвращать результат общего суммирования. 
  
Line 20: Line 24:
   - Число потоков consumer   - Число потоков consumer
   - Верхний предел сна consumer в миллисекундах   - Верхний предел сна consumer в миллисекундах
- 
- 
-Так-же необходимо реализовать поддержку ключа --debug, при использовании которого каждый consumer-поток будет выводить пару (tid, psum), где tid реализуется с помощью функции get_tid(), а psum это сумма которую посчитал поток. Вывод значений psum происходит при каждом изменении. 
- 
-Функция get_tid() возвращает идентификатор потока. Идентификатор потока это не проста pthread_self(), а уникальное для каждого потока число в диапозоне от 1 .. 3+N. Значение этого числа предполагается хранить в TLS. 
  
 В поток вывода должно попадать только результирующее значение, по умолчанию никакой отладочной или запросной информации выводиться не должно. В поток вывода должно попадать только результирующее значение, по умолчанию никакой отладочной или запросной информации выводиться не должно.
 +В случае детектирования ошибок нужно выдавать не нулевой код возврата.
  
 <file cpp> <file cpp>
 +#include <iostream>
 +#include <fstream>
 #include <pthread.h> #include <pthread.h>
  
 void* producer_routine(void* arg) { void* producer_routine(void* arg) {
-  // Wait for consumer to start+  // Wait for consumer to start.  
 +  // You should use this waiting only for debugging your code 
 +  // For the final solution please remove this waiting
  
   // Read data, loop through each value and update the value, notify consumer, wait for consumer to process   // Read data, loop through each value and update the value, notify consumer, wait for consumer to process
 +  std::ifstream ifs("in.txt");
 +  // ...
 } }
  
 void* consumer_routine(void* arg) { void* consumer_routine(void* arg) {
   // notify about start   // notify about start
 +  // you should use this notification only for debugging your code
 +  // for the final solution please remove this notification
 +  
 +  
   // for every update issued by producer, read the value and add to sum   // for every update issued by producer, read the value and add to sum
   // return pointer to result (for particular consumer)   // return pointer to result (for particular consumer)
Line 45: Line 55:
 void* consumer_interruptor_routine(void* arg) { void* consumer_interruptor_routine(void* arg) {
   // wait for consumers to start   // wait for consumers to start
 +  // you should use this waiting only for debugging your code
 +  // for the final solution please remove this waiting
  
   // interrupt random consumer while producer is running                                             // interrupt random consumer while producer is running                                          
Line 53: Line 65:
   // return aggregated sum of values   // return aggregated sum of values
  
-  return 0; 
-} 
- 
-int get_tid() { 
-  // 1 to 3+N thread ID 
-   
   return 0;   return 0;
 } }
courses/high_performance_computing/producer_consumer.1581422937.txt.gz · Last modified: 2020/02/11 15:08 (external edit)