Open Source & Linux Lab

It's better when it's simple

User Tools

Site Tools

You are here: О нас » Курсы » || программирование » Posix threads
courses:high_performance_computing:producer_consumer

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
courses:high_performance_computing:producer_consumer [2021/10/04 08:00] – kelcourses:high_performance_computing:producer_consumer [2025/02/23 14:55] (current) – odoronin
Line 1: Line 1:
 ====== Posix threads ====== ====== Posix threads ======
 +> [[https://classroom.github.com/a/w-966goN|GitHub-classroom]] для самостоятельно изучающих курс **не** в рамках университетских программ
 +
 Ваша задача - реализовать классический паттерн producer-consumer с небольшими дополнительными условиями. Ваша задача - реализовать классический паттерн producer-consumer с небольшими дополнительными условиями.
 Программа должна состоять из 3+N потоков:  Программа должна состоять из 3+N потоков: 
Line 13: Line 15:
     - Потоки consumer не должны дублировать вычисления друг с другом одних и тех же значений     - Потоки consumer не должны дублировать вычисления друг с другом одних и тех же значений
     - В качестве возвращаемого значения поток должен вернуть свою частичную посчитанную сумму     - В качестве возвращаемого значения поток должен вернуть свою частичную посчитанную сумму
-  * Задача потока-interruptor проста: пока происходит процесс обновления значений, он должен постоянно пытаться остановить случайный поток consumer (вычисление случайного потока происходит перед каждой попыткой остановки). Как только поток producer произвел последнее обновление, этот поток завершается. +  * Задача потока-interruptor проста: пока происходит процесс обновления значений, он должен постоянно пытаться остановить случайный поток consumer (вычисление случайного потока происходит перед каждой попыткой остановки). Как только поток producer произвел последнее обновление, этот поток завершается. В этом потоке можно выполнять вспомогательные действия которые помогут корректно обработать сигнал 
-  * Завершение приложения происходит или при считывании перевода каретки из файла или по посылке сигнала SIGTERM, обработку которого нужно также добавить. В случае, если в этот момент поток, читающий данные с файла, находится в режиме блокирующего чтения, - он также должен корректно завершиться. +  * Завершение приложения происходит или при считывании перевода каретки из файла или по посылке сигнала SIGTERM, обработку которого нужно также добавить. В обработчике сигнала можно вызывать только signal-safe функции https://man7.org/linux/man-pages/man7/signal-safety.7.html В случае, если в этот момент поток, читающий данные с файла, находится в режиме блокирующего чтения, - он также должен корректно завершиться. Полезно присмотреться к [[https://en.cppreference.com/w/cpp/utility/program/sig_atomic_t|std::sig_atomic_t]] - позволяет потокобезопасно и signal-safe обращаться к переменной такого типа. 
-Функция run_threads должна запускать все потоки, дожидаться их выполнения, и возвращать результат общего суммирования. +  * При сигнале в качестве вывода нужно выдавать посчитанную на этот момент сумму 
 +  * В нашем producer/consumer необходимо реализоваться потоковую обрботку данных для этих целей запрещается загружать весь файл в ОЗУ, иначе на больших файлах обработка не будет помещаться в ограничения ОЗУ на вычислительном устройстве. 
 +Функция run_threads должна запускать все потоки, дожидаться их выполнения, и возвращать результат общего суммирования. 
 +  * При отсутствии входных данных ядра процессора не должны вхолостую есть такты
  
 Для обеспечения межпоточного взаимодействия допускается использование только pthread API. На вход приложения передаётся 2 аргумента при старте именно в такой последовательности: Для обеспечения межпоточного взаимодействия допускается использование только pthread API. На вход приложения передаётся 2 аргумента при старте именно в такой последовательности:
   - Число потоков consumer   - Число потоков consumer
   - Верхний предел сна consumer в миллисекундах   - Верхний предел сна consumer в миллисекундах
- 
-Так-же необходимо реализовать поддержку ключа --debug, при использовании которого каждый consumer-поток будет выводить пару (thread id, partial summ). Вывод значений psum происходит при каждом изменении. 
  
 В поток вывода должно попадать только результирующее значение, по умолчанию никакой отладочной или запросной информации выводиться не должно. В поток вывода должно попадать только результирующее значение, по умолчанию никакой отладочной или запросной информации выводиться не должно.
 +В случае детектирования ошибок нужно выдавать не нулевой код возврата.
  
 <file cpp> <file cpp>
 +#include <iostream>
 +#include <fstream>
 #include <pthread.h> #include <pthread.h>
- 
-void read_values() { 
-  FILE* file = fopen("in.txt"); 
-  ... read(); 
-} 
  
 void* producer_routine(void* arg) { void* producer_routine(void* arg) {
-  // Wait for consumer to start+  // Wait for consumer to start.  
 +  // You should use this waiting only for debugging your code 
 +  // For the final solution please remove this waiting
  
   // Read data, loop through each value and update the value, notify consumer, wait for consumer to process   // Read data, loop through each value and update the value, notify consumer, wait for consumer to process
 +  std::ifstream ifs("in.txt");
 +  // ...
 } }
  
 void* consumer_routine(void* arg) { void* consumer_routine(void* arg) {
   // notify about start   // notify about start
 +  // you should use this notification only for debugging your code
 +  // for the final solution please remove this notification
 +  
 +  
   // for every update issued by producer, read the value and add to sum   // for every update issued by producer, read the value and add to sum
   // return pointer to result (for particular consumer)   // return pointer to result (for particular consumer)
Line 47: Line 56:
 void* consumer_interruptor_routine(void* arg) { void* consumer_interruptor_routine(void* arg) {
   // wait for consumers to start   // wait for consumers to start
 +  // you should use this waiting only for debugging your code
 +  // for the final solution please remove this waiting
  
   // interrupt random consumer while producer is running                                             // interrupt random consumer while producer is running                                          
courses/high_performance_computing/producer_consumer.1633323603.txt.gz · Last modified: 2021/10/04 08:00 by kel