Differences

This shows you the differences between two versions of the page.

--- etc:users:kel:diplomas [2024/09/29 12:44] – kel
+++ etc:users:kel:diplomas [2024/10/01 15:23] (current) – odoronin
@@ Line 41: / Line 41: @@
   * [[https://github.com/ydb-platform/ydb/wiki/Student-Projects#implementation-apache-nifi-ydb-sink|Разработка NoSQL-адаптера к СУБД ydb на основе протокола etcd: необходимо реализовать протокол etcd на основе YDB (активно используется GRPC), сохранив производительность и иные заданные параметры системы]]
   * [[https://github.com/ydb-platform/ydb/issues?q=is%3Aopen+is%3Aissue+label%3Aarea%2Fcli|Интеграция R7 office и YDB]]
-  * [[https://github.com/ydb-platform/ydb/issues?q=is%3Aopen+is%3Aissue+label%3Aarea%2Fcli|Интеграция DBT и YDB федеративных запросов]]
   * [[https://github.com/ydb-platform/ydb/issues?q=is%3Aopen+is%3Aissue+label%3Aarea%2Fcli|Поддержка новых федеративных источников на Go (как PostgreSQL, MySQL, MS и т.д.)]]
-  * [[https://github.com/ydb-platform/ydb/wiki/Student-Projects#implementation-apache-nifi-ydb-sink|Реализация синка YDB в Apache Nifi]]
   * **Кеширование прочитанных данных из S3.** В YDB федеративных запросах поддерживается чтение из внешнего источника [[https://en.wikipedia.org/wiki/Amazon_S3|S3]]. Чтение данных из такого источника может быть медленным, а также данные в нем могут храниться в неструктурированном виде json,csv,xml,raw и даже в сжатом представлении. Предлагается в качестве НИР разработать кеширование на диске прочитанных данных в уже подготовленном и разжатом виде для усорения и минимизации накладных расходов при повторном чтении таких данных.
   * **Автоскейлинг потоковых запросов.** Внутри сервиса [[https://yandex.cloud/ru/services/query|Yandex Query]] поддерживаются потоковые запросы, обработка в которых является бесконечной. Источниками в таких запросах являются бесконечные очереди сообщений. Для обеспечения отказоустойчивости и гарантий доставки данных используются так называемые [[https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/checkpointing/|чекпоинты]]. Но при этом в процессе работы таких запросов может увеличиться объем поступаемых данных и в этом случае нужно иметь механизмы для оценки и масштабирования запросов (в том числе и состояний которые сохраняются при прохождении чекпонитов)