В работе рассмотрено несколько комбинаторных и оптимизационных задач в системах BigData, в том числе рассчитана вычислительная сложность поиска функциональных зависимостей в предметной области и построения схемы данных, рассчитано число комбинаций восстановления путей обхода схемы данных, рассчитано максимальное число индексов B+tree. Алгоритмы решения указанных задач оцениваются неполиномиальными функциями сложности и на практике обычно используют эвристические методы их оптимизации. Построена аналитическая зависимость ускорения выполнения параллельных операций обработки данных от числа процессоров, которая может быть использована в задачах оптимального конфигурирования параллельных планов выполнения запросов к базе данных.Представлена математическая модель расчета числа процессоров и достигаемого уровня ускорения на основе анализа статистики данных на этапах компиляции и прогона запросов.
The paper considers several combinatorial and optimization problems in Big Data systems, including the computational complexity of finding functional dependencies in the subject area and constructing a data schema, the number of combinations for recovering traversing paths on data schema is calculated, the maximum number of B + tree indexes is calculated. Algorithms for solving these problems are estimated by non-polynomial complexity functions and, in practice, heuristic methods of their optimization are usually used. An analytical function of the acceleration ofparallel data processing operations on the number ofprocessors is constructedwhich can be used in the tasks of optimal configuration ofparallel execution plans of queries to the database.A mathematical model for calculating the number ofprocessors and the level of acceleration based on the analysis of data statistics at the stages of compilation and running of queries is presented.
The authors declare that there are no conflicts of interest present.