Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Решения
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Data Proc
  • Сценарии использования
    • Настройка сети для кластеров Data Proc
    • Использование Apache Hive
    • Запуск Spark-приложений
    • Запуск приложений с удаленного хоста
    • Копирование файлов из Yandex Object Storage
  • Пошаговые инструкции
    • Все инструкции
    • Создание кластера
    • Подключение к кластеру
    • Изменение подкластера
    • Управление подкластерами
    • Удаление кластера
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Версии Hadoop и компонентов
    • Интерфейсы и порты компонентов
    • Веб-интерфейсы компонентов
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Квоты и лимиты
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST
      • Обзор
      • Cluster
        • Обзор
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • start
        • stop
        • update
      • Job
        • Обзор
        • create
        • get
        • list
      • ResourcePreset
        • Обзор
        • get
        • list
      • Subcluster
        • Обзор
        • create
        • delete
        • get
        • list
        • update
  • Вопросы и ответы
  1. Концепции
  2. Автоматическое масштабирование

Автоматическое масштабирование подкластеров

    Примечание

    Автоматическое масштабирование подкластеров поддерживается в кластерах Yandex Data Proc версии 1.2 и выше.

    Yandex Data Proc поддерживает автоматическое масштабирование подкластеров обработки данных (Compute-кластеров) на основе метрик, которые поставляются в сервис Yandex Monitoring:

    • Если значение метрики превысит заданный порог, то в подкластер будут добавлены новые хосты. Они станут доступны в YARN-кластере с Apache Spark или Apache Hive, как только перейдут в статус Alive.
    • Если значение опорной метрики опустится ниже заданного порога, в подкластере последовательно будут запущены процессы декомиссии и удаления избыточных хостов.

    Подробнее о механизмах автоматического масштабирования читйте в документации Instance Groups.

    Вы можете выбрать способ масштабирования, который лучше подходит для ваших задач:

    • Масштабирование по умолчанию — масштабирование на основе метрики yarn.cluster.containersPending.

      Это внутренняя метрика YARN, которая показывает, сколько единиц аллокации ресурсов ожидают поставленные в очередь задания. Она подойдет, если в кластере есть много относительно небольших заданий, которые управляются Apache Hadoop® YARN. Такой способ масштабирования не требует дополнительной настройки.

    • Целевой уровень загрузки CPU — масштабирование на основе метрики загрузки vCPU. Подробнее о масштабировании на ее основе читайте в документации Instance Groups.

    Чтобы настроить автоматическое масштабирование кластера по иным метрикам и формулам — отправьте запрос в службу технической поддержки.

    Для автоматического масштабирования можно настроить следующие параметры:

    • Начальный (он же минимальный) размер группы.
    • Таймаут декомиссии. Задается в секундах. Максимальное значение — 86400 секунд (сутки). Значение по умолчанию — 120 секунд.
    • Тип виртуальных машин: стандартные или прерываемые.
    • Максимальный размер группы.
    • Промежуток времени, используемый при расчете средней нагрузки каждой виртуальной машины в группе.
    • Время на разогрев виртуальной машины. В течение указанного периода после запуска виртуальной машины вместо ее метрик будут использоваться средние значения в группе.
    • Период стабилизации, в минутах или секундах — период, в течение которого количество виртуальных машин в группе не может быть снижено.
    Language / Region
    Вакансии
    Политика конфиденциальности
    Условия использования
    Брендбук
    © 2021 ООО «Яндекс.Облако»