Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Решения
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Data Proc
  • Сценарии использования
    • Настройка сети для кластеров Data Proc
    • Использование Apache Hive
    • Запуск Spark-приложений
    • Запуск приложений с удаленного хоста
    • Копирование файлов из Yandex Object Storage
  • Пошаговые инструкции
    • Все инструкции
    • Создание кластера
    • Подключение к кластеру
    • Изменение подкластера
    • Управление подкластерами
    • Удаление кластера
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Версии Hadoop и компонентов
    • Интерфейсы и порты компонентов
    • Веб-интерфейсы компонентов
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Квоты и лимиты
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST
      • Обзор
      • Cluster
        • Обзор
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • start
        • stop
        • update
      • Job
        • Обзор
        • create
        • get
        • list
      • ResourcePreset
        • Обзор
        • get
        • list
      • Subcluster
        • Обзор
        • create
        • delete
        • get
        • list
        • update
  • Вопросы и ответы
  1. Концепции
  2. Версии Hadoop и компонентов

Среда исполнения на подкластерах

  • Актуальные образы
  • Устаревшие образы

При создании кластера Data Proc вы можете выбрать версию образа (набор версий Hadoop и дополнительных компонентов).

Ниже приведен состав актуальных и устаревших образов Data Proc. В каждую версию образа входят Conda (менеджер Python-окружений) и набор инструментов машинного обучения.

Актуальные образы

Компоненты Образ 1.2 Образ 1.3 Образ 1.4
Версии Hadoop и компонентов
Hadoop 2.10.0 2.10.0 2.10.0
Tez 0.9.2 0.9.2 0.9.2
Hive 2.3.6 2.3.6 2.3.6
Zookeeper 3.4.14 3.4.14 3.4.14
HBase 1.3.5 1.3.5 1.3.5
Sqoop 1.4.7 1.4.7 1.4.7
Oozie 5.2.0 5.2.0 5.2.0
Spark 2.4.6 2.4.6 2.4.6
Flume 1.9.0 1.9.0 1.9.0
Zeppelin 0.8.2 0.8.2 0.8.2
Livy — 0.7.0 0.7.0
Версии Python и библиотек машинного обучения
Python 3.7.7 3.7.9 3.7.9
PyArrow 0.13.0 0.13.0 0.13.0
ipykernel 5.1.3 5.1.3 5.1.3
TensorFlow 1.15.0 1.15.0 1.15.0
CatBoost 0.20 0.20.2 0.20.2
PyHive 0.6.1 0.6.1 0.6.1
LightGBM 2.3.0 2.3.0 2.3.0
XGBoost 0.90 0.90 0.90
scikit-learn 0.21.3 0.21.3 0.21.3
pandas 0.25.3 0.25.3 0.25.3
IPython 7.9.0 7.9.0 7.9.0
Matplotlib 3.1.1 3.1.1 3.1.1

Устаревшие образы

Примечание

Эти образы являются устаревшими (deprecated). Рекомендуем использовать актуальные версии образов.

Компоненты Образ 1.0 Образ 1.1
Версии Hadoop и компонентов
Hadoop 2.8.5 2.10.0
Tez 0.9.1 0.9.2
Hive 2.3.4 2.3.6
Zookeeper 3.4.6 3.4.14
HBase 1.3.3 1.3.5
Sqoop 1.4.6 1.4.7
Oozie 4.3.0 4.3.1
Spark 2.2.1 2.4.4
Flume 1.8.0 1.8.0
Zeppelin 0.7.3 0.8.2
Версии Python и библиотек машинного обучения
Python 3.7 3.7.5
PyArrow 0.11.1 0.13.0
ipykernel 5.1.0 5.1.3
TensorFlow 1.13.1 1.15.0
CatBoost 0.14.2 0.20
PyHive — 0.6.1
LightGBM 2.2.3 2.3.0
XGBoost 0.82 0.90
scikit-learn 0.21.1 0.21.3
pandas 0.24.2 0.25.3
IPython 7.5.0 7.9.0
Matplotlib 3.0.3 3.1.1
В этой статье:
  • Актуальные образы
  • Устаревшие образы
Language / Region
Вакансии
Политика конфиденциальности
Условия использования
Брендбук
© 2021 ООО «Яндекс.Облако»