Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Data Proc
  • Сценарии использования
    • Настройка сети для кластеров Data Proc
    • Использование Apache Hive
    • Запуск Spark-приложений
    • Запуск приложений с удаленного хоста
    • Копирование файлов из Yandex Object Storage
  • Пошаговые инструкции
    • Все инструкции
    • Создание кластера
    • Подключение к кластеру
    • Изменение подкластера
    • Управление подкластерами
    • Удаление кластера
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Версии Hadoop и компонентов
    • Интерфейсы и порты компонентов
    • Веб-интерфейсы компонентов
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Квоты и лимиты
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST
      • Обзор
      • Cluster
        • Обзор
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • start
        • stop
        • update
      • Job
        • Обзор
        • create
        • get
        • list
      • ResourcePreset
        • Обзор
        • get
        • list
      • Subcluster
        • Обзор
        • create
        • delete
        • get
        • list
        • update
  • Вопросы и ответы
  1. Концепции
  2. Версии Hadoop и компонентов

Среда исполнения на подкластерах

  • Версия 1.2
  • Версия 1.1
  • Версия 1.0

При создании кластера Data Proc вы можете выбрать версию образа (набор версий Hadoop и дополнительных компонентов). В каждую версию образа также входит Conda (менеджер Python-окружений) и набор инструментов машинного обучения.

Версия 1.2

Версии Hadoop и компонентов:

  • Hadoop 2.10.0
  • Tez 0.9.2
  • Hive 2.3.6
  • Zookeeper 3.4.14
  • HBase 1.3.5
  • Sqoop 1.4.7
  • Oozie 5.2.0
  • Spark 2.4.6
  • Flume 1.9.0
  • Zeppelin 0.8.2

Версии Python и библиотек машинного обучения:

  • Python 3.7.7
  • PyArrow 0.13.0
  • ipykernel 5.1.3
  • TensorFlow 1.15.0
  • CatBoost 0.20
  • PyHive 0.6.1
  • LightGBM 2.3.0
  • XGBoost 0.90
  • scikit-learn 0.21.3
  • pandas 0.25.3
  • IPython 7.9.0
  • Matplotlib 3.1.1

Версия 1.1

Версии Hadoop и компонентов:

  • Hadoop 2.10.0
  • Tez 0.9.2
  • Hive 2.3.6
  • Zookeeper 3.4.14
  • HBase 1.3.5
  • Sqoop 1.4.7
  • Oozie 4.3.1
  • Spark 2.4.4
  • Flume 1.8.0
  • Zeppelin 0.8.2

Версии Python и библиотек машинного обучения:

  • Python 3.7.5
  • PyArrow 0.13.0
  • ipykernel 5.1.3
  • TensorFlow 1.15.0
  • CatBoost 0.20
  • PyHive 0.6.1
  • LightGBM 2.3.0
  • XGBoost 0.90
  • scikit-learn 0.21.3
  • pandas 0.25.3
  • IPython 7.9.0
  • Matplotlib 3.1.1

Версия 1.0

Версии Hadoop и компонентов:

  • Hadoop 2.8.5
  • Tez 0.9.1
  • Hive 2.3.4
  • ZooKeeper 3.4.6
  • HBase 1.3.3
  • Sqoop 1.4.6
  • Oozie 4.3.0
  • Spark 2.2.1
  • Flume 1.8.0
  • Zeppelin 0.7.3

Версии Python и библиотек машинного обучения:

  • Python 3.7
  • PyArrow 0.11.1
  • ipykernel 5.1.0
  • TensorFlow 1.13.1
  • CatBoost 0.14.2
  • LightGBM 2.2.3
  • XGBoost 0.82
  • scikit-learn 0.21.1
  • pandas 0.24.2
  • IPython 7.5.0
  • Matplotlib 3.0.3
В этой статье:
  • Версия 1.2
  • Версия 1.1
  • Версия 1.0
Language
Вакансии
Политика конфиденциальности
Условия использования
© 2021 ООО «Яндекс.Облако»