Среда исполнения на подкластерах
При создании кластера Data Proc вы можете выбрать версию образа (набор версий Hadoop и дополнительных компонентов).
Ниже приведен состав актуальных и устаревших образов Data Proc. В каждую версию образа входят Conda (менеджер Python-окружений) и набор инструментов машинного обучения.
Актуальные образы
Компоненты | Образ 1.2 | Образ 1.3 | Образ 1.4 |
---|---|---|---|
Версии Hadoop и компонентов | |||
Hadoop | 2.10.0 | 2.10.0 | 2.10.0 |
Tez | 0.9.2 | 0.9.2 | 0.9.2 |
Hive | 2.3.6 | 2.3.6 | 2.3.6 |
Zookeeper | 3.4.14 | 3.4.14 | 3.4.14 |
HBase | 1.3.5 | 1.3.5 | 1.3.5 |
Sqoop | 1.4.7 | 1.4.7 | 1.4.7 |
Oozie | 5.2.0 | 5.2.0 | 5.2.0 |
Spark | 2.4.6 | 2.4.6 | 2.4.6 |
Flume | 1.9.0 | 1.9.0 | 1.9.0 |
Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 |
Livy | — | 0.7.0 | 0.7.0 |
Версии Python и библиотек машинного обучения | |||
Python | 3.7.7 | 3.7.9 | 3.7.9 |
PyArrow | 0.13.0 | 0.13.0 | 0.13.0 |
ipykernel | 5.1.3 | 5.1.3 | 5.1.3 |
TensorFlow | 1.15.0 | 1.15.0 | 1.15.0 |
CatBoost | 0.20 | 0.20.2 | 0.20.2 |
PyHive | 0.6.1 | 0.6.1 | 0.6.1 |
LightGBM | 2.3.0 | 2.3.0 | 2.3.0 |
XGBoost | 0.90 | 0.90 | 0.90 |
scikit-learn | 0.21.3 | 0.21.3 | 0.21.3 |
pandas | 0.25.3 | 0.25.3 | 0.25.3 |
IPython | 7.9.0 | 7.9.0 | 7.9.0 |
Matplotlib | 3.1.1 | 3.1.1 | 3.1.1 |
Устаревшие образы
Примечание
Эти образы являются устаревшими (deprecated). Рекомендуем использовать актуальные версии образов.
Компоненты | Образ 1.0 | Образ 1.1 |
---|---|---|
Версии Hadoop и компонентов | ||
Hadoop | 2.8.5 | 2.10.0 |
Tez | 0.9.1 | 0.9.2 |
Hive | 2.3.4 | 2.3.6 |
Zookeeper | 3.4.6 | 3.4.14 |
HBase | 1.3.3 | 1.3.5 |
Sqoop | 1.4.6 | 1.4.7 |
Oozie | 4.3.0 | 4.3.1 |
Spark | 2.2.1 | 2.4.4 |
Flume | 1.8.0 | 1.8.0 |
Zeppelin | 0.7.3 | 0.8.2 |
Версии Python и библиотек машинного обучения | ||
Python | 3.7 | 3.7.5 |
PyArrow | 0.11.1 | 0.13.0 |
ipykernel | 5.1.0 | 5.1.3 |
TensorFlow | 1.13.1 | 1.15.0 |
CatBoost | 0.14.2 | 0.20 |
PyHive | — | 0.6.1 |
LightGBM | 2.2.3 | 2.3.0 |
XGBoost | 0.82 | 0.90 |
scikit-learn | 0.21.1 | 0.21.3 |
pandas | 0.24.2 | 0.25.3 |
IPython | 7.5.0 | 7.9.0 |
Matplotlib | 3.0.3 | 3.1.1 |