Подключиться
Yandex Data Proc

Использовании скриптов инициализации для настройки GeeseFS в Data Proc

Статья создана

В сервисе Yandex Data Proc вы можете использовать для настройки хостов скрипты инициализации (initialization actions).

С их помощью можно автоматизировать установку и настройку программы GeeseFS, позволяющей хостам кластера Yandex Data Proc монтировать бакеты Yandex Object Storage через FUSE.

Чтобы настроить GeeseFS:

  1. Подготовьте скрипт инициализации.
  2. Создайте кластер, использующий скрипт инициализации.
  3. Проверьте доступность бакета.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

  1. Создайте сервисный аккаунт с ролью mdb.dataproc.agent.

  2. Создайте бакет Yandex Object Storage.

  3. Предоставьте сервисному аккаунту доступ на чтение из бакета. Для этого воспользуйтесь одним из способов:

Подготовьте скрипт инициализации

  1. Создайте файл скрипта инициализации geesefs_mount.sh, принимающий два позиционных аргумента — имя бакета Yandex Object Storage и директорию в файловой системе хоста, куда он должен быть смонтирован.

    #!/bin/bash

set -e

BUCKET=$1
MOUNT_POINT=$2

# Загрузка GeeseFS
wget https://github.com/yandex-cloud/geesefs/releases/latest/download/geesefs-linux-amd64 -O /opt/geesefs
chmod a+rwx /opt/geesefs
mkdir -p "${MOUNT_POINT}"

# Подготовка скрипта, выполняющегося при каждой загрузке
BOOT_SCRIPT="/var/lib/cloud/scripts/per-boot/80-geesefs-mount.sh"
echo "#!/bin/bash" >> ${BOOT_SCRIPT}
echo "/opt/geesefs -o allow_other --iam ${BUCKET} ${MOUNT_POINT}" >> ${BOOT_SCRIPT}
chmod 755 ${BOOT_SCRIPT}

# Запуск скрипта
${BOOT_SCRIPT}

  2. Загрузите файл geesefs_mount.sh в созданный ранее бакет Yandex Object Storage.

Создайте кластер, использующий скрипт инициализации

Создайте кластер Data Proc со следующими параметрами:

  • Сервисный аккаунт — выберите созданный ранее сервисный аккаунт.

  • Пользовательские скрипты — добавьте скрипт со следующими настройками:

    • URI — укажите путь к файлу скрипта в бакете, например:

      s3a://<имя бакета>/geesefs_mount.sh

    • Аргументы — укажите имя созданного ранее бакета и точку монтирования /mnt/test. Аргументы указываются на отдельных строках:

      <имя бакета>
/mnt/test

  • Имя бакета — выберите созданный ранее бакет.

  • Подкластеры — включите в настройках опцию Публичный доступ. Это позволит подключаться к хостам подкластеров без использования промежуточной виртуальной машины.

Проверьте доступность бакета

  1. После того, как кластер перейдет в статус Alive, подключитесь по SSH от имени пользователя ubuntu к любому из его хостов.

  2. Чтобы убедиться в успешном монтировании бакета, выполните команду:

    ls /mnt/test/<имя бакета>

    Она вернет список объектов, хранящихся в корневом каталоге бакета. В данном случае — имя файла geesefs_mount.sh.

Удалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

  1. Удалите кластер Data Proc.
  2. Если для доступа к хостам кластера использовались статические публичные IP-адреса, освободите и удалите их.
  3. Удалите бакет Yandex Object Storage.
В этой статье: