Использование скриптов инициализации для настройки GeeseFS в Yandex Data Proc

В сервисе Yandex Data Proc вы можете использовать для настройки хостов скрипты инициализации (initialization actions).

С их помощью можно автоматизировать установку и настройку программы GeeseFS, позволяющей хостам кластера Yandex Data Proc монтировать бакеты Yandex Object Storage через FUSE.

Чтобы настроить GeeseFS:

1. Подготовьте скрипт инициализации.
2. Создайте кластер, использующий скрипт инициализации.
3. Проверьте доступность бакета.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

1. Создайте сервисный аккаунт с ролью mdb.dataproc.agent.

2. Создайте бакет Yandex Object Storage.

3. Предоставьте сервисному аккаунту доступ на чтение из бакета. Для этого воспользуйтесь одним из способов:

   • Настройте ACL бакета и выдайте сервисному аккаунту разрешение READ.

     Сервисный аккаунт получит доступ на чтение только к указанному бакету.

   • Назначьте сервисному аккаунту роль storage.viewer.

     Сервисный аккаунт получит доступ на чтение ко всем бакетам в каталоге.

Подготовьте скрипт инициализации

1. Создайте файл скрипта инициализации geesefs_mount.sh, принимающий два позиционных аргумента — имя бакета Yandex Object Storage и директорию в файловой системе хоста, куда он должен быть смонтирован.

   #!/bin/bash
   
   set -e
   
   BUCKET=$1
   MOUNT_POINT=$2
   
   # Загрузка GeeseFS
   wget https://github.com/yandex-cloud/geesefs/releases/latest/download/geesefs-linux-amd64 -O /opt/geesefs
   chmod a+rwx /opt/geesefs
   mkdir -p "${MOUNT_POINT}"
   
   # Подготовка скрипта, выполняющегося при каждой загрузке
   BOOT_SCRIPT="/var/lib/cloud/scripts/per-boot/80-geesefs-mount.sh"
   echo "#!/bin/bash" >> ${BOOT_SCRIPT}
   echo "/opt/geesefs -o allow_other --iam ${BUCKET} ${MOUNT_POINT}" >> ${BOOT_SCRIPT}
   chmod 755 ${BOOT_SCRIPT}
   
   # Запуск скрипта
   ${BOOT_SCRIPT}
   

2. Загрузите файл geesefs_mount.sh в созданный ранее бакет Yandex Object Storage.

Создайте кластер, использующий скрипт инициализации

Создайте кластер Data Proc со следующими параметрами:

• Сервисный аккаунт — выберите созданный ранее сервисный аккаунт.

• Пользовательские скрипты — добавьте скрипт со следующими настройками:

  • URI — укажите путь к файлу скрипта в бакете, например:

    s3a://<имя бакета>/geesefs_mount.sh
    

  • Аргументы — укажите имя созданного ранее бакета и точку монтирования /mnt/test. Аргументы указываются на отдельных строках:

    <имя бакета>
    /mnt/test
    

• Имя бакета — выберите созданный ранее бакет.

• Подкластеры — включите в настройках опцию Публичный доступ. Это позволит подключаться к хостам подкластеров без использования промежуточной виртуальной машины.

Проверьте доступность бакета

1. После того, как кластер перейдет в статус Alive, подключитесь по SSH от имени пользователя ubuntu к любому из его хостов.

2. Чтобы убедиться в успешном монтировании бакета, выполните команду:

   ls /mnt/test/<имя бакета>
   

   Она вернет список объектов, хранящихся в корневом каталоге бакета. В данном случае — имя файла geesefs_mount.sh.

Удалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

1. Удалите кластер Data Proc.
2. Если для доступа к хостам кластера использовались статические публичные IP-адреса, освободите и удалите их.
3. Удалите бакет Yandex Object Storage.