Подключиться
Yandex DataSphere

Фоновые операции

Вы можете выполнять долгие операции, например обучение моделей, в фоновом режиме. Для этого используйте специальные ячейки, в которых ваш код выполняется асинхронно. При этом вы можете продолжить работу с ноутбуком.

Если в другой части ноутбука используется та же переменная, что и в асинхронной операции, в ноутбуке появится уведомление, и вам нужно будет явно указать значение переменной после выполнения асинхронной операции.

Особенности выполнения фоновых операций:

  • Запуск операций в фоновом режиме не гарантирует немедленный запуск исполнения.
  • Фоновые операции в общем случае могут выполняться дольше, чем обычные операции.
  • Фоновые операции могут выполняться на прерываемых виртуальных машинах и ресурсах.
  • Фоновые операции тарифицируются по другим правилам. Подробнее в разделе Правила тарификации для DataSphere.

Запуск фоновой операции

Для запуска фоновой операции необходимо указать в ячейке комментарий #pragma async.

Чтобы запустить тестовую фоновую операцию:

  1. Задайте тестовую модель, например:

    mnist = tf.keras.datasets.mnist

(x_train, y_train),(x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0

def create_model():
  return tf.keras.models.Sequential([
    tf.keras.layers.Flatten(input_shape=(28, 28)),
    tf.keras.layers.Dense(512, activation='relu'),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.Dense(10, activation='softmax')
  ])

  2. Запустите обучение модели с комментарием #pragma async в начале ячейки:

    #pragma async
model = create_model()
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

log_dir = "logs/fit/" + datetime.datetime.now().strftime("%Y%m%d-%H%M%S")
tensorboard_callback = tf.keras.callbacks.TensorBoard(log_dir=log_dir, histogram_freq=1)

model.fit(x=x_train, 
          y=y_train, 
          epochs=5, 
          validation_data=(x_test, y_test), 
          callbacks=[tensorboard_callback])

Пока модель обучается, вы можете выполнять операции в других ячейках.

Прерывание фоновой операции

Чтобы прервать выполнение операции:

  1. Выделите ячейку, в которой необходимо прервать операцию.
  2. На верхней панели в окне проекта нажмите кнопку Kernel.
  3. В открывшемся меню нажмите кнопку Interrupt selected cell(s).
В этой статье: