Сокращатель ссылок

Статья создана

Подготовьте облако к работе
- Необходимые платные ресурсы
Настройте хостинг страницы сокращателя
Создайте сервисный аккаунт
Создайте БД в Managed Service for YDB
Настройте функцию в Cloud Functions
Опубликуйте сервис через API Gateway
Проверьте работу сокращателя
Удалите компоненты сервиса

С помощью этого сценария вы создадите сервис для сокращения URL, используя serverless-технологии, доступные в Yandex Cloud.

Сервис принимает обращения пользователей через публичный API-шлюз. Пользователь получает c хостинга HTML-страницу с полем для ввода URL. Функция отправляет введенный URL на хранение в serverless-базу данных, сокращает его и возвращает пользователю. При обращении пользователя по сокращенному URL, функция находит в БД полный URL и перенаправляет на него запрос пользователя.

Чтобы настроить и протестировать сервис:

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работе

Перед работой нужно зарегистрироваться в Yandex Cloud и создать платежный аккаунт:

Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь, если вы еще не зарегистрированы.
На странице биллинга убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсы

В стоимость ресурсов для сценария входят:

Плата за использование хранилища (см. тарифы Yandex Object Storage).
Плата за обращения к базе данных (см. тарифы Yandex Managed Service for YDB).
Плата за вызовы функции (см. тарифы Yandex Cloud Functions).
Плата за запросы к API-шлюзу (см. тарифы Yandex API Gateway).

Настройте хостинг страницы сокращателя

Чтобы создать бакет, разместить в нем HTML-страницу вашего сервиса и настроить бакет для хостинга статических сайтов:

Консоль управления

В консоли управления выберите свой рабочий каталог.
Выберите сервис Object Storage.
Нажмите кнопку Создать бакет.
На странице создания бакета:
1. Введите имя бакета, например, for-serverless-shortener.
  
  Важно
  
  Имена бакетов уникальны для всего Object Storage, т.е. нельзя создать два бакета с одинаковыми именами даже в разных каталогах разных облаков.
2. Задайте максимальный размер 1 ГБ.
3. Выберите доступ на чтение объектов Публичный.
4. Нажмите кнопку Создать бакет для завершения операции.

Скопируйте HTML-код и вставьте его в файл index.html:

HTML-код

<!DOCTYPE html>
<html lang="en">

<head>
    <meta charset="UTF-8">
    <title>Сокращатель URL</title>
    <!-- предостережет от лишнего GET запроса на адрес /favicon.ico -->
    <link rel="icon" href="data:;base64,iVBORw0KGgo=">
</head>

<body>
    <h1>Добро пожаловать</h1>
    <form action="javascript:shorten()">
        <label for="url">Введите ссылку:</label><br>
        <input id="url" name="url" type="text"><br>
        <input type="submit" value="Сократить">
    </form>
    <p id="shortened"></p>
</body>

<script>
    function shorten() {
        const link = document.getElementById("url").value
        fetch("/shorten", {
            method: 'POST',
            headers: {
                'Content-Type': 'application/json'
            },
            body: link
        })
            .then(response => response.json())
            .then(data => {
                const url = data.url
                document.getElementById("shortened").innerHTML = `<a href=${url}>${url}</a>`
            })
            .catch(error => {
                document.getElementById("shortened").innerHTML = `<p>Произошла ошибка ${error}, попробуйте еще раз</p>`
            })
    }
</script>

</html>

Нажмите на имя созданного бакета.
Нажмите кнопку Загрузить объекты.
Укажите подготовленный ранее файл index.html.
Нажмите кнопку Загрузить.
В левой панели выберите вкладку Веб-сайт.
Выберите опцию Хостинг.
Укажите главную страницу сайта — index.html.
Нажмите кнопу Сохранить.

Создайте сервисный аккаунт

Чтобы создать сервисный аккаунт для взаимодействия компонентов сервиса:

Консоль управления

Перейдите в свой рабочий каталог.
В левой панели выберите вкладку Сервисные аккаунты.
Нажмите кнопку Создать сервисный аккаунт.
Введите имя сервисного аккаунта serverless-shortener.
Нажмите Добавить роль и выберите роль editor.
Нажмите кнопку Создать.
Нажмите на имя созданного сервисного аккаунта.

Сохраните идентификатор созданного сервисного аккаунта, он понадобится на следующих шагах.

Создайте БД в Managed Service for YDB

Чтобы создать базу данных YDB и настроить ее для хранения ссылок:

Консоль управления

Перейдите в свой рабочий каталог.
В списке сервисов выберите Managed Service for YDB.
Нажмите кнопку Создать базу данных.
Введите имя базы for-serverless-shortener.
Выберите тип базы данных Serverless.
Нажмите кнопку Создать базу данных.
Дождитесь запуска базы данных.

В процессе создания база будет иметь статус Provisioning, а когда станет готова к использованию — статус изменится на Running.
Нажмите на имя созданной БД.

Сохраните значения полей Эндпоинт, База данных и Протокол блока YDB эндпоинт, они понадобится на следующих шагах.
В левой панели выберите вкладку Навигация.
Нажмите кнопку SQL-запрос.
Скопируйте SQL-запрос и вставьте его в поле Запрос:
```
CREATE TABLE links
(
  id Utf8,
  link Utf8,
  PRIMARY KEY (id)
);
```
Нажмите кнопку Выполнить.

Настройте функцию в Cloud Functions

Чтобы создать и настроить функцию сокращения URL:

Консоль управления

Перейдите в свой рабочий каталог.
В списке сервисов выберите Cloud Functions.
Нажмите кнопку Создать функцию.
Введите имя for-serverless-shortener.
Нажмите кнопку Создать.
В выпадающем списке Python выберете среду выполнения python37.
Нажмите кнопку Продолжить.

Скопируйте код функции и вставьте его в файл index.py в блоке Код функции.

Код функции

from kikimr.public.sdk.python import client as ydb

import urllib.parse
import hashlib
import base64
import json
import os


def decode(event, body):
    # тело запроса может быть закодировано
    is_base64_encoded = event.get('isBase64Encoded')
    if is_base64_encoded:
        body = str(base64.b64decode(body), 'utf-8')
    return body


def response(statusCode, headers, isBase64Encoded, body):
    return {
        'statusCode': statusCode,
        'headers': headers,
        'isBase64Encoded': isBase64Encoded,
        'body': body,
    }


def get_config():
    endpoint = os.getenv("endpoint")
    database = os.getenv("database")
    if endpoint is None or database is None:
        raise AssertionError("Нужно указать обе переменные окружения")
    credentials = ydb.construct_credentials_from_environ()
    return ydb.DriverConfig(endpoint, database, credentials=credentials)


def execute(config, query, params):
    with ydb.Driver(config) as driver:
        try:
            driver.wait(timeout=5)
        except TimeoutError:
            print("Connect failed to YDB")
            print("Last reported errors by discovery:")
            print(driver.discovery_debug_details())
            return None

        session = driver.table_client.session().create()
        prepared_query = session.prepare(query)

        return session.transaction(ydb.SerializableReadWrite()).execute(
            prepared_query,
            params,
            commit_tx=True
        )


def insert_link(id, link):
    config = get_config()
    query = """
        DECLARE $id AS Utf8;
        DECLARE $link AS Utf8;

        UPSERT INTO links (id, link) VALUES ($id, $link);
        """
    params = {'$id': id, '$link': link}
    execute(config, query, params)


def find_link(id):
    print(id)
    config = get_config()
    query = """
        DECLARE $id AS Utf8;

        SELECT link FROM links where id=$id;
        """
    params = {'$id': id}
    result_set = execute(config, query, params)
    if not result_set or not result_set[0].rows:
        return None

    return result_set[0].rows[0].link


def shorten(event):
    body = event.get('body')

    if body:
        body = decode(event, body)
        original_host = event.get('headers').get('Origin')
        link_id = hashlib.sha256(body.encode('utf8')).hexdigest()[:6]
        # в ссылке могут быть закодированные символы, например, %. это помешает работе api-gateway при редиректе,
        # поэтому следует избавиться от них вызовом urllib.parse.unquote
        insert_link(link_id, urllib.parse.unquote(body))
        return response(200, {'Content-Type': 'application/json'}, False, json.dumps({'url': f'{original_host}/r/{link_id}'}))

    return response(400, {}, False, 'В теле запроса отсутствует параметр url')


def redirect(event):
    link_id = event.get('pathParams').get('id')
    redirect_to = find_link(link_id)

    if redirect_to:
        return response(302, {'Location': redirect_to}, False, '')

    return response(404, {}, False, 'Данной ссылки не существует')


# эти проверки нужны, поскольку функция у нас одна
# в идеале сделать по функции на каждый путь в api-gw
def get_result(url, event):
    if url == "/shorten":
        return shorten(event)
    if url.startswith("/r/"):
        return redirect(event)

    return response(404, {}, False, 'Данного пути не существует')


def handler(event, context):
    url = event.get('url')
    if url:
        # из API-gateway url может прийти со знаком вопроса на конце
        if url[-1] == '?':
            url = url[:-1]
        return get_result(url, event)

    return response(404, {}, False, 'Эту функцию следует вызывать при помощи api-gateway')

Скопируйте следующий текст и вставьте его в файл requirements.txt в блоке Код функции.
```
ydb==0.0.41
```
Укажите точку входа index.handler.
Задайте таймаут 5.
Выберите сервисный аккаунт serverless-shortener.
Добавьте переменные окружения:
- endpoint — введите строку, сформированную из протокола и эндпоинта базы данных.
  
  Например, если протокол grpcs, а эндпоинт ydb.serverless.yandexcloud.net:2135, введите grpcs://ydb.serverless.yandexcloud.net:2135.
- database — введите сохраненное ранее значение поля База данных.
- USE_METADATA_CREDENTIALS — введите 1.
В верхней правой части блока Редактор нажмите кнопку Создать версию.
В блоке Общая информация включите опцию Публичная функция.

Сохраните идентификатор созданной функции, он понадобится на следующих шагах.

Опубликуйте сервис через API Gateway

Чтобы опубликовать сервис через API Gateway:

Консоль управления

Перейдите в свой рабочий каталог.
В списке сервисов выберите API Gateway.
Нажмите кнопку Создать API-шлюз.
В поле Имя введите for-serverless-shortener.

Скопируйте и вставьте следующий код в блок Спецификация:

Спецификация

openapi: 3.0.0
info:
  title: for-serverless-shortener
  version: 1.0.0
paths:
  /:
    get:
      x-yc-apigateway-integration:
        type: object_storage
        bucket: for-serverless-shortener # <-- название бакета
        object: index.html # <-- название html-файла
        presigned_redirect: false
        service_account: <service_account_id> # <-- ID сервисного аккаунта
      operationId: static
  /shorten:
    post:
      x-yc-apigateway-integration:
        type: cloud_functions
        function_id: <function_id> # <-- ID функции
      operationId: shorten
  /r/{id}:
    get:
      x-yc-apigateway-integration:
        type: cloud_functions
        function_id: <function_id> # <-- ID функции
      operationId: redirect
      parameters:
      - description: id of the url
        explode: false
        in: path
        name: id
        required: true
        schema:
          type: string
        style: simple

Внесите правки в код спецификации :

Замените <service_account_id> идентификатором созданного ранее сервисного аккаунта.
Замените <function_id> идентификатором созданной ранее функции.

Нажмите кнопку Создать.
Нажмите на имя созданного API-шлюза.
Скопируйте значение url из спецификации.

Используйте этот URL для работы с созданным сервисом.

Проверьте работу сокращателя

Чтобы проверить правильность взаимодействие компонентов сервиса:

Откройте в браузере скопированный URL.
В поле для ввода введите ссылку, которую вы хотите сократить.
Нажмите кнопку Сократить.

Ниже отобразится сокращенная ссылка.
Перейдите по сокращенной ссылке, должна открыться та же страница, что и по ссылке до сокращения.

Удалите компоненты сервиса

Чтобы удалить все созданные компоненты сервиса:

Консоль управления

Удалите API-шлюз:
1. Перейдите в свой рабочий каталог.
2. В списке сервисов выберите API Gateway.
3. Справа от имени созданного API-шлюза нажмите и выберите Удалить.
4. Нажмите кнопку Удалить.
Удалите функцию:
1. Перейдите в свой рабочий каталог.
2. В списке сервисов выберите Cloud Functions.
3. Справа от имени созданной функции нажмите и выберите Удалить.
4. Нажмите кнопку Удалить.
Удалите БД:
1. Перейдите в свой рабочий каталог.
2. В списке сервисов выберите Managed Service for YDB.
3. Справа от имени созданной базы данных нажмите и выберите Удалить.
4. Нажмите кнопку Удалить.
Удалите сервисный аккаунт:
1. Перейдите в свой рабочий каталог.
2. В левой панели выберите вкладку Сервисные аккаунты.
3. Справа от имени созданного сервисного аккаунта нажмите и выберите Удалить.
4. Нажмите кнопку Удалить.
Удалите бакет:
1. Перейдите в свой рабочий каталог.
2. Выберите сервис Object Storage.
3. Нажмите на имя созданного бакета.
4. Справа от имени созданного объекта нажмите и выберите Удалить.
5. Нажмите кнопку Удалить.
6. Вернитесь на страницу Бакеты.
7. Справа от имени созданного бакета нажмите и выберите Удалить.
8. Нажмите кнопку Удалить.

Сокращатель ссылок

Подготовьте облако к работе

Необходимые платные ресурсы

Настройте хостинг страницы сокращателя

Создайте сервисный аккаунт

Создайте БД в Managed Service for YDB

Настройте функцию в Cloud Functions

Опубликуйте сервис через API Gateway

Проверьте работу сокращателя

Удалите компоненты сервиса

Была ли статья полезна?