Дайджест новостей за июнь
Читайте про сервисы, новые образы в Marketplace, истории компаний в облаке и обновления документации.
Yandex Scale 2021 пройдет онлайн 24 сентября
Целый день: главные новости платформы, 5 тематических треков, более 30 докладов, виртуальные зоны решений и продуктов.
Регистрируйтесь, чтобы ничего не пропустить →
Следите за новостями и деталями в официальном канале конференции в Telegram.
Открыта регистрация на бесплатный курс «Инженер облачных сервисов» от Yandex.Cloud
Мы запустили курс, в котором вы научитесь пользоваться управляемыми базами данных и контейнерами в облаке, изучите принципы построения отказоустойчивого сервиса, а также попробуете cloud-native разработку.
Кому подойдет программа:
- разработчикам;
- системным администраторам;
- DevOps-инженерам.
Пройти регистрацию и начать обучение можно уже сейчас →
Подробнее о профессии вы можете почитать в статье на VC.
ClickHouse вошла в топ-50 самых популярных в мире СУБД
Распределенная система управления базами данных ClickHouse от Яндекса впервые оказалась в топ-50 самых популярных в мире СУБД по версии DB-Engines Ranking.
Новости сервисов
Платформа данных
Собрали в одной статье все новости сервисов управляемых баз данных. Из важного:
-
Группы безопасности
Security Groups помогают управлять доступом к управляемым базам данных. Они позволяют настроить правила входящего и исходящего трафика, чтобы организовать защищенное взаимодействие между базой и сервисами пользователя. Создавать группы и управлять ими можно через API, CLI, Консоль и Terraform. -
Полная поддержка Terraform
Теперь инфраструктурой баз данных можно полностью управлять через Terraform. Раньше были некоторые ограничения, но сейчас Terraform поддерживает все возможности нашего API. -
Нереплицируемые SSD-диски
На платформе появились быстрые сетевые хранилища — non-replicated network-ssd. Это диски с повышенной производительностью, которые позволяют увеличить количество IOPs для управляемой базы данных
Yandex Object Storage
Режим строгой консистентности в Yandex Object Storage
Объектное хранилище Object Storage теперь по умолчанию предоставляет режим строгой консистентности. Это значит, что после любой успешной записи или обновления объекта, следующий запрос на чтение этого объекта вернет его актуальную версию. Также это применимо и к запросам листинга, результат запроса на листинг сразу после изменения объектов в бакете будет содержать обновленную информацию.
Ранее Object Storage предоставлял менее строгий режим консистентности (eventual consistency), когда изменения могли не сразу отображаться в последующих запросах листинга и чтения объектов. Некоторым клиентам и приложениям для работы с S3 приходилось реализовывать правильную обработку «запаздывания» результатов, которая после включения режима строгой консистентности больше не требуется.
Ответы на часто задаваемые вопросы →
Yandex DataLens
В одной статье собрали все последние новости сервиса Yandex DataLens. Рассказали о самом популярном запросе для DataLens в нашем сообществе — коннекторе Google Sheets, о детализации биллинга, об иерархии с drill-down и упрощенном бесплатном тарифе.
Новые образы в Marketplace
Новые продукты в маркетплейсе образов
- Neoflex Datagram — платформа для интеграции данных, позволяющая проектировать, разрабатывать и исполнять задачи по обработке данных из любых источников с помощь удобного графического редактора. Решение поставляется в со встроенным кластером Apache Spark для исполнения задач и на базе Yandex Cloud Data Proc.
Обновление образов
-
Check Point CloudGuard IaaS — Firewall & Threat Prevention PAYG
-
Check Point CloudGuard IaaS — Firewall & Threat Prevention with SandBlast PAYG
Публикации в блогах
Yandex.Cloud поможет российским ученым разработать нейросеть для оценки здоровья Байкала
В рамках проекта разрабатывается нейросеть, которая будет автоматически анализировать пробы байкальской воды, распознавать и классифицировать содержащиеся в ней микроорганизмы. Такой анализ облегчит работу ученых, которым сейчас приходится различать более 400 видов байкальского планктона и систематизировать данные вручную.
Для обучения алгоритма иркутские ученые предоставили более 1 тыс. снимков каждого вида планктона. На их основе был создан механизм классификации видов планктона с использованием Yandex DataSphere. Изображения микроорганизмов будут передаваться в платформу прямо с микроскопов лаборатории НИИ биологии ИГУ, и алгоритм будет автоматически определять видовую принадлежность планктонных частиц. Подробнее в источнике →
Делаем чат-бот в Telegram на функциях: пошаговая инструкция
Сделали подробную инструкцию про то, как с помощью бессерверных технологий сделать своего чат-бота в Telegram с нуля. Он сможет отвечать на запросы простыми сообщениями и отправлять картинки. Подойдет для организации процессов разработки, поддержки и продаж. Читать на VC →
Взяли лучшее от Slack, Trello и Telegram и сделали универсальный мессенджер: история tada.team
В нашем блоге на VC рассказали еще об одной компании, которая мигрировала в Yandex.Cloud и приняла участие в программе акселерации Yandex Cloud Boost.
Универсальный мессенджер tada.team объединяет в себе и чаты, и трекеры, и Kanban-доски. Мы поговорили с CTO tada.team Максимом Оранским, CEO Андреем Деминым и СРО Павлом Крещишиным, которые рассказали, как зарождался продукт и как компания планирует развивать бизнес дальше. Читать на VC →
Поиск по вашему сайту, как в Яндексе или Google: зачем компаниям нужен Elasticsearch
На реальных примерах Netflix, Тинькофф, GitHub и других компаний показали, как одна технология помогает оптимизировать поиск по сайту, организовать мониторинг бизнес-показателей, обрабатывать неструктурированные сообщения сторонних систем и текстовые журналы, метрики сетевых, IoT и других устройств. Подробнее на VC →
Истории успеха
Как показывать записи лекций без зависаний. Опыт онлайн-школы «Фоксфорд»
У онлайн-школы «Фоксфорд» более миллиона активных пользователей и терабайты записанного видеоматериала. Для того чтобы ученики могли смотреть лекции без задержки и получать любые материалы практически мгновенно без деградации чтения и записи, школа перенесла свои данные в объектное хранилище Yandex.Cloud.
Опыт TalentTech: как в короткие сроки запустить множество высоконагруженных проектов и создать аналитическую платформу
В 2020 году IT-холдинг TalentTech сосредоточился на разработке решений для трансформации бизнеса в области управления персоналом. Чтобы в короткие сроки запустить множество высоконагруженных проектов, компания решила перенести инфраструктуру на облачную платформу.
Потребление облачных ресурсов со старта проекта до настоящего времени выросло в сто раз. Разработанная на базе платформы данных Yandex.Cloud аналитическая система позволила TalentTech принимать решения на основе данных в сферах маркетинга, продаж, продуктов и финансов, расширив data-driven подход. Выбрав наши вычислительные мощности, холдинг смог реализовать все проекты со строгим разделением прав доступа к данным и соблюдением всех норм информационной безопасности и 152-ФЗ.
Автоматизация системы подбора и найма персонала Skillaz при помощи Yandex.Cloud
Skillaz — интеллектуальная рекрутинговая система полного цикла. Система ищет кандидатов в открытых источниках, оценивает резюме, рассылает приглашения на собеседования, анкетирует и тестирует кандидатов. После миграции инфраструктуры, среды разработки и тестирования в Yandex.Cloud компании удалось в два раза сократить расходы на обслуживание и администрирование.
Мероприятия
Kuber Conf — первая конференцию Yandex.Cloud о работе с экосистемой Kubernetes®
Больше четырех часов лучшие эксперты отрасли рассказывали, как масштабировать разработку и строить процессы с помощью этой гибкой системы. Например, представители Альфа-Банка и Mindbox показали, как работают живые продуктивные инсталляции приложений на базе Kubernetes и какие барьеры нужно преодолеть, чтобы перевести Legacy в новую микросервисную архитектуру. А команда Тинькофф выступила с докладом о том, как нужно строить процессы и платформу внутри компании, чтобы масштабировать разработку на базе Kubernetes на сотни продуктовых команд.
Как мигрировать в облако без потерь
Большинство компаний, планируя переезд в облако, ждут быстрого технологического прорыва. Но адаптация к облаку — путь сложный. Нельзя просто взять и перенести высоконагруженное решение «как есть».
Для решения этих задач используется подход Cloud Adoption на платформе Cloud Launchpad. Платформа содержит лучшие практики международных ИТ-проектов и позволяет создавать адаптивную инфраструктуру приложений на базе Terraform и Kubernetes и избавлять команды от частых ошибок миграции.
Виктор Бутенко из команды OpsGuru рассказал о том, что такое Cloud Adoption, что он включает в себя, и как к нему пришли западные рынки, а также как Cloud Launchpad решает задачи по Cloud Adoption на примерах из практики.
Рекомендательные системы. Архитектура и применение
Вместе с коллегами из GlowByte рассказали все, что знаем о рекомендательных системах и показали современную архитектуру на базе платформы Yandex.Cloud.
Аналитическая платформа для бизнеса
Рассказали, как строить собственное хранилище данных на базе платформы данных Yandex.Cloud, загружать обновления в потоке и строить витрины данных.
Документация
Обновились следующие документы:
- Версии интерфейса командной строки YC CLI 0.77.0 и 0.78.0. Изменения в сервисах Yandex.Cloud:
- В Compute Cloud для команды
yc compute instance
вnetwork_interface
добавлены ключиdns-record-spec
иipv6-dns-record-spec
. - В Managed Service for Kubernetes®
- Для команд
yc managed-kubernetes node-group create
иyc managed-kubernetes node-group update
добавлен флаг--network-acceleration-type
, который позволяет указать для группы узлов тип сети: стандартная или программно-ускоренная. - Для команды
yc managed-kubernetes cluster create
добавлен флаг--cilium
для создания кластера, который поддерживает туннельный режим и использует Cilium CNI. - В API Gateway:
- добавлена команда
yc serverless api-gateway add-domain
для привязывания домена к API-шлюзу; - добавлена команда
yc serverless api-gateway remove-domain
для отсоединения домена от API-шлюза. - В Managed Service for Elasticsearch:
- для команды
yc managed-elasticsearch cluster list-logs
добавлен флаг--service-type
для получения логов Kibana. - для команд
yc managed-elasticsearch cluster create
иyc managed-elasticsearch cluster update
добавлен флаг--service-account
. - В Managed Service for Apache Kafka® для команд
yc managed-kafka cluster create
иyc managed-kafka cluster updateс добавлены флаги
--num-partitionsи
--default-replication-factor` для задания и изменения конфигурационных настроек брокеров Kafka. - В Managed Service for Redis™ для команд
yc managed-redis cluster create\update
добавлены флаги--slowlog-log-slower-than
,--slowlog-max-len
,--databases и --notify-keyspace-events
(см. описание в redis.conf).
- Обновлено описание ресурсных записей.
- Обновлено описание зон DNS.
- Добавлено практическое руководство по развертыванию Remote Desktop Gateway.
- Добавлено описание групп безопасности сети в Data Proc.
- Обновлены инструкции по созданию кластера, подключению к кластеру и изменению подкластера.
- Переработана структура раздела и обновлены пошаговые инструкции.
- Добавлено описание жизненного цикла трансфера.
- В работе с AWS SDK обновлены инструкции по работе с таблицами.
- Добавлено практическое руководство по созданию веб-аналитики с расчетом воронок и когорт на данных Яндекс.Метрики.
- Добавлены инструкции по созданию линейчатой диаграммы c группировкой и столбчатой диаграммы c группировкой.
- Добавлена инструкция по созданию подключения к Yandex Cloud Billing.
- Добавлено описание кеширования.
- Добавлены публичные материалы: Образовательные проекты, вебинары и конференции, статьи и публикации и публичные дашборды и чарты.
- Обновлена инструкция по изменению настроек кластера.
- Добавлены инструкции для Terraform в управление резервными копиями, управление пользователями, управление базами данных, управление хостами кластера и изменение настроек кластера.
- Добавлено описание вариантов расширения модели распознавания речи.
- Добавлен раздел Yandex SpeechKit Brand Voice с описанием технологии и описанием формата входных данных Yandex SpeechKit Brand Voice Adaptive.
- Обновлены инструкции как добавить пользователей и настроить доступ в Tracker.
- Добавлена инструкция, как посмотреть список используемых адресов в подсети.
- Обновлено практическое руководство по миграции в Yandex.Cloud с помощью Hystax Acura.
- Добавлено практическое руководство по развертыванию Remote Desktop Gateway для Windows в Yandex.Cloud.
- Добавлено практическое руководство по созданию веб-аналитики с расчетом воронок и когорт на данных Яндекс.Метрики.