программы
754
0
12 августа 2021
программы

«Мы взяли время, ушли в тень и создали свое решение»: как зарождаются и развиваются облачные платформы в России

программы
программы
754
0
12 августа 2021

«Мы взяли время, ушли в тень и создали свое решение»: как зарождаются и развиваются облачные платформы в России

754
0
12/08/2021

В ближайшие годы на мировом рынке публичных облачных сервисов и инфраструктур ожидается значительный рост. По прогнозам к 2025 году он вырастет более чем вдвое, до $ 832,1 млрд. Совокупный среднегодовой темп роста (CAGR) в этот период ожидается в размере 17,5%. Для сравнения: этот же показатель для всего мирового IT-рынка оценивается в 8,02%. Как развиваются облачные технологии, какие существуют способы создать публичное облако и почему первый запуск платформы Yandex Cloud на OpenStack оказался неудачным, рассказывает руководитель группы cloud-архитекторов в «Яндексе» Николай Бутенко.

— Николай, вы стояли у истоков внедрения облачных технологий в России. Расскажите, пожалуйста, как зародилось это направление и как проникало на российский рынок?

Началом развития облачных технологий можно считать 2006 год, когда компания Amazon Web Services (AWS) создала Elastic Compute Cloud (Amazon EC2) и объектное хранилище данных Simple Storage Service (S3), которые стали прообразом облачной модели предоставления ресурсов. То есть пользователям больше не надо было покупать собственное оборудование или арендовать какие-то «железные» ресурсы и обращаться в хостинг. Они могли зайти в веб-интерфейс, нажать пару кнопок и без звонков провайдеру, предварительных согласований и заключения контрактов получить необходимые им ресурсы.
Словом, технология имела большой успех и стала набирать обороты, и вскоре ее начали развивать Google и Microsoft. На рынке облачных технологий сформировалась большая тройка игроков. Сейчас, правда, это уже четвёрка — стремительно растет китайская компания Alibaba.
В России пионером в области Public Cloud можно назвать компанию «Ростелеком», которая в 2011 году пыталась запустить национальную облачную платформу. Но первый блин вышел комом. Однако с тех пор крупные интернет-компании — «Яндекс», Mail.ru, «Сбербанк» — начали смотреть в эту сторону.

При этом если на Западе этот процесс стартовал в 2006 году, то у нас первые серьёзные попытки освоить облако были предприняты в 2011 году, а бурное развитие началось в 2014—2015 годах.
— Какова текущая ситуация в России с облачными технологиями? Где наше место в мировой системе координат?

Сегодня в нашей стране существует несколько отечественных гиперскейлеров. Самые крупные — это «Ростелеком», «Яндекс», Mail.ru и «Сбербанк». Думаю, их можно назвать большой русской четвёркой. Они предоставляют не только виртуальные машины, но также платформенные и софтверные сервисы: готовые пайплайны, витрины с приложениями, платформы для разработки, маркетплейсы. Также есть несколько компаний, которые предоставляют меньший набор сервисов по облачным моделям (в основном IaaS), такие как Selectel, DataLine, «КРОК», Softline и прочие.

Говоря о российском рынке облачных технологий, нельзя не отметить такой фактор, как российское законодательство, которое обязывает операторов хранить данные на территории страны. С одной стороны, это плюс, так как у крупных мировых компаний нет своих ЦОД на территории России, и поэтому их присутствие на нашем рынке ограничено. Благодаря этому российские провайдеры чувствуют себя вольготно. Но с другой стороны, из-за отсутствия большой мировой четвёрки мы находимся в немного расслабленном режиме: можем позволить себе делать что-то не так активно, как если бы делали это в конкуренции с мировыми лидерами. Это минус. Хотя, конечно, если бы зарубежные компании пришли в Россию в 2015 году, никаких отечественных облачных провайдеров просто не было бы.

— Сегодня мы в позиции догоняющих или отстающих?

По моему мнению, Россия до сих пор очень сильно отстает: в сфере облачных технологий — лет на пять-шесть, а в IT в целом — на два-четыре года. Но всё не так плохо, и на данный момент 90% востребованных сервисов российские облачные провайдеры закрывают. Оставшиеся 10% — это узкопроприетарные технологии.

— Как вы создавали Yandex Cloud?

Есть несколько методов запуска публичного облака. Во-первых, можно взять готовый продукт, например VMware, и запустить публичное облако на нем. Другой способ — использовать open-source-продукт типа OpenStack, доработать его и запуститься на нем. Еще один способ — купить готовый программный аппаратный комплекс, как это сделал «Сбербанк», который приобрёл серверное оборудование и софт Huawei. И, наконец, можно не выбирать ни один из этих трех вариантов, а сделать всё свое.

— По какому пути пошли вы?

У «Яндекса» давно было приватное облако, где мы крутили контейнеры, виртуальные машины, и на базе которого работал «Яндекс.Поиск». Оно создавалось много лет назад, в том числе частично на OpenStack, и успешно использовалось. В 2015—2016 годах мы попытались из этого приватного облака сделать публичное, также на OpenStack. Но потерпели неудачу.

— Почему так произошло?

Тут несколько факторов. Во-первых, OpenStack разработан для частных облаков, а не публичных. Во-вторых, у нас возникли проблемы со скейлингом платформы, построенной на OpenStack. Плюс мы поняли, что эксплуатация и модификация OpenStack слишком сложны для того, чтобы обеспечить интенсивное развитие. В итоге мы взяли время, ушли в тень и создали свое решение. В качестве гипервизора мы использовали KVM, а остальную часть написали сами, используя наработки «Яндекса» в области гиперскейлинга и зарекомендовавшие себя open-source-решения.

— Как работает Yandex Cloud сегодня?

Yandex Cloud работает на базе трех дата-центров, расположенных в Московской, Рязанской и Владимирской областях. Каждый из них оснащен независимой системой энергоснабжения, и взаимодействуют они между собой с помощью собственных каналов оптической линии связи.

Стойки и серверы, которые используются в дата-центрах, разработаны в «Яндексе» и производятся на Тайване, но скоро, кстати, их будут делать в России. На ПМЭФ мы заключили соглашение с компаниями Gigabyte и «Ланит» для запуска предприятия по производству серверов в нашей стране. Мы будем брать готовые комплектующие — процессор, сетевую карту, оперативную память, — а всё остальное делать сами. Плата уже разработана и будет печататься в России.

— За счет чего Yandex Cloud выдерживает пиковые нагрузки и масштабируется?

Мы — гиперскейлер, потому что у нас есть поиск, очень масштабный и занимающий десятки тысяч серверов, и, в принципе, многие технологии по масштабированию были унаследованы от него. Перечислю основные.

Во-первых, мы используем гиперконвергентную инфраструктуру, подробнее о которой я рассказываю в своей лекции.

Во-вторых, у нас применяется так называемое capacity planning: мы всегда прогнозируем сколько предстоит выдержать нагрузки, и держим огромный запас. Например, наша сеть (SDN) утилизирована примерно на 7%. Что касается виртуальных ресурсов (vCPU, RAM, Storage и других), у нас всегда остается большой запас. Чтобы он не простаивал, мы используем, если говорить языком Amazon, spot instances — они очень дешевые, но мы можем их выключить в любой момент.
И в-третьих, у нас три зоны доступности. При правильном размещении даже падение целого ЦОД никак не сказывается на сервисе клиента: мы можем, например, обеспечить запуск его новых ресурсов на резервных ЦОД.

— Как работают разработчики и облачные архитекторы в «Яндексе»?

Cloud-архитекторы — это очень редкие люди, особенно в России. Готовых специалистов почти нет. У «Яндекса» одна из самых больших команд в стране, порядка 20 специалистов. Мы растим их из разработчиков, DevOps, архитекторов инфраструктуры и системных администраторов senior-уровня. Архитекторы не занимаются разработкой и эксплуатацией, а работают с проектированием, адаптацией и кастомизацией возможностей нашей платформы под требования клиента.

Что касается разработчиков, то их в нашей компании коснулась «девопсовизация». Это западная практика, которая пришла к нам из таких компаний, как Google. Идея заключается в том, что, если ты пишешь код, ты должен нести за него ответственность и эксплуатировать его. То есть отвечать за работу кода должен не системный администратор, а разработчик.

В «Яндексе» все знали про культуру DevOps, но она не нравилась абсолютно никому. Разработчики считали, что эксплуатация кода — не их дело, а системные администраторы, по сути, должны были выбирать: переквалифицироваться в разработчиков либо уходить. Такой расклад не подходил никому.

Тем не менее с приходом Михаила Парахина, нового технического директора из Microsoft, огнем и мечом «девопсовизацию» в компании провели за несколько лет. Не без потерь, но в долгосрочной перспективе это было правильное решение — качество кода повысилось. За счет этого лучше работают наши сервисы и происходит меньше аварий.

DevOps сейчас проповедуют многие компании, но лишь единицы через неё прошли.

В своей лекции мы дискутируем о том, насколько это «больно», зачем нужно и можно ли жить в старых парадигмах.

— Что ждёт облачные технологии в будущем?

Сегодня, наверное, все крупные компании в той или иной степени используют облачные технологии. Это тенденция будет расти, и всё движется к тому, что абсолютно всё будет находиться в облаках, за исключением проприетарных приложений, которые хостятся на специфическом оборудовании. Как я говорил в самом начале, рынок облачных технологий растет от года к году быстрее, чем весь рынок IT.

Отмечу также, что сейчас существует некое заблуждение, что облако — это манна небесная. Такое мнение распространено и среди наших клиентов, и в индустрии IT в целом. Но это не так. Чтобы получить реальную выгоду от использования облачного провайдера, нужно уметь его использовать.

Наверх

Будь первым, кто оставит комментарий