Компания Microsoft представила новую расширенную версию Azure Data Lake. Решение поможет вендорам, специалистам по обработке данных и аналитикам надежно хранить информацию любого объема, а также обрабатывать и анализировать ее на любой платформе и на любом языке.
В обновленную версию Azure Data Lake вошли облачное хранилище больших данных Azure Data Lake Store, новый аналитический сервис, служба кластеров HDInsight для платформы Linux, интегрированные инструменты разработки на Visual Studio, а также новые приложения Hadoop ISV.
«Microsoft уделяет много внимания развитию платформы для работы с большими данными. Мы создаем удобные инструменты обработки информации любого типа и объема, которыми наши заказчики могут воспользоваться как в облаке, так и в локальной инфраструктуре, — сказал Дмитрий Марченко, директор по продвижению облачной платформы Microsoft в России. — Наша цель — сделать технологии Big Data более простыми и доступными для максимально широкого круга пользователей: разработчиков, аналитиков, ученых и ИТ-специалистов. И мы надеемся, что обновление Azure Data Lake станет большим шагом к ее достижению».
Azure Data Lake Store — гибкое масштабируемое хранилище данных, которое позволяет работать с неструктурированной, полуструктурированной и структурированной информацией. Впервые с его помощью можно собирать информацию любого типа и размера, получать доступ к ней и анализировать ее, избегая сбоев в производственных процессах и поддерживая высокий уровень безопасности сети. Платформа станет доступна пользователям в ближайшее время.
Azure Data Lake Analytics — это новый сервис анализа данных, созданный на базе Apache YARN для работы в облаке. Azure Data Lake Analytics справляется с информацией любого масштаба, регулируя нагрузку на сеть. Модель предоставления сервиса предполагает, что клиенты будут оплачивать только те периоды, когда он использовался, а также поддержку Azure Active Directory.
В новую версию Azure Data Lake также включен сервис Azure HDInsight, разработанный на базе Apache Hadoop. HDInsight позволяет раскручивать неограниченное количество узлов за считанные минуты. Azure HDInsight предлагает пользователям широкие возможности экосистемы Hadoop в рамках легко управляемого сервиса, работу которого поддерживают специалисты Microsoft. Сервис уже доступен для пользователей платформы Linux. Корпорация ведет работу над версией для Ubuntu.
Стремясь создавать наиболее продуктивные ИТ-решения, компания Microsoft подготовила обновление инструментов разработки, отладки и настройки ПО Visual Studio. Azure Data Lake Tools для Visual Studio предлагают интегрированную среду разработки, доступную для работы с SQL and .NET, а поддержка U-SQL в Azure Data Lake для Visual Studio повышает производительность средств анализа и оптимизирует процессы на тысячах узлов.
Hadoop ISV — это пакет приложений для управления информацией, также вошедший в новейшую редакцию Data Lake. Он включает средства непрерывной аналитики больших данных, такие как Datameer, технологии защиты и управления информаций (Dataguise и BlueTalon), а также DataTorrent и инструменты визуализации AtScale и Zoomdata.
