Движок для BSP-вычислений Apache Hama, используемый в Samsung, теперь поддерживает Hadoop YARN
Иллюстрация с сайта Hama.Apache.Org
Apache Software Foundation и разработчики Samsung Electronics в прошедший четверг объявили, что движок для высокопроизводительных BSP-вычислений Apache Hama теперь поддерживает не только Apache Mesos, но и Hadoop YARN.
Модель параллельных вычислений BSP (Bulk Synchronous Parallel), применяемая в Apache Hama, была разработана в конце 1980-х гг. в Гарвардском университете известным математиком Лесли Вэлиантом (Leslie Valiant). Apache Hama может использоваться как основа для ресурсоемких научных BSP-приложений, приложений для построения графиков (наподобие Google Pregel), а также ПО для машинного обучения.
YARN (проект известен ещё как MapReduce 2.0) — технология управления ресурсами, входящая в состав Apache Hadoop и позволяющая нескольким фреймворкам для работы с большими данными (например, MapReduce, Spark и Apache Hama) одновременно работать с одним набором данных на одном и том же кластере под управлением Hadoop.
В новом релизе Apache Hama поддержка YARN позволяет запускать научные BSP-приложения на кластерах Hadoop без какого-либо процесса установки. Основными авторами этой возможности стали специалисты из компании Samsung Electronics, активно использующие этот продукт: «В отличие от большинства поставщиков веб-услуг, наша проблемная область — это цифровые или сигнальные данные, а не текст. Вот почему мы инвестируем в высокопроизводительные вычисления для продвинутой научной аналитики», — прокомментировал новость Сын-Хон Джеон (Seung-Hun Jeon), глава Cloud Tech Lab в Samsung Electronics.
Постоянная ссылка к новости: http://www.nixp.ru/news/13254.html. Aлександр по материалам Blogs.Apache.org.
ASF рассказала о росте популярности фреймворка для распределённых программ Apache Hadoop 2.8
Новый Open Source-проект Myriad объединяет Apache YARN и Apache Mesos 1
Apache Software Foundation добавила в ведущие проекты Falcon 2
ASF перевела свободный движок для SQL-запросов Drill в ведущие проекты 3 6
Apache Storm переведён в разряд ведущих проектов Apache Software Foundation 2
Фреймворк Tez для Hadoop перешёл из инкубатора ASF в разряд ведущих проектов
Последние комментарии
- OlegL, 17 декабря в 15:00 → Перекличка 21
- REDkiy, 8 июня 2023 года в 9:09 → Как «замокать» файл для юниттеста в Python? 2
- fhunter, 29 ноября 2022 года в 2:09 → Проблема с NO_PUBKEY: как получить GPG-ключ и добавить его в базу apt? 6
- Иванн, 9 апреля 2022 года в 8:31 → Ассоциация РАСПО провела первое учредительное собрание 1
- Kiri11.ADV1, 7 марта 2021 года в 12:01 → Логи catalina.out в TomCat 9 в формате JSON 1