Apache Hadoop 2: YARN, высокая доступность и масштабируемость для HDFS, поддержка Windows
Иллюстрация с сайта Hadoop.Apache.Org
16 октября некоммерческая организация Apache Software Foundation (ASF), обеспечивающая поддержку многочисленным Open Source-проектам, объявила о новом крупном релизе популярного фреймворка для организации распределенных вычислений — Apache Hadoop 2.
Главным новшеством в Apache Hadoop 2 стало добавление YARN — полностью переделанного MapReduce. Основной идеей в создании так называемого MapReduce 2.0 (MRv2), ныне именуемого YARN, является разделение двух крупных функций JobTracker: управление ресурсами и планирование/мониторинг задач — на два демона. В результате, появился глобальный ResourceManager (RM) и отдельный для каждого приложения ApplicationMaster (AM).
Итак, ключевые новшества и изменения в релизе Apache Hadoop 2:
- Apache Hadoop YARN — «краеугольный камень Apache Hadoop следующего поколения для запуска приложений, обрабатывающих данные (MapReduce, Apache Storm и т.п.) и сервисов (Apache HBase)»;
- высокая доступность для HDFS (Hadoop Distributed File System);
- HDFS Federation для хорошей масштабируемости;
- бинарная совместимость для существующих MapReduce-приложений, созданных для Hadoop 1.x;
- снапшоты для данных в HDFS;
- доступ по NFS v3 к HDFS;
- поддержка операционной системы Microsoft Windows.
Постоянная ссылка к новости: http://www.nixp.ru/news/12298.html. Дмитрий Шурупов по материалам Blogs.Apache.org.
ASF рассказала о росте популярности фреймворка для распределённых программ Apache Hadoop 2.8
Bigtop 1.0.0 — крупный релиз набора Big Data-инструментов с Hadoop 2.6.0, HBase 0.98.12 и Spark 1.3.1 1
Инструмент для автоматизации Big Data — NiFi — включён в число ведущих проектов ASF
Движок для BSP-вычислений Apache Hama, используемый в Samsung, теперь поддерживает Hadoop YARN
HBase 1.0 — крупный релиз распределенной нереляционной базы данных для Hadoop
Apache Spark 1.0 — крупный релиз Open Source-фреймворка для анализа данных 1
Последние комментарии
- OlegL, 17 декабря в 15:00 → Перекличка 21
- REDkiy, 8 июня 2023 года в 9:09 → Как «замокать» файл для юниттеста в Python? 2
- fhunter, 29 ноября 2022 года в 2:09 → Проблема с NO_PUBKEY: как получить GPG-ключ и добавить его в базу apt? 6
- Иванн, 9 апреля 2022 года в 8:31 → Ассоциация РАСПО провела первое учредительное собрание 1
- Kiri11.ADV1, 7 марта 2021 года в 12:01 → Логи catalina.out в TomCat 9 в формате JSON 1