Apache Spark 1.0 — крупный релиз Open Source-фреймворка для анализа данных
1Иллюстрация с сайта Spark.Apache.Org
Сегодня состоялся крупный релиз фреймворка с открытым кодом для анализа данных — Spark 1.0. Ранее в этом году проект был переведён в разряд наиболее приоритетных в Apache Software Foundation (ASF).
Spark — это инструмент для обработки и анализа больших объёмов информации. Версия 1.0 предлагает стабильное API (с обратной совместимостью в ветке 1.x), новый Spark SQL для доступа к структурированным данным, а также интеграцию с другим ПО от ASF: Hadoop YARN, Hive и Mesos.
Патрик Вэндел (Patrick Wendell), инженер ПО в Databricks и менеджер по выпуску Apache Spark 1.0, рассказал о выходе новой версии: «В дополнение к долгосрочной поддержке API данный выпуск содержит несколько новых возможностей. Spark 1.0 включает унифицированный инструмент для развёртывания приложений на локальном компьютере через Mesos или YARN, а также на выделенном кластере. Мы добавили новый модуль Spark SQL для обеспечения моделирования данных с учетом схемы (schema-aware) и поддержки языка SQL в Spark. Библиотека машинного обучения Spark (MLLib) была улучшена путём добавления нескольких новых алгоритмов. Библиотеки потоков и графов также получили значительные обновления. Мы сосредоточились на создании инструментов для расширения возможностей учёных, занимающихся изучением больших данных, людей, занимающихся статистикой и инженеров, сталкивающихся с необходимостью обрабатывать большие объёмы данных каждый день».
Apache Spark 1.0 можно скачать на сайте проекта.
Постоянная ссылка к новости: http://www.nixp.ru/news/12523.html. Никита Лялин по материалам Blogs.Apache.org.
ASF рассказала о росте популярности фреймворка для распределённых программ Apache Hadoop 2.8
Bigtop 1.0.0 — крупный релиз набора Big Data-инструментов с Hadoop 2.6.0, HBase 0.98.12 и Spark 1.3.1 1
ASF перевела свободный движок для SQL-запросов Drill в ведущие проекты 3 6
Проекты Tajo (SQL-on-Hadoop) и Allura (веб-интерфейс SourceForge) переведены в разряд ведущих в ASF
Фреймворк для анализа данных Spark переведен в разряд ведущих проектов ASF
Apache Hadoop 2: YARN, высокая доступность и масштабируемость для HDFS, поддержка Windows
Последние комментарии
- OlegL, 17 декабря в 15:00 → Перекличка 21
- REDkiy, 8 июня 2023 года в 9:09 → Как «замокать» файл для юниттеста в Python? 2
- fhunter, 29 ноября 2022 года в 2:09 → Проблема с NO_PUBKEY: как получить GPG-ключ и добавить его в базу apt? 6
- Иванн, 9 апреля 2022 года в 8:31 → Ассоциация РАСПО провела первое учредительное собрание 1
- Kiri11.ADV1, 7 марта 2021 года в 12:01 → Логи catalina.out в TomCat 9 в формате JSON 1