Google открыла код фреймворка для обработки больших данных — MapReduce for C (MR4C)
2
Иллюстрация с сайта Gigaom.Com
В минувшую среду было объявлено об открытии кода Google MR4C (MapReduce for C) — фреймворка, позволяющего заданиям Hadoop использовать библиотеки, написанные на C/C++.
MR4C изначально был разработан в рамках проекта Skybox Imaging для обработки больших объемов геодезических данных и спутниковых снимков на кластерах под управлением Hadoop. Необходимость разработки была связана с желанием программистов использовать стандартные библиотеки для работы с изображениями, написанные на C и C++.
Hadoop, как известно, написан на Java, а выбор C++ для разработки Google MapReduce и QFS (Quantcast File System — аналог Hadoop Distributed File System, разработанный в Google) был продиктован именно соображениями производительности. По той же причине БД MemSQL для выполнения SQL-запросов осуществляет генерацию кода в C++.
Исходный код фреймворка MR4C распространяется на условиях свободной лицензии Apache License v2 и доступен на GitHub.
Постоянная ссылка к новости: http://www.nixp.ru/news/13208.html. Aлександр по материалам Gigaom.Com, Google-opensource.Blogspot.Ru.
Открыт код Vespa — движка Yahoo! для обработки Big Data и выдачи результатов
IBS внедрит в Федеральную налоговую службу РФ свой дистрибутив Hadoop для больших данных
2
Cisco открыла под свободной лицензией фреймворк OpenSOC для анализа сетевой безопасности
3 1
eBay присоединился к Open Source-сообществу с быстрым OLAP-движком Kylin для Hadoop 1
Continuuity перешёл в разряд полностью свободного ПО и получил новое имя — Cask 2
Concurrent открыла код Cascading — альтернативы MapReduce для Hadoop
Последние комментарии
-
OlegL, 17 декабря 2023 года в 15:00 →
Перекличка
21
-
REDkiy, 8 июня 2023 года в 9:09 →
Как «замокать» файл для юниттеста в Python?
2
-
fhunter, 29 ноября 2022 года в 2:09 →
Проблема с NO_PUBKEY: как получить GPG-ключ и добавить его в базу apt?
6
-
Иванн, 9 апреля 2022 года в 8:31 →
Ассоциация РАСПО провела первое учредительное собрание
1
-
Kiri11.ADV1, 7 марта 2021 года в 12:01 →
Логи catalina.out в TomCat 9 в формате JSON
1
DevOps as a Service from Palark
