Google открыла код фреймворка для обработки больших данных — MapReduce for C (MR4C)
2Иллюстрация с сайта Gigaom.Com
В минувшую среду было объявлено об открытии кода Google MR4C (MapReduce for C) — фреймворка, позволяющего заданиям Hadoop использовать библиотеки, написанные на C/C++.
MR4C изначально был разработан в рамках проекта Skybox Imaging для обработки больших объемов геодезических данных и спутниковых снимков на кластерах под управлением Hadoop. Необходимость разработки была связана с желанием программистов использовать стандартные библиотеки для работы с изображениями, написанные на C и C++.
Hadoop, как известно, написан на Java, а выбор C++ для разработки Google MapReduce и QFS (Quantcast File System — аналог Hadoop Distributed File System, разработанный в Google) был продиктован именно соображениями производительности. По той же причине БД MemSQL для выполнения SQL-запросов осуществляет генерацию кода в C++.
Исходный код фреймворка MR4C распространяется на условиях свободной лицензии Apache License v2 и доступен на GitHub.
Постоянная ссылка к новости: http://www.nixp.ru/news/13208.html. Aлександр по материалам Gigaom.Com, Google-opensource.Blogspot.Ru.
Открыт код Vespa — движка Yahoo! для обработки Big Data и выдачи результатов
IBS внедрит в Федеральную налоговую службу РФ свой дистрибутив Hadoop для больших данных 2
Cisco открыла под свободной лицензией фреймворк OpenSOC для анализа сетевой безопасности 3 1
eBay присоединился к Open Source-сообществу с быстрым OLAP-движком Kylin для Hadoop 1
Continuuity перешёл в разряд полностью свободного ПО и получил новое имя — Cask 2
Concurrent открыла код Cascading — альтернативы MapReduce для Hadoop
Последние комментарии
- OlegL, 17 декабря в 15:00 → Перекличка 21
- REDkiy, 8 июня 2023 года в 9:09 → Как «замокать» файл для юниттеста в Python? 2
- fhunter, 29 ноября 2022 года в 2:09 → Проблема с NO_PUBKEY: как получить GPG-ключ и добавить его в базу apt? 6
- Иванн, 9 апреля 2022 года в 8:31 → Ассоциация РАСПО провела первое учредительное собрание 1
- Kiri11.ADV1, 7 марта 2021 года в 12:01 → Логи catalina.out в TomCat 9 в формате JSON 1