eBay присоединился к Open Source-сообществу с быстрым OLAP-движком Kylin для Hadoop
1Иллюстрация с сайта Kylin.Io
Компания eBay до сих пор не вносила крупного вклада в свободное программное обеспечение, однако всё может измениться с открытием исходного кода движка аналитической онлайн-обработки данных (OLAP) — Kylin.
Разработка платформы началась после того, как в eBay не нашли готового решения для эффективной обработки быстрорастущих и разнообразных данных, генерируемых клиентами, — ситуация схожа со многими другими контрибьюторами в Hadoop. eBay назвал своё приложение «Kylin»: когда возможно, оно оптимизирует хранение информации за счёт существующих технологий (применяя компоненты из основной ветки экосистемы).
По умолчанию данные хранятся в Apache Hive, который выступает прослойкой для SQL-интерфейса, созданного поверх Hadoop. Когда Kylin сталкивается с повторами в строках и столбцах внутри подпроекта (например, один товар с разными ценами), он перекладывает данные в пару ключ-значение и заносит их в Apache Hive, который является компонентом, изначально задумывавшимся для нагрузок такого типа. Hive предоставляет случайный доступ к информации, чтобы избежать последовательного сканирования десятков и сотен миллиардов строк, когда работники ищут определённую бизнес-деталь.
Эта технология значительно сокращает затраты времени: eBay утверждает, что она позволяет обрабатывать определённые запросы быстрее секунды, и это делает аналитику по-настоящему интерактивной. Помимо высокой производительности, Kylin предоставляет дополнительные возможности вроде интеграции с популярными системами бизнес-аналитики (например, Tableau), популярными платформами виртуализации данных, сжатия и мониторинга.
Kylin может показаться не таким инновационным, как другие недавние проекты, связанные с Hadoop. Однако он закрывает серьёзную «боль» предприятий, что в итоге позволит увеличить количество внедрений экосистемы на предприятиях в целом. Сайт проекта — www.kylin.io.
Постоянная ссылка к новости: http://www.nixp.ru/news/12894.html. Никита Лялин по материалам Siliconangle.Com.
Открыт код Vespa — движка Yahoo! для обработки Big Data и выдачи результатов
Google открыла код фреймворка для обработки больших данных — MapReduce for C (MR4C) 2
Cisco открыла под свободной лицензией фреймворк OpenSOC для анализа сетевой безопасности 3 1
Continuuity перешёл в разряд полностью свободного ПО и получил новое имя — Cask 2
Concurrent открыла код Cascading — альтернативы MapReduce для Hadoop
Hadoop получит профессиональную поддержку от стартапа Cloudera
Последние комментарии
- OlegL, 17 декабря в 15:00 → Перекличка 21
- REDkiy, 8 июня 2023 года в 9:09 → Как «замокать» файл для юниттеста в Python? 2
- fhunter, 29 ноября 2022 года в 2:09 → Проблема с NO_PUBKEY: как получить GPG-ключ и добавить его в базу apt? 6
- Иванн, 9 апреля 2022 года в 8:31 → Ассоциация РАСПО провела первое учредительное собрание 1
- Kiri11.ADV1, 7 марта 2021 года в 12:01 → Логи catalina.out в TomCat 9 в формате JSON 1