Открыт код Vespa — движка Yahoo! для обработки Big Data и выдачи результатов
Иллюстрация с сайта Vespa blog
В минувший вторник американская компания Oath Inc., являющаяся подразделением Verizon Communications и владеющая AOL и Yahoo!, объявила об открытии исходного кода проекта Vespa.
Vespa — это движок для обработки и отдачи больших данных (Big Data), используемый в поисковой системе Yahoo!. Как поясняют авторы, «хотя разработчики могут использовать стек Hadoop для хранения и обработки Big Data, а Storm — для поточной обработки данных, эти технологии не помогают с предоставлением результатов конечным пользователям [..], а в больших масштабах эта задача становится трудной, особенно когда необходимо быстро производить вычисления над данными, которых ожидает пользователь, как в случае приложений, предлагающих поиск, рекомендации, персонализацию». Именно эту задачу и призван решать движок Vespa.
В анонсе проекта сообщается, что Vespa поможет в создании приложений, которые отбирают элементы с помощью текстового поиска и SQL-подобных запросов, выдают результаты для страниц, создаваемых по модели data-driven, ранжируют результаты по различным моделям релевантности (написанным вручную или на базе машинного обучения), выдают результаты со скоростью ответа в миллисекундах, пишут данные в реальном времени (тысячи раз в секунду на каждом узле), изменяют размеры кластеров во время отдачи результатов и записи данных.
Основной исходный код движка Vespa написан на языке C++, а его модули — на Java. Проект опубликовал на GitHub под свободной лицензией Apache License 2.0. Предусмотрена возможность запуска Vespa в облаке, для чего у проекта предусмотрены образы Docker-контейнеров.
Постоянная ссылка к новости: http://www.nixp.ru/news/14177.html. Дмитрий Шурупов по материалам Vespa blog.
Банк Deutsche Bank открывает исходный код Plexus Interop из электронной платформы Autobahn 1
Red Hat представила Open Source-проект для Ansible Tower — AWX 2
Открыт исходный код компонентов альтернативной Android-прошивки Paranoid Android от AOSPA 1
Heroic Labs выпустила Open Source-сервер Nakama 1.0 как готовую платформу для игр в реальном времени
Петиция на GitHub призывает Adobe открыть исходный код технологии Flash
Pivotal открывает код своего ПО для анализа больших данных: GemFire, HAWQ и GreenplumDB 2 1
Последние комментарии
- OlegL, 17 декабря в 15:00 → Перекличка 21
- REDkiy, 8 июня 2023 года в 9:09 → Как «замокать» файл для юниттеста в Python? 2
- fhunter, 29 ноября 2022 года в 2:09 → Проблема с NO_PUBKEY: как получить GPG-ключ и добавить его в базу apt? 6
- Иванн, 9 апреля 2022 года в 8:31 → Ассоциация РАСПО провела первое учредительное собрание 1
- Kiri11.ADV1, 7 марта 2021 года в 12:01 → Логи catalina.out в TomCat 9 в формате JSON 1