Сегодня речь пойдет о редком (или, скорее, широко известном в узких кругах) инструменте анализа данных – Palantir. По слухам, при его помощи поймали самого Усаму бен Ладена.
О компании
Вокруг одноименной компании-разработчика с самого начала витает аура «шпионских страстей» — неудивительно, что в Palantir практически не тратятся на нужды маркетинга. У компании огромный опыт работы с государственным сектором США, включая правительство, полицейские департаменты, ФБР и даже ЦРУ.
При этом Palantir предлагает решения и для бизнес-сектора.
О продуктах
На рынке компания представляет два продукта:
Palantir Gotham (названный в честь вымышленного родного города супергероя Бэтмена) используется в правительственных целях.
Palantir Metropolis (названный в честь другого вымышленного города из комиксов DC) создан для корпоративного сектора.
Оба продукта стоят на одном «фундаменте» – одноименной платформе, которая, в свою очередь, представляет собой сложную систему модулей для импорта, разметки и анализа данных разной степени структурированности.
Решения
Palantir помогает частным и государственным организациям решать важные бизнес-задачи. В числе решений, которые предлагает компания:
- борьба с мошенничеством;
- кибербезопасность;
- страховая аналитика;
- управление бизнес-процессами;
- антикризисное управление;
- стратегическое планирование и т.д.
Возможности
В «сердце» платформы – сервер распределения Palantir Dispatch Server, который играет роль центра управления всей системой, решая одновременно front-end (бизнес-логика, вопросы доступа конечных пользователей) и back-end задачи.
К последним относится пользовательский доступ к БД – Palantir Revisioning Database, основанный на СУРБД Oracle 10g. Эта ключевая технология содержит в себе методы предоставления структурированных, слабоструктурированных или неструктурированных данных в зависимости от наборов правил или внесенных в набор данных изменений.
Технология позволяет:
- производить анализ одного и того же набора данных параллельно разными пользователями;
- отслеживать изменения во времени;
- просматривать историю изменения объекта;
- устанавливать ограничения доступа к определенным объектам и их представлениям.
Серверы
Кроме серверов размещения, которые могут находиться на распределенных кластерах, платформа предполагает существование еще четырех видов серверов:
- Сервер блокировки (Lock Server) нужен для обеспечения in-memory блокировок в базе данных.
- Сервер поиска (Search Server), представляющий собой модифицированную версию Lucene от Apache, решает задачи индексирования и полнотекстового поиска структурированных и неструктурированных данных.
- Сервер конфигурации (Configuration Server) работает с многосерверным окружением, обеспечивая корректный доступ к данным из любого места системы.
- Сервер работ (Job Server) занимается импортом «больших» (в терминах Palantir – больше 1Мб или 100 источников данных/постоянных операций вроде поиска) данных. Для импорта данных в «особо крупном размере» платформа использует модифицированную версию технологии Hadoop/MapReduce.
Конечному пользователю рабочее пространство Palantir представляется в виде веб-приложения, написанного на языке Java и объединяющего в один интерфейс возможности управления данными, создания кейсов, анализа и вывода отчетов (в формате HTML или сразу в виде презентации PowerPoint).
Ценовая политика
По некоторым данным, год использования продукта стоит от 400 тысяч до 1,5 миллионов долларов. Компания не спешит оглашать точные цифры: продукты Palantir – товар штучный, и каждая сделка обсуждается индивидуально. Такая политика, тем не менее, оправдана – платформе среди существующих аналогов действительно нет равных, как по функционалу, так и по кругу решаемых с ее помощью задач – от борьбы с международным терроризмом и мошенничеством и до кризисного менеджмента в крупных корпорациях.
Оценить front-end работу Palantir Gotham можно на демонстрационном сайте на примере реальных наборов данных, обнародованных правительством США – такая вот data-демократия.
Автор: Елизавета Филиппова