Анализ данных при помощи Palantir или Как поймать бен Ладана

Сегодня речь пойдет о редком (или, скорее, широко известном  в узких кругах) инструменте анализа данных – Palantir. По слухам, при его помощи поймали самого Усаму бен Ладена.

О компании

Вокруг одноименной компании-разработчика с самого начала витает аура «шпионских страстей» — неудивительно, что в Palantir практически не тратятся на нужды маркетинга. У компании огромный опыт работы с государственным сектором США, включая правительство, полицейские департаменты, ФБР и даже ЦРУ.

При этом Palantir предлагает решения и для бизнес-сектора.

О продуктах

На рынке компания представляет два продукта:

Palantir Gotham (названный в честь вымышленного родного города супергероя Бэтмена) используется в правительственных целях.

Palantir Metropolis (названный в честь другого вымышленного города из комиксов DC) создан для корпоративного сектора.

Оба продукта стоят на одном «фундаменте» – одноименной платформе, которая, в свою очередь, представляет собой сложную систему модулей для импорта, разметки и анализа данных разной степени структурированности.

Решения

Palantir помогает частным и государственным организациям решать важные бизнес-задачи. В числе решений, которые предлагает компания:

  • борьба с мошенничеством;
  • кибербезопасность;
  • страховая аналитика;
  • управление бизнес-процессами;
  • антикризисное управление;
  • стратегическое планирование и т.д.

Возможности

В «сердце» платформы – сервер распределения Palantir Dispatch Server, который играет роль центра управления всей системой, решая одновременно front-end (бизнес-логика, вопросы доступа конечных пользователей) и back-end задачи.

К последним относится пользовательский доступ к БД – Palantir Revisioning Database, основанный на СУРБД Oracle 10g. Эта ключевая технология содержит в себе методы предоставления структурированных, слабоструктурированных или неструктурированных данных в зависимости от наборов правил или внесенных в набор данных изменений.

Palantir

Технология позволяет:

  • производить анализ одного и того же набора данных параллельно разными пользователями;
  • отслеживать изменения во времени;
  • просматривать историю изменения объекта;
  • устанавливать ограничения доступа к определенным объектам и их представлениям.

Серверы

Кроме серверов размещения, которые могут находиться на распределенных кластерах, платформа предполагает существование еще четырех видов серверов:

  1. Сервер блокировки (Lock Server) нужен для обеспечения in-memory блокировок в базе данных.
  2. Сервер поиска (Search Server), представляющий собой модифицированную версию Lucene от Apache, решает задачи индексирования и полнотекстового поиска структурированных и неструктурированных данных.
  3. Сервер конфигурации (Configuration Server) работает с многосерверным окружением, обеспечивая корректный доступ к данным из любого места системы.
  4. Сервер работ (Job Server) занимается импортом «больших» (в терминах Palantir – больше 1Мб или 100 источников данных/постоянных операций вроде поиска) данных. Для импорта данных в «особо крупном размере» платформа использует модифицированную версию технологии Hadoop/MapReduce.

Конечному пользователю рабочее пространство Palantir представляется в виде веб-приложения, написанного на языке Java и объединяющего в один интерфейс возможности управления данными, создания кейсов, анализа и вывода отчетов (в формате HTML или сразу в виде презентации PowerPoint).

Ценовая политика

По некоторым данным, год использования продукта стоит от 400 тысяч до 1,5 миллионов долларов. Компания не спешит оглашать точные цифры: продукты Palantir – товар штучный, и каждая сделка обсуждается индивидуально. Такая политика, тем не менее, оправдана – платформе среди существующих аналогов действительно нет равных, как по функционалу, так и по кругу решаемых с ее помощью задач – от борьбы с международным терроризмом и мошенничеством и до кризисного менеджмента в крупных корпорациях.

Оценить front-end работу Palantir Gotham можно  на демонстрационном сайте на примере реальных наборов данных, обнародованных правительством США – такая вот data-демократия.

Автор: Елизавета Филиппова

1 комментарий

  1. Это мыльный пузырь очередной. Есть система mandetect — она относительно бесплатная, позволяет подключать наиболее ходовые поставщики данных, адресные книги, соцсети, списки друзей — и выстраивать связи, строить модели, заносить фирмы, сделки, должности, вещи, оборудование и все это связывать да и интерфейс не такой убогий как у палантира, основан на D3 — все это веб ориентировано и летает. Чушь этот палантир, очередной миф США как звезные войны. Хаос порождает еще больший хаос посредством этого палантира. Что касается mandetect — там можно задавать узлы графов во встроенной логикой и они начинают обходить все узлы формируя структуру.

Добавить комментарий

Ваш e-mail не будет опубликован.

закрыть

Поделиться

Отправить на почту
закрыть

Вход

закрыть

Регистрация

+ =