Система IBM PureData для Hadoop разрабатывалась с учетом такого подхода в плане аппаратного и программного обеспечения, подготовленного для облачной архитектуры. Все преимущества и особенности Hadoop объединяются с поддержкой и простым администрированием, которые может предложить PureData.

В данной статье описываются технологии IBM для создания федерированных баз данных, позволяющие интегрировать и использовать данные и специализированные вычислительные возможности из обширного спектра реляционных и нереляционных источников.

В настоящее время игровая индустрия претерпевает колоссальные изменения вследствие расширения традиционного игрового ландшафта и включения в него новых типов игр, платформ и игроков. Методы анализа больших объемов данных позволяют разработчикам игр и игровым брендам получать богатую и разнообразную поведенческую и мультиструктурную информацию об играх и игроках.

В статье приводятся десять рекомендаций для компании, которая берется за проект в сфере анализа "больших данных", даже если она решила просто попробовать. Упор делается на решение на основе облака, так как это позволяет избежать многих сложных технических проблем на начальной стадии.

Меняются потребители, меняется мир бизнеса. Сегодня уже недостаточно изучения только данных о продажах. Цель развертывания интегрированной платформы для бизнес-аналитики и анализа больших данных заключается в том, чтобы копать глубже и лучше понимать - почему, где, что и как - о клиентах, продуктах и компании. В этой статье обсуждается интеграция бизнес-аналитики и анализа больших данных.

В этой статье излагаются примеры применения прогностического анализа для совершенствования бизнес-операций в нескольких различных функциональных подразделениях компании оптовой дистрибьюции и описывается набор продуктов IBM, которые применяются на всем протяжении от начального исследования и применения первых приложений до анализа "больших данных"

В статье описывается порядок использования решения IBM® InfoSphere® Optim® Data Masking Solution вместе с продуктом IBM InfoSphere Federation Server для де-идентификации (de-identify) данных, размещенных на устройстве IBM Netezza Data Warehouse Appliance.

В борьбу со страшной болезнью включаются "умные" машины. Речь идёт о программном обеспечении, созданном совместно IBM и Бэйлоровском медицинском колледжем.

Моментальный анализ данных, который предлагает "Формула-1", дает преимущество не только в гонках, но и других отраслях, где используются большие данные. Ведь это чрезвычайно заманчивая перспектива - получать информацию на лету, выделять ключевые моменты и преобразовывать данные в дальнейшую стратегию действий.

Это статья о том, как использовать IBM® InfoSphere® Streams для моделирования. В качестве примера мы построим модель движения автотранспорта по автомобильным дорогам в соответствии с моделью Нагеля-Шрекенберга.

Storm ― это система обработки больших данных с открытым исходным кодом, которая отличается от других систем тем, что предназначена для распределенной обработки в режиме реального времени и не зависит от языка программирования. Познакомьтесь с системой Twitter Storm, ее архитектурой и спектром решений для пакетной и поточной обработки.

Познакомьтесь с различными методами и решениями для интеллектуального анализа данных и научитесь создавать такие решения с помощью существующего программного обеспечения и систем.

Огромные потоки информации подчиняются новым правилам. Что изменилось в "мультипетабайтном" мире? Как большие данные меняют нашу деятельность?

В заключительной части серии статей о Hadoop рассмотрены API-интерфейсы и потоки данных Hadoop. Кроме того, продемонстрировано их использование на примере небольших приложений map и reduce.

В этой статье мы будем настраивать Hadoop в более сложной конфигурации с несколькими узлами для параллельной обработки данных. В статье будут описаны различные типы узлов, необходимые для построения многоузловых кластеров, а также работа процедур MapReduce в параллельной среде. Также будут рассмотрены вопросы администрирования Hadoop - как с помощью интерфейса командной строки, так и с помощью Web-интерфейсов.

В этой статье рассматривается фреймворк Hadoop и его основные элементы - файловая система HDFS и типы узлов. Вы узнаете, как установить и настроить одноузловой кластер Hadoop, и познакомитесь с приложением на основе MapReduce. В заключение вы узнаете о способах мониторинга и управления фреймворком Hadoop с помощью его базовых Web-интерфейсов.

Apache Pig - это высокоуровневый процедурный язык, предназначенный для выполнения запросов к большим слабоструктурированным наборам данных с помощью платформ Hadoop и MapReduce. Pig упрощает использование Hadoop, позволяя выполнять SQL-подобные запросы к распределенным наборам данных. В этой статье описывается язык, лежащий в основе Pig, и приводится пример его использования для простого кластера Hadoop.

Журналы - это важнейший элемент любой компьютерной системы, обеспечивающий выполнение обширного перечня задач - от аудита до управления ошибками. В условиях роста объема журналов и количества источников информации для них (включая облачные среды) для эффективной обработки этих журналов необходима масштабируемая система. Это практическое занятие посвящено обработке журналов с помощью технологии Apache Hadoop в типичной Linux-системе.

Интеллектуальные приложения, которые обучаются на данных и информации, вводимой пользователем ― некогда прерогатива научно-исследовательских институтов и корпораций с крупными бюджетами НИОКР ― получают все более широкое распространение. Сегодня потребность в методах машинного обучения, таких как кластеризация, коллаборативная фильтрация и классификация, применяемых как для поиска общих интересов среди больших групп людей, так и для автоматического маркирования больших объемов Web-контента, велика как никогда. Проект Apache Mahout поставил перед собой цель упростить и ускорить создание интеллектуальных приложений. Сооснователь Mahout Грант Ингресолл знакомит читателей с основными понятиями машинного обучения и демонстрирует, как использовать Mahout для кластеризации документов, выдачи рекомендаций и организации контента.

Это заключительная часть цикла из четырех статей, посвященных наиболее важным аспектам прогностического анализа. В первой части дается общее представление о прогностическом анализе. Вторая часть посвящена методам прогностического моделирования: математическим алгоритмам, составляющим ядро прогностического анализа. В третьей части эти методы применяются для принятия и описания прогностического решения. Наконец, эта, заключительная часть посвящена практическому внедрению прогностического анализа, то есть процессу претворения прогностических решений в жизнь.

Это третья часть цикла из четырех статей, посвященных наиболее важным аспектам прогностического анализа. В первой части дается общее представление о прогностическом анализе. Вторая часть посвящена методам прогностического моделирования: математическим алгоритмам, составляющим ядро прогностического анализа. В этой, третьей статье говорится о том, как создавать прогностические решения с применением этих методов.

Эта вторая часть цикла из четырех статей посвящена наиболее важным аспектам прогностического анализа. В первой части дается общее представление о прогностическом анализе. Эта статья посвящена методам прогностического моделирования ― математическим алгоритмам, составляющим ядро прогностического анализа.

Эта первая статья начинается с обзора анализа в целом, а затем переходит к анализу на основе данных в противоположность применению бизнес-правил и экспертных знаний. Оба типа знаний могут повысить качество принимаемых решений. Эта статья поможет вам найти свои собственные приложения прогностического анализа, который применим к самым разным наборам данных в различных отраслях хозяйства и областях знаний.

Хотя наибольшей популярностью в сфере распределенного анализа данных пользуется Hadoop, существуют альтернативы, предлагающие некоторые важные преимущества по сравнению с типичной Hadoop-платформой. Познакомьтесь с подходом Spark к кластерным вычислениям и его особенностями по отношению к Hadoop.

Статья о том, как реализовать структуру Hadoop MapReduce в облачной среде и использовать виртуальное выравнивание нагрузки для повышения производительности системы, состоящей из одного или нескольких узлов.

Время от времени возникает потребность в большом количестве физических и виртуальных ресурсов для выполнения сложных ресурсоемких вычислений, но создание собственной grid-системы в организации может столкнуться с ресурсными, логистическими, техническими, а иногда даже и с политическими барьерами. Автор показывает, как облачные вычисления и MapReduce помогают решать проблемы обработки больших объемов данных.

В данной статье излагаются базовые сведения по применению инструмента BigSheets для анализа данных социальных медиа и структурированных данных, собранных с помощью типовых приложений, предоставляемых продуктом BigInsights. Вы узнаете, как моделировать эти данные в инструменте BigSheets, как обрабатывать эти данные с помощью встроенных макросов и функций, как создавать таблицы для визуализации результатов своей работы и как экспортировать результаты своего анализа в один из нескольких распространенных выходных форматов.

Публикуем стенограмму заседания экспертного семинара, посвященного теме "Big Data - новые горизонты". Семинар является постоянно действующей площадкой для обсуждения вопросов, представляющих интерес для инновационного сообщества. В третьей части представляем выступление Сергея Лихарева из компании IBM.

Публикуем стенограмму заседания экспертного семинара, посвященного теме "Big Data - новые горизонты". Семинар является постоянно действующей площадкой для обсуждения вопросов, представляющих интерес для инновационного сообщества. Во второй части представляем выступление Вячеслава Нестерова, руководителя центра разработок корпорации EMC в Санкт-Петербурге.

Публикуем стенограмму заседания экспертного семинара, посвященного теме "Big Data - новые горизонты". Семинар является постоянно действующей площадкой для обсуждения вопросов, представляющих интерес для инновационного сообщества. В первой части представляем выступление Леонида Жуков, который является профессором Высшей школы экономики и занимается вопросами больших данных.