Storm ― это система обработки больших данных с открытым исходным кодом, которая отличается от других систем тем, что предназначена для распределенной обработки в режиме реального времени и не зависит от языка программирования. Познакомьтесь с системой Twitter Storm, ее архитектурой и спектром решений для пакетной и поточной обработки.

Вещь, о которой я расскажу, ни в коем случае не используйте в рабочем окружении. Чтобы солнышко, как в анекдоте про программиста, всякий раз восходило на востоке, а садилось на западе, лучше вообще от греха подальше пропустить этот материал...

Проблема постраничной выборки информации из БД стара, как сама БД, и соответственно, обсуждена не одну тысячу раз. Нет, пожалуй, ни одной клиент-серверной системы, в которой эта проблема так или иначе не была бы адресована и решена...

После смены рабочей станции начал ставить на нее Micorosft SQL Server 2008 R2 и чуть было не натолкнулся на традиционные грабли, связанные с улучшенной безопасностью в этой версии. Если в Microsoft SQL Server 2005 группа локальных администраторов по умолчанию включалась в роль sysadmin на SQL сервере, то в 2008-й в эту роль не включается никто...

Мы работаем над DWH в телекоммуникациях, поэтому пример, который я рассматриваю, называется "Абонент". Принцип универсален и это мог быть "Клиент" или "Пациент" - в зависимости от отрасли. Я надеюсь методику найдут полезной разработчики DWH из разных отраслей...

Познакомьтесь с различными методами и решениями для интеллектуального анализа данных и научитесь создавать такие решения с помощью существующего программного обеспечения и систем.

Огромные потоки информации подчиняются новым правилам. Что изменилось в "мультипетабайтном" мире? Как большие данные меняют нашу деятельность?

Иногда в процессе работы бывают нужны данные из веб-сервисов, тем более SOAP соединения сегодня практически стандарт...

Сегодня все большую популярность завоевывают In-Memory BI решения. Кубы уже не в моде, их структура морально устарела, и хотя они довольно прилично масштабируются, требования к скорости работы современных BI систем значительно возросли...

Гибридное Облако является достаточно привлекательной моделью при внедрении облачных вычислений в информационные системы предприятий, поскольку этот подход сочетает преимущества публичного и частного облака...

Облако выполняет роль хаба. До сих пор это могло делаться только из скрипта T-SQL. В версии 2014 СТР в этот процесс добавились две новые возможности...

В заключительной части серии статей о Hadoop рассмотрены API-интерфейсы и потоки данных Hadoop. Кроме того, продемонстрировано их использование на примере небольших приложений map и reduce.

В этой статье мы будем настраивать Hadoop в более сложной конфигурации с несколькими узлами для параллельной обработки данных. В статье будут описаны различные типы узлов, необходимые для построения многоузловых кластеров, а также работа процедур MapReduce в параллельной среде. Также будут рассмотрены вопросы администрирования Hadoop - как с помощью интерфейса командной строки, так и с помощью Web-интерфейсов.

В этой статье рассматривается фреймворк Hadoop и его основные элементы - файловая система HDFS и типы узлов. Вы узнаете, как установить и настроить одноузловой кластер Hadoop, и познакомитесь с приложением на основе MapReduce. В заключение вы узнаете о способах мониторинга и управления фреймворком Hadoop с помощью его базовых Web-интерфейсов.

Apache Pig - это высокоуровневый процедурный язык, предназначенный для выполнения запросов к большим слабоструктурированным наборам данных с помощью платформ Hadoop и MapReduce. Pig упрощает использование Hadoop, позволяя выполнять SQL-подобные запросы к распределенным наборам данных. В этой статье описывается язык, лежащий в основе Pig, и приводится пример его использования для простого кластера Hadoop.

Журналы - это важнейший элемент любой компьютерной системы, обеспечивающий выполнение обширного перечня задач - от аудита до управления ошибками. В условиях роста объема журналов и количества источников информации для них (включая облачные среды) для эффективной обработки этих журналов необходима масштабируемая система. Это практическое занятие посвящено обработке журналов с помощью технологии Apache Hadoop в типичной Linux-системе.

Интеллектуальные приложения, которые обучаются на данных и информации, вводимой пользователем ― некогда прерогатива научно-исследовательских институтов и корпораций с крупными бюджетами НИОКР ― получают все более широкое распространение. Сегодня потребность в методах машинного обучения, таких как кластеризация, коллаборативная фильтрация и классификация, применяемых как для поиска общих интересов среди больших групп людей, так и для автоматического маркирования больших объемов Web-контента, велика как никогда. Проект Apache Mahout поставил перед собой цель упростить и ускорить создание интеллектуальных приложений. Сооснователь Mahout Грант Ингресолл знакомит читателей с основными понятиями машинного обучения и демонстрирует, как использовать Mahout для кластеризации документов, выдачи рекомендаций и организации контента.

Это заключительная часть цикла из четырех статей, посвященных наиболее важным аспектам прогностического анализа. В первой части дается общее представление о прогностическом анализе. Вторая часть посвящена методам прогностического моделирования: математическим алгоритмам, составляющим ядро прогностического анализа. В третьей части эти методы применяются для принятия и описания прогностического решения. Наконец, эта, заключительная часть посвящена практическому внедрению прогностического анализа, то есть процессу претворения прогностических решений в жизнь.

Это третья часть цикла из четырех статей, посвященных наиболее важным аспектам прогностического анализа. В первой части дается общее представление о прогностическом анализе. Вторая часть посвящена методам прогностического моделирования: математическим алгоритмам, составляющим ядро прогностического анализа. В этой, третьей статье говорится о том, как создавать прогностические решения с применением этих методов.

Эта вторая часть цикла из четырех статей посвящена наиболее важным аспектам прогностического анализа. В первой части дается общее представление о прогностическом анализе. Эта статья посвящена методам прогностического моделирования ― математическим алгоритмам, составляющим ядро прогностического анализа.

Эта первая статья начинается с обзора анализа в целом, а затем переходит к анализу на основе данных в противоположность применению бизнес-правил и экспертных знаний. Оба типа знаний могут повысить качество принимаемых решений. Эта статья поможет вам найти свои собственные приложения прогностического анализа, который применим к самым разным наборам данных в различных отраслях хозяйства и областях знаний.

Значимый "апдейт" Hadoop File System и MapReduce.

Хотя наибольшей популярностью в сфере распределенного анализа данных пользуется Hadoop, существуют альтернативы, предлагающие некоторые важные преимущества по сравнению с типичной Hadoop-платформой. Познакомьтесь с подходом Spark к кластерным вычислениям и его особенностями по отношению к Hadoop.

Oracle Database 12c доступна в нескольких редакциях. Далее приведена сравнительная таблица этих редакций.

Статья о том, как реализовать структуру Hadoop MapReduce в облачной среде и использовать виртуальное выравнивание нагрузки для повышения производительности системы, состоящей из одного или нескольких узлов.

Время от времени возникает потребность в большом количестве физических и виртуальных ресурсов для выполнения сложных ресурсоемких вычислений, но создание собственной grid-системы в организации может столкнуться с ресурсными, логистическими, техническими, а иногда даже и с политическими барьерами. Автор показывает, как облачные вычисления и MapReduce помогают решать проблемы обработки больших объемов данных.

Статья описывает базовые механизмы и возможности использования XML в MS SQL Server и ADO...

В данной статье излагаются базовые сведения по применению инструмента BigSheets для анализа данных социальных медиа и структурированных данных, собранных с помощью типовых приложений, предоставляемых продуктом BigInsights. Вы узнаете, как моделировать эти данные в инструменте BigSheets, как обрабатывать эти данные с помощью встроенных макросов и функций, как создавать таблицы для визуализации результатов своей работы и как экспортировать результаты своего анализа в один из нескольких распространенных выходных форматов.

Массовое развертывание виртуальных машин - очень обременительная и утомительная работа. Развертывание виртуальной машины в центре данных состоит из ряда задач, таких как установка операционной системы, подготовка машины для системы (sysprep), добавление системы в домен и предоставление пользователям соответствующего доступа. Одной из главных проблем является планирование развертывания. Авторы предлагают алгоритм простого и эффективного решения этой проблемы.

Экономия и возможность сосредоточиться на основных компетенциях - основной мотив перехода к облакам. Но очевидно, что принимая такое решение, необходимо взвесить все риски. Готовы ли мы отдать "чужому дяде" свои данные и приложения? Не ответив положительно на этот вопрос, переходить к остальным глупо.