В заключительной части серии статей о Hadoop рассмотрены API-интерфейсы и потоки данных Hadoop. Кроме того, продемонстрировано их использование на примере небольших приложений map и reduce.

В этой статье мы будем настраивать Hadoop в более сложной конфигурации с несколькими узлами для параллельной обработки данных. В статье будут описаны различные типы узлов, необходимые для построения многоузловых кластеров, а также работа процедур MapReduce в параллельной среде. Также будут рассмотрены вопросы администрирования Hadoop - как с помощью интерфейса командной строки, так и с помощью Web-интерфейсов.

В этой статье рассматривается фреймворк Hadoop и его основные элементы - файловая система HDFS и типы узлов. Вы узнаете, как установить и настроить одноузловой кластер Hadoop, и познакомитесь с приложением на основе MapReduce. В заключение вы узнаете о способах мониторинга и управления фреймворком Hadoop с помощью его базовых Web-интерфейсов.

Apache Pig - это высокоуровневый процедурный язык, предназначенный для выполнения запросов к большим слабоструктурированным наборам данных с помощью платформ Hadoop и MapReduce. Pig упрощает использование Hadoop, позволяя выполнять SQL-подобные запросы к распределенным наборам данных. В этой статье описывается язык, лежащий в основе Pig, и приводится пример его использования для простого кластера Hadoop.

Журналы - это важнейший элемент любой компьютерной системы, обеспечивающий выполнение обширного перечня задач - от аудита до управления ошибками. В условиях роста объема журналов и количества источников информации для них (включая облачные среды) для эффективной обработки этих журналов необходима масштабируемая система. Это практическое занятие посвящено обработке журналов с помощью технологии Apache Hadoop в типичной Linux-системе.

Интеллектуальные приложения, которые обучаются на данных и информации, вводимой пользователем ― некогда прерогатива научно-исследовательских институтов и корпораций с крупными бюджетами НИОКР ― получают все более широкое распространение. Сегодня потребность в методах машинного обучения, таких как кластеризация, коллаборативная фильтрация и классификация, применяемых как для поиска общих интересов среди больших групп людей, так и для автоматического маркирования больших объемов Web-контента, велика как никогда. Проект Apache Mahout поставил перед собой цель упростить и ускорить создание интеллектуальных приложений. Сооснователь Mahout Грант Ингресолл знакомит читателей с основными понятиями машинного обучения и демонстрирует, как использовать Mahout для кластеризации документов, выдачи рекомендаций и организации контента.

Это заключительная часть цикла из четырех статей, посвященных наиболее важным аспектам прогностического анализа. В первой части дается общее представление о прогностическом анализе. Вторая часть посвящена методам прогностического моделирования: математическим алгоритмам, составляющим ядро прогностического анализа. В третьей части эти методы применяются для принятия и описания прогностического решения. Наконец, эта, заключительная часть посвящена практическому внедрению прогностического анализа, то есть процессу претворения прогностических решений в жизнь.

Это третья часть цикла из четырех статей, посвященных наиболее важным аспектам прогностического анализа. В первой части дается общее представление о прогностическом анализе. Вторая часть посвящена методам прогностического моделирования: математическим алгоритмам, составляющим ядро прогностического анализа. В этой, третьей статье говорится о том, как создавать прогностические решения с применением этих методов.

Эта вторая часть цикла из четырех статей посвящена наиболее важным аспектам прогностического анализа. В первой части дается общее представление о прогностическом анализе. Эта статья посвящена методам прогностического моделирования ― математическим алгоритмам, составляющим ядро прогностического анализа.

Эта первая статья начинается с обзора анализа в целом, а затем переходит к анализу на основе данных в противоположность применению бизнес-правил и экспертных знаний. Оба типа знаний могут повысить качество принимаемых решений. Эта статья поможет вам найти свои собственные приложения прогностического анализа, который применим к самым разным наборам данных в различных отраслях хозяйства и областях знаний.

Вслед за бизнесом и повседневной жизнью граждан перетекает в виртуальную сферу и мошенничество, видоизменяясь и все больше используя в своей практике современные информационные технологии, так что актуальность борьбы с ним, причем на базе самых передовых достижений ИТ, уже не вызывает сомнений у специалистов.

Значимый "апдейт" Hadoop File System и MapReduce.

Хотя наибольшей популярностью в сфере распределенного анализа данных пользуется Hadoop, существуют альтернативы, предлагающие некоторые важные преимущества по сравнению с типичной Hadoop-платформой. Познакомьтесь с подходом Spark к кластерным вычислениям и его особенностями по отношению к Hadoop.

Oracle Database 12c доступна в нескольких редакциях. Далее приведена сравнительная таблица этих редакций.

Статья о том, как реализовать структуру Hadoop MapReduce в облачной среде и использовать виртуальное выравнивание нагрузки для повышения производительности системы, состоящей из одного или нескольких узлов.

Время от времени возникает потребность в большом количестве физических и виртуальных ресурсов для выполнения сложных ресурсоемких вычислений, но создание собственной grid-системы в организации может столкнуться с ресурсными, логистическими, техническими, а иногда даже и с политическими барьерами. Автор показывает, как облачные вычисления и MapReduce помогают решать проблемы обработки больших объемов данных.

Статья описывает базовые механизмы и возможности использования XML в MS SQL Server и ADO...

В данной статье излагаются базовые сведения по применению инструмента BigSheets для анализа данных социальных медиа и структурированных данных, собранных с помощью типовых приложений, предоставляемых продуктом BigInsights. Вы узнаете, как моделировать эти данные в инструменте BigSheets, как обрабатывать эти данные с помощью встроенных макросов и функций, как создавать таблицы для визуализации результатов своей работы и как экспортировать результаты своего анализа в один из нескольких распространенных выходных форматов.

Массовое развертывание виртуальных машин - очень обременительная и утомительная работа. Развертывание виртуальной машины в центре данных состоит из ряда задач, таких как установка операционной системы, подготовка машины для системы (sysprep), добавление системы в домен и предоставление пользователям соответствующего доступа. Одной из главных проблем является планирование развертывания. Авторы предлагают алгоритм простого и эффективного решения этой проблемы.

Экономия и возможность сосредоточиться на основных компетенциях - основной мотив перехода к облакам. Но очевидно, что принимая такое решение, необходимо взвесить все риски. Готовы ли мы отдать "чужому дяде" свои данные и приложения? Не ответив положительно на этот вопрос, переходить к остальным глупо.

SQL Server, еще с 2000 года, имеет набор стандартных средств для работы с XML. В частности, в базе данных можно хранить данные типа XML, создавать их налету и читать...

RSS уже давно является неотъемлемой частью современного интернета, и, пожалуй, плох тот сайт, который не имеет своей ленты новостей в этом формате. Как известно, RSS по своей сути является обычным XML, со строго определенной структурой и стандартами...

Каждый раз, когда сеансу SQL Server приходится ждать какое-то время, прежде чем продолжить запланированную работу, SQL Server регистрирует длительность этого времени. Он также регистрирует ресурс, освобождение которого пришлось ожидать...

В этой статье разберем подробно (в картинках) процесс установки Microsoft SQL Server 2008 R2, а также установку дополнительного ПО для SQL Server...

Публикуем стенограмму заседания экспертного семинара, посвященного теме "Big Data - новые горизонты". Семинар является постоянно действующей площадкой для обсуждения вопросов, представляющих интерес для инновационного сообщества. В третьей части представляем выступление Сергея Лихарева из компании IBM.

За последний месяц (всего месяц!) количество инициатив, связанных со всевозможными формами учета недосчитанных жителей страны, просто зашкаливает. Причем на каждую отдельную базу есть разумное и убедительное обоснование.

Публикуем стенограмму заседания экспертного семинара, посвященного теме "Big Data - новые горизонты". Семинар является постоянно действующей площадкой для обсуждения вопросов, представляющих интерес для инновационного сообщества. Во второй части представляем выступление Вячеслава Нестерова, руководителя центра разработок корпорации EMC в Санкт-Петербурге.

Публикуем стенограмму заседания экспертного семинара, посвященного теме "Big Data - новые горизонты". Семинар является постоянно действующей площадкой для обсуждения вопросов, представляющих интерес для инновационного сообщества. В первой части представляем выступление Леонида Жуков, который является профессором Высшей школы экономики и занимается вопросами больших данных.

Не найдя статьи, объединяющей в удобном для чтения виде информацию о методах доступа к данным, используемых СУБД Oracle, я решил совершить "пробу пера" и написать эту статью.

Зачастую для тех или иных нужд возникает необходимость выполнить команду OS из pl/sql или даже sql внутри Oracle Database...