+7 (495) 229-0436 | shopadmin@itshop.ru | 119334, г. Москва, ул. Бардина, д. 4, корп. 3 |
|
|
Сбор и анализ данных из социальных сетей абсолютно без написания кода15.10.2015 13:20
Вы задумываетесь о том, сколько полезной информации можно было бы извлечь путем анализа данных, поступающих из социальных сетей, но не предпринимаете никаких действий лишь потому, что не располагаете достаточным временем или ресурсами для того, чтобы создать необходимое приложение? В настоящем руководстве показано, насколько легко работать с редактором потоков операций Node-RED в IBM Bluemix™ для получения ленты сообщений, содержащей данные из социальной сети (лента Twitter), и последующего создания файла Распределенной файловой системы Hadoop (Hadoop Distributed File System, HDFS) на основе этих данных. Кроме того, мы продемонстрируем вам способы анализа данных и построения итоговых диаграмм с помощью службы IBM Analytics for Hadoop. Вы будете удивлены тому, насколько это просто - превратить набор неизвестных данных в полезную информацию для дальнейшей работы.
Что потребуется для создания приложенияШаг 1: Настройка служб BluemixДля реализации потока операций по извлечению, преобразованию и загрузке (ETL) необходимы функции Bluemix Node-RED. Для того чтобы разработать поток операций, вначале необходимо создать приложение Node-RED и добавить в него службу IBM Analytics for Hadoop.
Шаг 2. Создание потока операций ETL в Node-REDДалее с помощью редактора потоков операций Node-RED необходимо создать поток ETL. Этот поток получает "твиты" из социальной сети Twitter и в динамичном режиме создает файл Распределенной файловой системы Hadoop (Hadoop Distributed File System, HDFS). Этот файл потребуется вам на следующем этапе - для анализа "твитов". Весь поток операций в редакторе потоков Node-RED выглядит следующим образом:
Теперь ваша служба запущена. Выполняется сбор данных из Twitter и запись их в файл. Этот файл располагается в HDFS службы Hadoop (BigInsights) и может увеличиваться в размерах до 20 ГБ (ограничение объема памяти в HDFS для бесплатной службы BigInsights). Поскольку HDFS поддерживает линейное масштабирование, размер данного файла ограничен лишь вашими финансовыми возможностями. Для того чтобы получить дополнительное пространство для хранения данных, можно выбрать соответствующий план. Самая большая из известных HDFS, размером 455 петабайт, принадлежит компании Yahoo, так что вы можете себе представить реальные масштабы Hadoop. Усовершенствованные кластеры Hadoop в Bluemix работают на основе физического аппаратного обеспечения в SoftLayer. Минимальный объем памяти - 18 ТБ, но при необходимости его можно увеличить до нескольких петабайт. Шаг 3. Использование IBM Analytics for Hadoop для анализа "твитов"Завершив создание потока операций ETL и настройку сбора данных, вы можете приступить к анализу данных с помощью консоли IBM Analytics for Hadoop в Bluemix.
Ниже приводится пример диаграммы, полученной в результате запуска приложения; ваша диаграмма будет отличаться, так как ваш поток данных из Twitter будет принадлежать к другому промежутку времени, к тому же социальные тенденции отличаются высокой динамичностью, отчего качественная аналитика приобретает еще более важное значение. При проведении анализа в различных временных промежутках можно получить совершенно разные результаты.
Например, на следующем рисунке изображена диаграмма, полученная после проведения конференции IBM Interconnect в Лас-Вегасе:
Теперь можно закрыть и приложение IBM InfoSphere BigInsights, и IBM Bluemix. ЗаключениеВ настоящем руководстве показано, как быстро создать поток операций ETL с помощью Node-RED и проанализировать полученные данные путем использования IBM Analytics for Hadoop. Во всем проекте используются службы IBM Bluemix, поэтому нет абсолютно никакой необходимости в написании кода. Вы можете создавать другие потоки операций с помощью Node-RED и анализировать любые собранные данные, используя функциональные возможности аналитики Hadoop. |
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
О нас |
Интернет-магазин ITShop.ru предлагает широкий спектр услуг информационных технологий и ПО.
На протяжении многих лет интернет-магазин предлагает товары и услуги, ориентированные на бизнес-пользователей и специалистов по информационным технологиям. Хорошие отзывы постоянных клиентов и высокий уровень специалистов позволяет получить наивысший результат при совместной работе. В нашем магазине вы можете приобрести лицензионное ПО выбрав необходимое из широкого спектра и ассортимента по самым доступным ценам. Наши менеджеры любезно помогут определиться с выбором ПО, которое необходимо именно вам. Также мы проводим учебные курсы. Мы приглашаем к сотрудничеству учебные центры, организаторов семинаров и бизнес-тренингов, преподавателей. Сфера сотрудничества - продвижение бизнес-тренингов и курсов обучения по информационным технологиям.
|
119334, г. Москва, ул. Бардина, д. 4, корп. 3 +7 (495) 229-0436 shopadmin@itshop.ru |
|
© ООО "Interface Ltd." Продаем программное обеспечение с 1990 года |