+7 (495) 229-0436   shopadmin@itshop.ru 119334, г. Москва, ул. Бардина, д. 4, корп. 3
 
 
Вход
 
 
Каталог
 
 
Подписка на новости
Новости ITShop
Windows 7 и Office: Новости и советы
Обучение и сертификация Microsoft
Вопросы и ответы по MSSQLServer
Delphi - проблемы и решения
Adobe Photoshop: алхимия дизайна
 
Ваш отзыв
Оцените качество магазина ITShop.ru на Яндекс.Маркете. Если вам нравится наш магазин - скажите об этом Google!
 
 
Способы оплаты
 
Курс расчета
 
 1 у.е. = 63.72 руб.
 
 Цены показывать:
 
 
 
 
  
Новости, статьи, акции
 

Метаданные - ключ к управлению большими данными

03.12.2018 16:38

В эпоху больших данных необходим новых подход к управлению данными, пишут на портале InformationWeek сотрудники eBay Аруп Малиаккал Падманабхан (старший менеджер команды инжиниринга платформы) и Тиффани Нгуен (старший программный инженер). Данные поступают из множества источников и должны распределяться по предприятию в различных форматах.

Объем, разнообразие и быстрота поступления данных продолжают расти ошеломительными темпами, что ставит перед компаниями две неотложные проблемы: как выделить из этих данных знания, которые послужат основой действий, и как защитить данные. Решение обеих проблем напрямую связано с управлением данными.

Необходимый уровень управления может обеспечить экосистема Hadoop с помощью метаданных. В идеале - на единой платформе данных.

Новый подход к управлению необходим по ряду причин. В эпоху больших данных они распределяются по предприятию. Данные могут быть структурированными, неструктурированными, полуструктурированными и т. д. Источники данных недоступны тем командам, которые должны управлять данными.

В таких условиях управление данными преследует три важные цели:

  • поддержание качества данных;
  • реализация контроля доступа и других мер для обеспечения безопасности данных;
  • выделение метаданных из наборов данных, чтобы содействовать их защите и потреблению конечными пользователям.

Решения в экосистеме Hadoop

Одним из способов управления данными в среде Hadoop является расстановка тегов. При таком подходе метаданные, которые будут управлять использованием данных, встраиваются в сами данные при прохождении ими различных систем предприятия. Более того, метаданные расширяются и включают дополнительную информацию помимо таких обычных атрибутов, как размер файла, разрешения, даты модификации и т. д. Например, они могут включать сведения о бизнесе, что поможет специалисту по данным оценить полезность данных в конкретной предсказательной модели.

Наконец, в отличие от самих корпоративных данных метаданные могут быть централизованы на единой платформе.

Стандартная файловая система Hadoop Distributed File System (HDFS) способна присваивать расширенные атрибуты, что позволяет обогатить метаданные. Но для больших данных это не всегда подходит. К счастью, имеются альтернативные решения. Система управления метаданными Apache Atlas позволяет присваивать данным теги, а также может служить централизованным хранилищем метаданных. Такое хранилище станет "единым окном" для аналитиков, которые ищут релевантные наборы данных. Кроме того, пользователи популярных систем извлечения данных Hive и Spark SQL, которые являются дружественными для Hadoop, могут самостоятельно расставлять теги.

В целях безопасности Atlas может быть интегрирован с Apache Ranger - системой, обеспечивающей доступ к платформам Hadoop на основе ролей.

Проблемы загрузки метаданных

Как первоначальная загрузка метаданных на платформу Atlas, так и поэтапная загрузка в последующем сопряжены со значительными трудностями. На крупных предприятиях на начальном этапе основную проблему будет представлять объем данных. Для повышения эффективности загрузки может потребоваться оптимизация программного кода.

Последующая поэтапная загрузка представляет более сложную проблему, поскольку таблицы, индексы и авторизованные пользователи непрерывно меняются. Если эти изменения не будут быстро отражаться в доступных метаданных, конечным результатом станет снижение качества данных, доступных конечным пользователям. Чтобы избежать такой проблемы, в число строительных блоков системы следует добавить прослушивателей событий, которые будут фиксировать и обрабатывать изменения практически в реальном времени. Решение реального времени означает не просто улучшение качества данных. Оно также повышает производительность труда разработчиков, которым больше не придется ждать пакетной обработки.

Фундамент цифровой трансформации

Компании осуществляют цифровую трансформацию и пытаются стать в большей степени управляемыми данными. В данной связи высшему руководству следует помнить, что на этом пути нельзя достичь результатов без качества данных и что это требует сильного управления. Если затрагиваются большие данные, то управление на базе расширенных метаданных, хранящихся в центральном репозитории, является работоспособным решением.

  
Помощь
Задать вопрос
 программы
 обучение
 экзамены
 компьютеры
Бесплатный звонок
ICQ-консультанты
Skype-консультанты

Общая справка
Как оформить заказ
Тарифы доставки
Способы оплаты
Прайс-лист
Карта сайта
 
Популярные статьи
Разработка ПО Информационная безопасность Антивирусное ПО и защита от спама Интернет Управление ИТ-инфраструктурой Управление бизнесом Кризис Estel Technologies Eset Software IoT (интернет вещей)
 
Бестселлеры
Курсы обучения "Atlassian JIRA - система управления проектами и задачами на предприятии"
Microsoft Office 365 для Дома 32-bit/x64. 5 ПК/Mac + 5 Планшетов + 5 Телефонов. Подписка на 1 год. Электронный ключ
Microsoft Windows 10 Профессиональная 32-bit/64-bit. Все языки. Электронный ключ
Microsoft Office для Дома и Учебы 2019. Все языки. Электронный ключ
Курс "Oracle. Программирование на SQL и PL/SQL"
Курс "Основы TOGAF® 9"
Microsoft Windows Professional 10 Sngl OLP 1 License No Level Legalization GetGenuine wCOA (FQC-09481)
Microsoft Office 365 Персональный 32-bit/x64. 1 ПК/MAC + 1 Планшет + 1 Телефон. Все языки. Подписка на 1 год. Электронный ключ
Windows Server 2016 Standard
Курс "Нотация BPMN 2.0. Ее использование для моделирования бизнес-процессов и их регламентации"
Антивирус ESET NOD32 Antivirus Business Edition
Corel CorelDRAW Home & Student Suite X8
 

О нас
Интернет-магазин ITShop.ru предлагает широкий спектр услуг информационных технологий и ПО.

На протяжении многих лет интернет-магазин предлагает товары и услуги, ориентированные на бизнес-пользователей и специалистов по информационным технологиям.

Хорошие отзывы постоянных клиентов и высокий уровень специалистов позволяет получить наивысший результат при совместной работе.

В нашем магазине вы можете приобрести лицензионное ПО выбрав необходимое из широкого спектра и ассортимента по самым доступным ценам. Наши менеджеры любезно помогут определиться с выбором ПО, которое необходимо именно вам. Также мы проводим учебные курсы. Мы приглашаем к сотрудничеству учебные центры, организаторов семинаров и бизнес-тренингов, преподавателей. Сфера сотрудничества - продвижение бизнес-тренингов и курсов обучения по информационным технологиям.



 

О нас

 
Главная
Каталог
Новинки
Акции
Вакансии
 

Помощь

 
Общая справка
Как оформить заказ
Тарифы доставки
Способы оплаты
Прайс-лист
Карта сайта
 

Способы оплаты

 

Проекты Interface Ltd.

 
Interface.ru   ITShop.ru   Interface.ru/training   Olap.ru   ITnews.ru  
 

119334, г. Москва, ул. Бардина, д. 4, корп. 3
+7 (495) 229-0436   shopadmin@itshop.ru
Проверить аттестат
© ООО "Interface Ltd."
Продаем программное обеспечение с 1990 года