Ускорение пакетной обработки с помощью IBM DB2 Analytics Accelerator

Введение

IBM DB2 Analytics Accelerator представляет собой оптимизированный по рабочей нагрузке программно-аппаратный комплекс, который позволяет компаниям интегрировать бизнес-идеи в рабочие процессы, воплощая в жизнь выигрышные стратегии. Он сочетает в себе качество обслуживания System z с инструментом аппаратного ускорения аналитических расчетов IBM DB2 Analytics Accelerator, что позволяет ускорить обработку сложных запросов и обеспечить беспрецедентное время отклика в среде высокой готовности и безопасности.

Ключевой элемент DB2 Analytics Accelerator ― его прозрачная интеграция с DB2, которая позволяет запускать задачи без изменений и выполнять запросы, автоматически получая выгоды от сокращенного времени отклика и пониженной нагрузки на центральные процессоры мейнфрейма.

Swiss Re постоянно ищет способы сделать свою ИТ-среду более рентабельной и результативной. Поэтому в последние годы она перевела свою систему финансовой отчетности с COBOL-пакетов на Java™-пакеты на платформе z/OS®. Это позволило достичь значительной экономии.

Сделав еще один квантовый скачок, компания внедрила IBM DB2 Analytics Accelerator ― для ускорения выполнения пакетных заданий и переноса рабочей нагрузки на программно-аппаратный комплекс Accelerator, чтобы высвободить ресурсы для других приложений.

Решение

Система отчетности Swiss Re ― это пакетно-ориентированная система, работающая на платформе z/OS. Рост объемов данных в последние годы создает некоторые проблемы, что привело Swiss Re к партнерству с IBM в целях реализации инновационных решений, которые позволили бы компании сдерживать расходы и повысить производительность труда при решении новых бизнес-задач.

Первым шагом стал перевод процессов пакетной обработки с COBOL на Java с использованием WebSphere® Compute Grid на z/OS. Это позволило Swiss Re переложить значительную часть рабочей нагрузки на System z Application Assist Processors, продолжая использовать те же интерфейсы прикладных программ и те же базы и модели данных.

На втором шаге ту часть рабочей нагрузки, которая связана с обработкой базы данных, перенесли на внешний программно-аппаратный комплекс. Внедрение IBM DB2 Analytics Accelerator позволило компании достичь этой цели и вступить в новую эру оптимизации.

IBM DB2 Analytics Accelerator

IBM DB2 Analytics Accelerator интегрируется за уровнем приложений среды DB2 для z/OS. Это обеспечивает полную прозрачность для конечных пользователей и приложений, отправляющих запросы в подсистему DB2 для z/OS. Чтобы использовать преимущества IBM DB2 Analytics Accelerator, не нужно вносить никаких изменений в дизайн соединения или приложения. Это позволяет избежать многих проблем обучения и интеграции, связанных с внедрением новой технологии.

Данные на уровне таблиц просто загружаются в Analytics Accelerator через графический интерфейс пользователя (IBM Data Studio). В версии 3 поддержание потока данных автоматизировано, и изменения в базовой таблице можно реплицировать в Accelerator автоматически.

Рисунок 1. Прозрачный доступ к IBM DB2 Analytics Accelerator через DB2

С введением IBM DB2 Analytics Accelerator появляется возможность использовать несколько способов обработки запросов в существующей среде DB2 для z/OS.

Варианты потока запросов в DB2 для z/OS

По существу, имеется три варианта потока запросов.

• Сегодня подмножество запросов на обработку к DB2 направляется на процессоры IBM System z Integrated Information Processors (zIIP), включая параллельные запросы и запросы на обработку DRDA. Эти запросы продолжают извлекать данные из базы данных DB2 на диск, перемещая их в реальную память процессора System z для выполнения системой DB2 для z/OS.
• При использовании IBM DB2 Analytics Accelerator подмножество таблиц в DB2 копируются и сжимается в IBM DB2 Analytics Accelerator. DB2 z/OS признает, что эти таблицы также доступны для особой обработки. Когда DB2 Optimizer определяет, как лучше всего выполнить запрос, он оценивает, можно ли этот запрос обработать быстрее на IBM DB2 Analytics Accelerator. Optimizer ориентирован на запросы с особыми характеристиками в стиле OLAP, которые сканируют таблицу FACT по радиальной схеме и возвращают ответы в виде агрегаций. Данные сканируются кодом IBM DB2 Analytics Accelerator, а набор ответов возвращается в среду DB2. IBM DB2 Analytics Accelerator просто добавляет еще один способ обработки входящих запросов. Достаточно установить IBM DB2 Analytics Accelerator, и DB2 для z/OS будет выявлять и направлять соответствующие запросы в пределах вашей рабочей нагрузки в новую среду для ускоренной обработки.
• Любые оставшиеся запросы, которые не подходят для механизма zIIP или для обработки средствами DB2 Analytics Accelerator, обрабатываются обычным процессором в среде DB2 для z/OS, куда данные по-прежнему поступают с диска. Можно реализовать политики Workload Management (WLM), чтобы обеспечить приоритетность запросов по отношению к остальной части нагрузки, гарантировав решение наиболее важных задач в первую очередь.

DB2 для z/OS использует имеющиеся возможности для выбора наиболее эффективного способа обработки входящих запросов. По сравнению с другими решениями, интеграция с системой управления базами данных выходит далеко за рамки простого канала связи. Управление и администрирование контролируется через DB2 для z/OS. В этом контексте IBM DB2 Analytics Accelerator представляет собой пул виртуальных ресурсов для DB2 для z/OS. Знаменитые характеристики DB2 для z/OS, такие как безопасность, надежность и непрерывная готовность, не пострадают; даже в случае маловероятного отказа IBM DB2 Analytics Accelerator критически важные решения BI продолжают работать.

Текущий выпуск IBM DB2 Analytics Accelerator ориентирован на динамическую обработку SQL, и управление параметрами позволяет определить, должны ли запросы передаваться в IBM DB2 Analytics Accelerator всегда, только по решению оптимизатора или никогда. В будущем может быть сформулировано требование по добавлению статического SQL.

Однако в общем случае инструменты хранения данных, а также децентрализованные приложения, подключенные к DB2 для z/OS, чаще всего используют динамический SQL. Таким образом, текущее решение охватывает многие практические случаи. Выполнение большей части запросов на ускорителе позволяет исключить много индексов, которые потребовались бы DB2 для оптимальной обработки запросов. Это снижает потребность в ресурсах хранения данных и помогает достичь лучшей производительности при выполнении операций вставки и редактирования. Затем результат автоматически передается на ускоритель и становится доступным для запросов.

Архитектура решения

Swiss Re запускает свою систему z/OS в режиме "активный-активный" в двух центрах обработки данных, отстоящих на 10 км друг от друга. Таким образом, целевой задачей архитектуры IBM DB2 Analytics Accelerator было выполнение всех требований, налагаемых архитектурой System z.

IBM DB2 Analytics Accelerator сконструирован так, что отказ программно-аппаратного комплекса не повлияет на выполнение запросов: они просто будут обрабатываться обычным образом в DB2 (то есть, без ускорения). Однако первые опыты показывают, что ускорение запросов дает многократное улучшение времени отклика. Этот факт может побудить к изменению и совершенствованию бизнес-процессов, так как IBM DB2 Analytics Accelerator становится решающим фактором инфраструктуры.

Для выполнения этого нового требования потребовалось улучшить дизайн с точки зрения высокой готовности. С этой целью системы IBM DB2 Analytics Analyzer были пристыкованы с каждой стороны в двух центрах обработки данных и соединены между собой таким образом, что каждая System z может обращаться к любому Analytics Accelerator.

Так как один программно-аппаратный комплекс ускорителя внутренне полностью зарезервирован, при такой концепции обеспечения высокой готовности система не имеет единой точки отказа, так как не страшен даже отказ всего центра обработки данных или канала связи между центрами.

Рисунок 2. Связь EC12 и IBM DB2 Analytics Accelerator между двумя центрами обработки данных

Чтобы обеспечить обработку отказов и сохранить ту же производительность для конечных пользователей приложения, таблицы, необходимые приложению, копируются в обе системы IBM DB2 Analytics Accelerator.

Результаты

Достигнутое ускорение обработки запросов показывает довольно широкое распределение от трехкратного ускорения до ускорения в 90 раз и даже больше. Так что первый вывод заключается в том, что повышение производительности измеряется не в процентах, а, скорее, в "разах", причем значительных. Более того, ускорение зависит от размера результирующего набора.

Исходные таблицы в хранилище данных содержат от 500 до 900 млн строк, а диапазон результирующих наборов простирается от отчетов (запросов), производящих пять строк, до отчетов (запросов), производящих свыше 100 000 строк. Отчеты с самыми большими результирующими наборами обычно демонстрируют меньшее ускорение обработки, чем с малыми результирующими наборами.

Интересные наблюдения были также сделаны на уровне хранения. Таблица, которая в исходном виде (без сжатия) занимает 400 ГБ, в DB2 сжимается до 123 ГБ; а в IDAA ― всего до 40 ГБ. Это дает коэффициент сжатия 10x. Время загрузки такой таблицы составило 29 минут (т. е. 800 ГБ/час).

Заключение

IBM DB2 Analytics Accelerator дает многочисленные преимущества:

• ускорение текущей обработки, приводящее к повышению производительности труда людей, работающих с отчетами;
• перенос на IBM DB2 Analytics Accelerator "долгоиграющих" запросов, потребляющих много ресурсов процессора; высвобождение основных процессоров с увеличением емкости системы без дополнительных затрат;
• никаких изменений ни в приложении, ни в запросах не требуется:
  • дополнительные преимущества дает лишнее время на адаптацию запросов с целью использования специальных возможностей ускорителя (таких как функция SUM).

Все эти факторы в совокупности дают значительную экономию, так как позволяют выполнять больше нагрузки при тех же затратах.

Более того, IBM DB2 Analytics Accelerator упрощает задачу администратора DB2, так как обычные операции по настройке запросов можно исключить: система не нуждается ни в настройке, ни в индексах, ни в секционировании.

IBM DB2 Analytics Accelerator создает возможности для обработки оперативных и аналитики данных на одной и той же платформе, позволяя уменьшить время, необходимое для передачи данных, и позволяя предприятию быстро получать доступ к наиболее актуальной информации. Это сулит компании беспрецедентное конкурентное преимущество.

Ссылки по теме

• Подробнее о решениях IBM для управления большими данными (IBM Big Data)
• Статьи по теме Big Data
• Новости по теме Big Data
• Услуги по внедрению решений для обработки больших объемов данных
• Обратиться в Интернет-магазин ITshop.ru за дополнительной информацией/по вопросу приобретения продуктов
• Консультация по выбору решений и технологий для обработки больших объемов данных