Чтобы создавать понятные отчеты и обновлять их в режиме реального времени современному бизнесу необходим мощный сервис для обработки информации. В комментариях к моим предыдущим читатели неоднократно просили написать мануал по работе с Microsoft Power BI. В этой статье я расскажу, как начать работу с данной платформой.
Кратко о возможностях Microsoft Power BI
Power BI — достаточно мощная и при этом бесплатная BI-платформа. Microsoft вкладывает много средств в развитие этого продукта, в связи с чем часто выходят обновления, расширяющие ее возможности. Вы можете использовать такие версии программы:
- Power BI Desktop предназначен для разработки модели данных и отчетов;
- Power BI Service — онлайн-аналог, который специализируется на мониторинге и анализе готовых отчетов, поэтому возможности конструирования и работы с данными там очень ограничены.
Как правило, декстопная версия используется в качестве конструктора, после чего разработанный файл публикуется в Power BI Service . Для дальнейшей работы скачайте Power BI Desktop по этой ссылке .
Для пользователей Microsoft Windows 10 есть отдельная версия Power BI Desktop, которую вы можете найти, перейдя по этой ссылке.
Откуда можно загружать данные?
Power BI имеет множество встроенных коннекторов к различным сервисам и базам данных, с помощью которых вы в считанные минуты можете загрузить в программу нужный набор данных из различных источников, связать их между собой и построить консолидированные отчеты и диаграммы. На момент написания статьи все доступные коннекторы распределены на четыре группы:
1. Группа «Файл»:
Как видите, в Power BI можно импортировать данные из наиболее известных баз данных и сервисов, используя различные форматы файлов. После загрузки информации из доступных источников в Power BI, перед вами открываются большие возможности по очистке и преобразованию данных, в связи с тем, что в платформе присутствует достаточно мощный ETL функционал. Загружаемые таблицы можно редактировать, а на основе их столбцов создавать расчетные столбцы и меры — таким образом вы можете преобразовать массивы информации в наборы данных со структурой, необходимой для построения визуализации.
Сформировав набор данных, загруженных из различных источников, вам станут доступны множество встроенных элементов визуализации:
- линейчатая диаграмма с накоплением;
- гистограмма с накоплением;
- линейчатая диаграмма с группировкой;
- гистограмма с группировкой;
- нормированная линейчатая диаграмма;
- нормированная гистограмма;
- график;
- диаграмма с областями;
- диаграмма с областями с накоплением;
- линейная гистограмма и гистограмма с накоплением;
- линейная гистограмма и гистограмма с группировкой;
- каскадная диаграмма;
- точечная диаграмма;
- круговая диаграмма;
- диаграмма дерева;
- карта;
- таблица;
- матрица;
- заполненная карта;
- воронка;
- датчик;
- многострочная карточка;
- карточка;
- ключевой показатель эффективности;
- срез;
- кольцевой график;
- визуальный элемент r-script (на данный момент включается в параметрах программы).
Все элементы имеют достаточно широкий спектр настроек, направленных на изменение нужных параметров: цвет, фон, название, границы и так далее. Если вам будет недостаточно стандартного набора, можно загрузить пользовательские визуальные элементы.
Больше полезных советов по аналитике — в нашей рассылке. Просто заполните форму:
Потребность в аналитике больших объемов данных, с целью аудита, выявления проблем и генерации новых знаний, высока в любой связанной с ИТ области.
Направление информационной безопасности не исключение. Для сбора и корреляции разнокачественных источников данных принято использовать системы класса SIEM (Security information and event management). При этом для оперативного решения задач, встающих перед службой информационной безопасности, хорошо подходят и системы бизнес аналитики (Business Intelligence).
Power Pivot / Power View
Надстройки позволяют обрабатывать и визуализировать большие объемы данных из нескольких источников. В общих чертах работа с надстройками сводится к следующим этапам:
- Исходя из задачи определить источники информации
- Загрузить данные в Power Pivot
- Провести дополнительную обработку данных и связать таблицы между собой (создать модель данных)
- Вывести на PowerView интересующие графики и отчеты
Пример: Аудит web сервиса
В компании есть web сервис, с помощью которого внешние пользователи регистрируются на прием и подают заявления. Количество ресурсов (время приема) ограниченно, кто не успел - ждет следующей недели, значит - возможны злоупотребления. Межсетевые экраны фиксируют атаки на сервис, больше всего в момент открытия регистрации на прием.
Требуется провести аудит, чтобы понять нагрузку на сервис, кто из пользователей и организаций наиболее активен, как пользователи связаны с атаками, есть ли аномалии в работе сервиса.
Исходные данные: логи web сервера, БД web приложения, БД web aplication firewall
Объединяя исходные данные на одном листе PowerView получаем удобный инструмент аналитики. Ответы на перечисленные вопросы становятся буквально "видны". Кроме того, становятся доступны новые знания, например были выявлены взаимосвязи пользователей между собой (по почте, IP адресам) что позволило лучше понять происходящие процессы и пресечь злоупотребления.
Power BI
С 2016 у Microsoft появился отдельный продукт, позиционирующийся как сервис бизнес аналитики. Power BI базируется на тех же компонентах и логике что и Power Pivot, но является отдельным приложением, а не надстройкой к Excel. Возможностей по аналитике значительно больше, есть дополнительные плагины, в том числе для визуализации связей . Так же доступен хороший учебный курс .
Пример: Аудит подключений пользователей
В компании есть терминальные сервера, к которым подключаются внешние пользователи. Требуется провести аудит активности внешних пользователей на терминальных серверах, а так же внутренних пользователей на контроллерах домена, выявить подозрительную активность, в том числе по неудачным подключениям.
Исходные данные:
Windows event logs с серверов, каталоги Active Directory, таблицы Microsoft security events description.
Помимо общей статистики, о том какие пользователи и организации работают больше всего или в какое время на сервера идет наибольшая нагрузка по результатам аудита были выявлены такие инциденты:
- Использование учетных записей пользователей с нескольких узлов, в том числе одновременно, что означало компрометацию учетной записи;
- Активности в нерабочее время, когда пользователь не мог быть на своем рабочем месте;
- Брутфорс пароля. На сервере фиксировались события неправильного ввода пароля пользователем, но блокировки учетной записи не происходило, т.к. между попытками ввода пароля проходило достаточно много времени чтобы сбрасывался счетчик неудачных попыток авторизации. Учитывая, что в день таких событий по одному пользователю было более 30 предположение о том, что это человеческий фактор, было исключено.
Резюме
Если Power Pivot стал для меня скорее вынужденным инструментом для решения конкретных задач то Power BI это настоящее открытие, дающее весьма широкие возможности для оперативного анализа всего и вся. Недостатком Power BI является то, что он не SIEM и не умеет осуществлять сложных корреляций и слать оповещения. Но как инструмент для получения новых знаний и проведения периодических аудитов Power BI подходит отлично.
Преимуществом визуального анализа является то, что в процессе анализа часто выявляются знания, о которых ранее было ничего не известно. Появляются ответы на вопросы, которые не задавались, но не потому, что не важны, а потому что предвидеть все не возможно.
А какие инструменты для анализа данных используете вы? Какие нестандартные источники данных при визуальном анализе дают полезные службе ИБ результаты?
Microsoft Power BI - это набор средств бизнес-аналитики для анализа данных и предоставления ценной информации. Контролируйте свой бизнес с любого устройства в любой точке мира в режиме реального времени!
В основе концепции Power BI следующие идеи:
|
|
|
|
|
1. Красочная современная графика
Современные технологии с учётом последних трендов в анализе данных. |
|
2. Самостоятельный анализ (Self-BI)
Бизнес-пользователи могут самостоятельно анализировать и создавать интерактивные панели без помощи ИТ-отдела. |
|
3. Мобильность
Приложения для мобильных устройств на базе Windows, Android и iOS. |
|
|
|||
|
|
|
|
|
4. ВСЁ и СРАЗУ!
Анализируйте сразу все ваши данные в удобном формате. Встроенные коннекторы к большинству систем и сервисов. |
|
5. Представление данных
Большой набор визуальных представлений. |
|
6. На одном языке с вами
Просто спросите у Power BI: “Какая маржа по всем проектам за II квартал 2018 года?”, и система сразу даст ответ в виде интерактивной панели. |
|
|
|
|
|
|
|
|
|
|
7. Единый центр анализа
Больше не надо искать информацию о делах компании по разным папкам и файлам. Вся аналитика формируется в ОДНОМ интерактивном интерфейсе. |
|
8. Общий доступ
Общий доступ ко всем приложениям с любых устройств. |
|
|
Интерактивный (кликабельный) демо-пример
Получить демо
Стоимость и функционал Power BI
Power BI
|
Power BI Pro
|
Ограничение ёмкости данных |
1 ГБ на пользователя |
10 ГБ на пользователя |
|
Создавайте, просматривайте и используйте персональные панели мониторинга и отчеты совместно с другими пользователями Power BI |
|||
Создавайте содержимое с помощью Power BI Desktop |
|||
Просматривайте данные с использованием естественного языка |
|||
Получайте доступ к информационным панелям на мобильных устройствах, используя нативные приложения для iOS, Windows и Android |
|||
Используйте проверенные пакеты содержимого для таких служб, как Dynamics, Salesforce и Google Analytics |
|||
Импортируйте данные и отчеты из файлов Excel, CSV и Power BI Desktop |
|||
Публикация в Интернете |
|||
Обновление данных |
|||
Используйте содержимое с запланированными обновлениями |
Ежедневно |
Каждый час |
|
Используйте данные потоковой передачи на информационных панелях и в отчетах |
10 тыс. строк в час |
1 млн строк в час |
|
Используйте динамические источники данных с полными интерактивными возможностями |
|||
Получите доступ к локальным данным с помощью шлюзов подключения к данным (персональным и для управления данными) |
|||
Совместная работа |
|||
Совместно работайте с командой, используя группы Office 365 в Power BI |
|||
Создавайте, публикуйте и просматривайте пакеты содержимого организации |
|||
Управляйте доступом и совместной работой с помощью групп Active Directory |
|||
Общие запросы данных через каталог данных |
|||
Контролируйте доступ к данным с помощью средств безопасности на уровне строк для пользователей и групп |
Получить демо
Зачем Вам Power BI?
С Power BI вы сможете анализировать все данные своей компании, как облачные, так и локальные. Включив воображение и используя визуальные инструменты Power BI, вы создадите интерактивные отчёты за считанные секунды в режиме реального времени. Система сама автоматически устранит проблемы с форматированием данных. Работая с Power BI, вы сможете подключить базы данных SQL Server, модели Analysis Services и другие источники данных к одним и тем же интерактивным панелям в Power BI.
Какие знания нужны для работы с Power BI?
После внедрения системы бизнес-пользователю не потребуется специальных знаний, чтобы эффективно работать с данными. Удобный, интуитивно понятный интерфейс позволит быстро и легко изменить или создать аналитику в нужном представлении.
Проект внедрения Power BI
BI команда компании Первый БИТ - это команда экспертов отрасли, имеющая большой опыт внедрения проектов на различных платформах. Мы комплексно закрываем все потребности клиента в рамках внедрения бизнес-аналитической системы Power BI:
- Обследование ваших бизнес-процессов
- Формирование и согласование требований к BI-системе
- Подключение к источника данных и их консолидация
- Построение модели данных и разработка отчётности
- Обучение ваших сотрудников (бизнес-аналитиков и разработчиков)
- Профессиональная технологическая поддержка вашей компании в будущем
Примеры решений на Power BI
Продажи, розничная торговля, оптовая торговля
|
|
Списки и диапазоны (5)
Макросы(VBA процедуры) (63)
Разное (39)
Баги и глюки Excel (3)
Знакомство с Power BI
Что такое Power BI?
В первую очередь хочу уточнить, что Power BI это не часть Excel, а самостоятельная программа для бизнесс-анализа, которую надо будет установить на ПК отдельно. Но оно того стоит. Сам Power BI включает в себя большой набор инструментов, позволяющих обработать и отобразить всю необходимую информацию о любых показателях компании (и не только) при помощи интерактивной визуализации. Проще говоря – при помощи Power BI можно легко и быстро, без длительного обучения и спец.навыков создать красивые интерактивные графики на основании практически любых данных. Сейчас очень модно называть такие наборы визуализаций «дашбордами»:
Пара вещей, которые надо знать о Power BI в первую очередь:
Сам Power BI делится на три приложения (хоть устанавливать надо только одно):
- Power BI Desktop – основное приложение, в котором создаются отчеты
- Power BI Service (служба Power BI) - интернет-площадка, в которую помещаются все созданные отчеты и отправленные на публикацию в службу
- Power BI for Mobile – приложение для смартфонов и планшетов, позволяющее просматривать опубликованные в службе Power BI отчеты
Что необходимо сделать и знать, прежде чем начать работать в Power BI
- Для начала надо установить приложение Power BI Desktop, т.к. именно в нем готовятся все отчеты. Скачать его можно по ссылке: https://powerbi.microsoft.com/ru-ru/desktop/
- Как только начнется скачивание потребуется ввести свои данные, включая e-mail. Этот же e-mail надо вводить при первом запуске и регистрации приложения. Обращаю особое внимание, что e-mail должен быть корпоративным. Т.е. никаких там [email protected], [email protected], [email protected] и пр. Иначе вполне может получится так, что отчет создать получится, а опубликовать его уже нет
- После установки и регистрации можно приступить уже к созданию своих первых отчетов в Power BI
После запуска Power BI появится основное окно. Для начала достаточно просто уметь ориентироваться в рабочих областях. На скрине ниже я постарался выделить основные рабочие области этого окна
Кнопка вызова меню
– раскрывает меню с доступом к основным командам и настройкам, таким как Публикация, Импорт и Экспорт, Сохранение, Справка, выход из учетной записи Power BI и пр.
– на вкладках этой панели распределены основные инструменты для работы с запросами и визуальными элементами
Навигация по областям - основной областью является область визуализаций(первая сверху иконка), в которой строятся все визуальные отчеты. Но так же можно переходить в представление таблиц для просмотра данных и изменения определенных параметров полей(Типы данных, Сортировка, Добавление столбцов и мер и пр.) и в визуальное представление связей между таблицами. Здесь же можно настроить связи.
Визуализации - эта наверное одна из главных областей данного окна. Именно здесь расположены кнопки создания непосредственно графиков(они называются визуальными элементами). Нажатие на иконку, отражающую примерный вид визуального элемента автоматически добавляет такой элемент в рабочую область визуализаций.
Фильтры - данная область позволяет создавать фильтрацию данных, попадающих в визуальный элемент. Например, имея в таблице данных информацию по Доходам и Расходам, можно при помощи фильтров строить визуальный элемент только по расходам или только по доходам. Область фильтров в свою очередь делится на три раздела:
- Фильтры уровня визуального элемента - помещенные сюда фильтры распространяют свое действие исключительно на тот визуальный элемент, к которому относится этот фильтр
- Фильтры уровня страницы - помещенные сюда фильтры распространяют свое действие на все визуальные элементы той страницы, к которой относится этот фильтр
- Фильтры уровня отчета - распространяет свое действие на все визуальные элементы всех страниц отчета
Поля - здесь перечислены все поля всех таблиц запросов. Именно на основании данных в этой области строятся визуальные элементы. Добавление данных из полей в визуальный элемент или область фильтров производится обычным перетаскиванием мыши.
Чуть ниже рабочей области есть еще область навигации по листам , где можно добавить в отчет новый лист, переименовать или удалить существующие.
При создании любого запроса(вкладка Главная
-Получить данные
) появится еще одно из основных окон – окно запросов. Для тех, кто работал в Power Query из Excel там вряд ли найдется что-то новое, т.к. Power BI полностью перенял работу с запросами именно от Power Query:
Кнопка вызова меню – раскрывает меню с доступом к основным командам, таким как Закрыть, Сохранить, а так же настройкам источников данных
Ribbon-панель с набором команд – как можно догадаться, это основная рабочая зона, т.к. именно на этой панели на вкладках(Главная, Преобразование, Добавить столбец, Просмотр) распределены основные инструменты для работы с запросами и данными
Область запросов – здесь перечислены все запросы, загруженные в текущую модель данных. Имена запросов можно изменять: либо двойным щелчком на имени запроса в Области запросов, либо в Панели свойств текущего запроса .
Область предварительного просмотра – здесь отображается предварительный просмотр вида данных, которые будут загружены в модель после всех наших действий. С её помощью можно наглядно видеть результирующий набор данных и выявлять ошибки.
Строка формул
(Панель формул) – здесь отображается текст последнего произведенного действия с запросом. Отображается текст на встроенном языке M и его можно прямо в этой строке изменить. Отобразить или скрыть её можно с вкладки Просмотр
-Панель формул
.
Панель свойств текущего запроса
– здесь собраны свойства выбранного запроса. Можно изменить имя запроса, а если раскрыть пункт Все свойства, то так же можно дать описание запроса и не включать запрос в обновление данных(по умолчанию все загруженные в модель запросы обновляются одной кнопкой Обновить из главного окна Power BI).
Панель выполненных в запросе операций (Примененные шаги) – очень удобная штука. Здесь отображаются по шагам все примененные в запросе действия: начиная от загрузки данных и завершая последним преобразованием. Если какую-то операцию в запросе сделали по ошибке или просто ошиблись параметрами – можно просто удалить последний шаг(или несколько). Можно сказать, что эта возможность заменяет собой откат действий в офисных программах(Ctrl +Z ). Так же очень удобно, чтобы подучить синтаксис языка M – можно пошагово посмотреть какая операция как обзывается на этом языке. Так же весь текст запроса можно посмотреть, перейдя на вкладку Просмотр -Расширенный редактор .
Кратко о процессе работы в Power BI:
- сначала входные данные загружаются в модель и подготавливаются (приводятся в удобный для построения визуализаций вид) при помощи Power Query
- далее на основании подготовленных данных обычным перетаскиванием без сложных манипуляций выстраиваются диаграммы и прочие визуальные отчеты
- созданные отчеты загружаются в облако, где уже другие пользователи могут посмотреть эти отчеты с браузера или из мобильного приложения
При этом работать в Power BI можно без наличия программерских навыков – для создания визуализаций хватит и «кнопочного» функционала программы и встроенных формул DAX (Data Analysis Expressions - выражения анализа данных), которые очень похожи на формулы в Excel. Но и для более продвинутых пользователей есть где развернуться – в Power BI есть «свой» язык программирования M, который позволяет неплохо расширить стандартные возможности. Плюс есть возможность создавать свои отдельные визуальные элементы при помощи редактора сценариев R. И под своими визуальными элементами я подразумеваю именно свои, авторские, уникальные визуализации, а не просто какие-то смешанные диаграммы (наподобие таковых в Excel). Кто не умеет или не хочет создавать сам – копилка таких авторских элементов постоянно пополняется на сайте Power BI: https://app.powerbi.com/visuals/
Кому подойдет Power BI?
Microsoft считает, что Power BI будет полезно небольшой, средней или крупной компании. Я считаю, что такое приложение необходимо всем, кто так или иначе занимается аналитикой данных и построением всевозможных отчетов.
Таблица характеристик и отличий базовой версии и Pro:
Power BI | Power BI Pro | |
---|---|---|
Базовые характеристики | ||
Объем облачного хранилища(для хранения отчетов в службе Power BI) для одного пользователя | 1 GB | 10 GB |
Создание, просмотр и предоставление общего доступа к личным информационным панелям и отчетам | ДА | ДА |
Создание отчетов в Power BI Desktop | ДА | ДА |
Создание сложных запросов на языке запросов M | ДА | ДА |
Доступ к информационным панелям с мобильных устройств по управлением iOS, Windows и Android | ДА | ДА |
Предустановленные алгоритмы обработки данных из популярных сервисов, таких как: Dynamics, Salesforce и Google Analytics | ДА | ДА |
Импорт исходных данных и отчетов из файлов Excel, CSV и Power BI Desktop | ДА | ДА |
Обновление данных | ||
Интервал обновления данных по расписанию | Ежедневно | Ежечасно |
Передача потоковых данных в панели и отчеты Power BI | 10 000 строк в час | 1 000 000 строк в час |
Подключение к источникам данных без ручного обновления и публикации информации в Power BI (обращение к источнику данных происходит при открытии отчета и необходимые данные подгружаются сразу же) | НЕТ | ДА |
Доступ к локальным источникам данных с использованием личного шлюза (установка на персональный компьютер и обновление данных из Excel и Power BI Desktop) и шлюза управления данными (устанавливается на сервер c SQL Analysis Services) | НЕТ | ДА |
Совместная работа | ||
Совместная работа с использованием групп Office 365 | НЕТ | ДА |
Создание, публикация и просмотр преднастроенных корпоративных наборов содержимого (создание пакета содержимого c набором информационных панелей, который будет доступен всем пользователям на уровне организации, либо конкретной группе пользователей) | НЕТ | ДА |
Управление правами доступа при помощи групп Active Directory | НЕТ | ДА |
Предоставление общего доступа к запросам с использованием каталога данных (возможность предоставление общего доступа к запросам через надстройку Power Query в Excel 2013) | НЕТ | ДА |
Стоимость | Бесплатно | 7 450 руб./год |
{"Bottom bar":{"textstyle":"static","textpositionstatic":"bottom","textautohide":true,"textpositionmarginstatic":0,"textpositiondynamic":"bottomleft","textpositionmarginleft":24,"textpositionmarginright":24,"textpositionmargintop":24,"textpositionmarginbottom":24,"texteffect":"slide","texteffecteasing":"easeOutCubic","texteffectduration":600,"texteffectslidedirection":"left","texteffectslidedistance":30,"texteffectdelay":500,"texteffectseparate":false,"texteffect1":"slide","texteffectslidedirection1":"right","texteffectslidedistance1":120,"texteffecteasing1":"easeOutCubic","texteffectduration1":600,"texteffectdelay1":1000,"texteffect2":"slide","texteffectslidedirection2":"right","texteffectslidedistance2":120,"texteffecteasing2":"easeOutCubic","texteffectduration2":600,"texteffectdelay2":1500,"textcss":"display:block; padding:12px; text-align:left;","textbgcss":"display:block; position:absolute; top:0px; left:0px; width:100%; height:100%; background-color:#333333; opacity:0.6; filter:alpha(opacity=60);","titlecss":"display:block; position:relative; font:bold 14px \"Lucida Sans Unicode\",\"Lucida Grande\",sans-serif,Arial; color:#fff;","descriptioncss":"display:block; position:relative; font:12px \"Lucida Sans Unicode\",\"Lucida Grande\",sans-serif,Arial; color:#fff; margin-top:8px;","buttoncss":"display:block; position:relative; margin-top:8px;","texteffectresponsive":true,"texteffectresponsivesize":640,"titlecssresponsive":"font-size:12px;","descriptioncssresponsive":"display:none !important;","buttoncssresponsive":"","addgooglefonts":false,"googlefonts":"","textleftrightpercentforstatic":40}}