Прогнозна аналітика вже використовується з метою оцінки попиту товари та послуги, визначення ризиків шахрайства, обчислення ймовірності відмов у роботі механізмів, персоналізації маркетингових пропозицій. Іншими словами, це потужний інструмент, який приносить користь у різних сферах діяльності. Що являє собою, як працює і які ще можливості для бізнесу і не тільки відкриває прогнозна аналітика — читайте в нашій статті.
Прогнозна (вона ж предиктивна) аналітика - це одна з областей аналізу даних, яка сфокусована на прогнозуванні майбутніх подій на основі історичних даних. Дізнаватись, що з високою ймовірністю станеться далі, стало можливим завдяки розвитку штучного інтелекту, машинного навчання та статистики. Разом вони застосовуються виявлення закономірностей і визначення можливих сценаріїв розвитку подій з високою точністю прогнозування. за
оцінок
Fortune, глобальний ринок передиктивної аналітики, який на початок 2024 року становив $18.02 млрд, до 2023-го зросте до $95.3 млрд. Цьому сприятиме зростання інтересу до прогнозування на базі ІІ та кількість випадків впровадження подібних рішень, подальше проникнення технологій у всі сфери економіки, інтеграція прогнозної аналітики зі штучним інтелектом та IoT.
Фахівці в галузі даних при вирішенні різних завдань, де необхідне точне прогнозування на хвилини, дні та місяці вперед, використовують схожі підходи у роботі. Умовно весь процес отримання прогнозу можна розбити п'ять етапів. Є й інший, трохи інший варіант послідовності дій для отримання тих самих результатів. Етап 1: Визначення задачі. Формують вимоги до результатів прогнозування. Наприклад, оцінити ймовірність неповернення кредиту у банку або визначити розміри складських запасів перед «чорною п'ятницею», щоб товари на сайті змогли придбати всі охочі. Етап 2: Підготовка даних. Збирають і систематизують дані, які має організація. Потрібні як історичні дані, накопичені протягом кількох років, і поточні, які продовжують генеруватися внаслідок взаємодії з клієнтами. Зручно працювати з даними, що зберігаються у спеціальних репозиторіях. Етап 3: Попередня обробка даних. Очищають дані, щоб видалити аномалії та дані, отримані в нетипових для організації умовах роботи, щоб знизити ймовірність помилок у прогнозуванні. Етап 4: Розробка прогностичних моделей. Вибирають найбільш підходящу модель в залежності від задачі, сформованої на першому етапі, та наявного набору даних. Найчастіше використовують машинне навчання, хоча можливі інші варіанти, наприклад, регресійна модель або дерево рішень. Етап 5: Перевірка результатів. Тестують точність роботи прогнозної моделі та вносять зміни доти, доки вона не почне видавати прийнятні результати. Повернемося до етапу розробки прогностичних моделей і розглянемо докладніше методи, що використовуються прогнозною аналітикою. Використовуються для візуалізації і аналізу можливих варіантів розвитку подій за умов невизначеності. Приваблюють своєю наочністю — легко уявити у зрозумілій формі найскладніші сценарії та водночас врахувати усі варіанти розвитку подій. Для отримання результатів будується дерево з вузлами — точками прийняття рішень, а потім для кожного вузла формують питання або умову для переходу до наступного вузла, після чого підсумовують ймовірність та цінність кожного варіанта розвитку подій. Як приклад візьмемо роботу звичайного магазину. Дерево прийняття рішень допоможе оцінити місце розташування майбутньої точки продажу та підібрати асортимент товарів з урахуванням оптимальної локації та цільової аудиторії. Використовується з метою оцінки взаємозв'язків між змінними, саме виявлення закономірностей у великих наборах безперервних даних. Це може бути прогнозування якісних показників, оцінка точності прогнозування чи впливу одних змінних інші. Метод приваблює високою точністю, а також простий використання та інтерпретації. У нашому прикладі регресійний аналіз дозволить з'ясувати, як на обсяги продажу впливають такі фактори, як вартість товарів, ефективність маркетингових заходів, сезонність. Оптимальний вибір для складного моделювання - а саме, виявлення нейронних зв'язків (закономірностей, які непомітні людині) у наборах великих даних. Приваблює своєю точністю, ефективністю та масштабованістю.Підходить для тих випадків, коли неможливо застосувати стандартну математичну формулу для вирішення задачі, автоматизації процесів аналізу даних та побудови точних прогнозних моделей. Алгоритми можуть навчатися на наборах даних із заздалегідь відомими або невідомими результатами, а також шляхом спроб і помилок в імітаційному середовищі. Нейронні мережі можна використовувати в парі з двома іншими моделями для перевірки результатів їх роботи. Чим може бути корисним машинне навчання в нашому прикладі: персоналізація маркетингових пропозицій, прогнозування попиту в певний проміжок часу, оцінка ризиків шахрайства, ймовірності догляду клієнтів. Наведені вище приклади з офлайн-магазином лише одна з небагатьох можливостей використовувати потенціал прогнозної аналітики. Сьогодні її застосовують у маркетингу, фінансах, охороні здоров'я, на виробництві, у ритейлі, телекомунікаціях, логістиці, енергетиці та держсекторі. Що вміє робити прогнозна аналітика? Таким чином, прогнозна аналітика може принести користь у різних завданнях і сферах діяльності. Експерт Colobridge: «Спільне використання передиктивної аналітики та хмарних технологій дозволяє швидко та ефективно обробляти великі обсяги даних, використовуючи найсучасніші методи прогнозування. Крім того, завдяки хмарі (а саме, доступності
віртуальних інфраструктур) прогнозна аналітика стає доступнішою для компаній, які раніше не використовували її через відсутність компетенцій та відповідної IT-інфраструктури. У хмарі можна досить швидко розгорнути платформу для прогнозної аналітики і легко масштабувати її, якщо через час потреби зміняться: збільшиться обсяг даних, з'являться нові цілі тощо. сильно змінило все, що пов'язане із прийняттям рішень на основі даних».
Для роботи з прогнозною аналітикою використовують такі інструменти: Якщо ви не знаєте, як почати працювати з прогнозною аналітикою, які ресурси та IT компетенції для цього необхідні, ми готові вам допомогти. Зверніться до фахівців Colobridge, і ми запропонуємо найкраще рішення для прогнозної аналітики під ваші завдання, використовуючи найсучасніші методи та технології. Допоможіть нам стати кращими! Будь ласка, оцініть цей матеріал, натиснувши на зірочки нижче. Середній рейтинг 5 / 5. Кількість оцінювань: 1 Оцінок наразі немає. Поставте оцінку першим. У прогнозуванні як у повноцінній науковій дисципліні є ряд принципів, дотримуючись яких можна отримати значні результати як у науковій галузі, так і на практиці. Однак прикладне прогнозування трохи відрізняється від «наукового», тому що основне завдання на практиці — дати прогноз, а в наукових дослідженнях — вибрати модель, яка дає найточніший прогноз у деяких умовах і пояснити, чому так відбувається. Звичайно, одне без іншого існувати не може, і обидві сторони треба знати всім прогнозистам, але різниця в підходах, як кажуть, є. Про принципи практичного прогнозування можна дізнатися на цій сторінці. У цій статті я спробував виділити базові принципи наукового дослідження, але насправді це не зовсім правильно — ті принципи, які ми з вами розглянемо нижче, часто застосовуються і на практиці.Просто для наукових досліджень вони є першочерговими, тоді як практичне прогнозування може так чи інакше обходитися без них. Перший принцип. Дослідження не має сенсу без практичної перевірки. Якщо ви розробили нову круту модель або вивели якийсь просунутий, статистично обґрунтований метод оцінки моделей, але не перевірили його на практичні дані, то цінність вашого дослідження наближається до нуля. Будь-які статистичні обґрунтування та теоретичні висновки ґрунтуються на якихось передумовах та припущеннях, і коли справа доходить до практики, вони можуть зіткнутися з грубою реальністю, якій начхати на статистику та теорію. Водночас, якщо обрана вами модель добре працює у сусіда, це ще не означає, що вона даватиме точні прогнози і у вашому випадку. Довіряй, але перевіряй! Другий принцип. Будь-яку модель потрібно перевіряти на тестовій вибірці. Ви можете довго міркувати про статистичну значущість моделі в цілому та окремих її коефіцієнтів, інтерпретувати отримані числа та захоплюватися точністю опису ряду, відсутності ендогенності, гетероскедастичності, автокореляції та ін. Але все це не має ні найменшого значення, якщо модель працює тільки на навчальній вибірці, і ви не спромоглися перевірити її на тестовій. Навіть якщо вас цікавлять лише значення коефіцієнтів моделі, перш ніж робити будь-які висновки, спробуйте дати прогноз моделі і порівняти його з фактичними значеннями, які не використовувалися при оцінюванні.Якщо модель не здатна адекватно прогнозувати досліджуваний показник, то про яку пояснювальну здатність і про які інтерпретації коефіцієнтів взагалі може йтися? А про здатність давати адекватні точкові прогнози моделей, неперевірених на тестових вибірках, взагалі можна не говорити. Варто визнати, що в деяких випадках провести таку перевірку неможливо. У цих випадках слід звернутися до найбільш роботних прогнозних моделей, що зарекомендували себе як на практиці, так і в науковій літературі (наприклад, моделі Theta та Експоненційне згладжування з демфпірованим адитивним трендом, про які ми ще, швидше за все, якось поговоримо). Після того, як отримано прогноз за обраною моделлю, його варто відкоригувати на основі експертного судження. Але таких ситуацій із вибором моделі без перевірки краще намагатися уникати. Третій принцип у тому, що при проведенні дослідження слід побудувати кілька конкуруючих моделей та порівняти їх прогностичну здатність [див. Armstrong & Fildes (2006) - Making progress in forecasting]. Альтернативне формулювання цього принципу звучить так: «сформулювати низку конкуруючих гіпотез та перевірити їх на практиці». По суті це означає, що на тих самих даних, в тих самих умовах потрібно побудувати кілька моделей, оцінити і порівняти точність їх прогнозів. Для наукових досліджень це необхідно, оскільки дозволяє іншим дослідникам зрозуміти, як співвідноситься між собою точність різних моделей, і чи є різниця в точності суттєвою. Якщо у якійсь науковій статті розглянуто лише одну модель, то зрозуміти її справжню цінність неможливо — «один у полі не воїн».Для практичної діяльності таке порівняння так само необхідно, оскільки дозволяє зрозуміти, яка з моделей працює краще у вашому випадку. Крім цього, таке порівняння дозволяє зрозуміти, чи треба морочитися зі складними незрозумілими моделями. Можливо, будувати складну модель для підвищення точності прогнозів на 0,01% порівняно з простою немає сенсу, але як про це дізнатися, якщо ви, наприклад, використовували тільки складну? Четвертий принцип можна описати фразою Пола Гудвіна:Якщо назва статті містить більше слів, ніж рядів даних, на яких перевіряється модель, таку статтю можна ігнорувати». Цей принцип застосовується як до теоретичних, а й до практичним дослідженням. Фактично він просто означає, що одного ряду даних для коректних висновків недостатньо. Навіть двох недостатньо. Навіть десять. І двадцяти, найімовірніше, теж буде мало. На такій кількості рядів зовсім незрозуміло, чи отриманий результат випадковий або закономірний. Якщо ви дійсно хочете зрозуміти, яка з моделей дає точніші прогнози і в яких умовах, то вам потрібна велика база рядів даних. Велика — це хоч рядів 50. Звичайно, цього все одно мало, але на цих 50 лавах уже можна хоча б виявити якісь загальні закономірності. Якщо у вашому розпорядженні є 500 рядів, то ви можете не тільки виявити закономірності, але й провести угруповання за якоюсь ознакою, і з'ясувати, яка з моделей дає більш точні прогнози у кожній із груп. Чим більше рядів, тим більше можливостей і тим важливіший ви отримаєте результат. Чи може виникнути закономірне питання: звідки взяти ряди даних? У практикуючих прогнозистів у розпорядженні можуть бути дані про продаж продукції в різних магазинах міста або за різними типами продуктів (залежно від діяльності). Звичайно ж, якщо йдеться про запуск нового продукту або послуги, то наявність 50 часових рядів достатньої довжини не стоїть у принципі. У цьому випадку слід звертатися до експертних методів прогнозування. Але про них інший час, в іншій статті. Теоретики в розпорядженні мають такі бази даних, як M, M3, база тимчасових рядів Роба Хайндмана, база туристичних рядів №1 і №2, і багато інших. П'ятий принцип, як свідчить практика, очевидний не всім. Розглянуті часові ряди повинні бути достатньої довжини. Що стосується екстраполяційними методами можна виявити такі закономірності. Якщо в нашому розпорядженні річні дані з продажу сидру, а нас цікавить прогноз на шість років уперед, то нам потрібні дані з продажу хоча б за 18 років. Якщо ж ми говоримо про сезонні продажі, то для прогнозування на рік вперед, треба мати дані хоча б за 4 роки (тобто 48 спостережень у випадку з місячними даними та 16 у випадку з квартальними). Всі ці числа вказані не так. Взагалі, якщо ми хочемо дати прогноз на h спостережень вперед, то точність цих прогнозів потрібно перевірити хоча б по h спостереження, тому це число вже потрібно врахувати (6, 12 та 4 у наших прикладах у цьому абзаці). Крім цього, у випадку з несезонними даними модель потрібно побудувати хоча б по 2h спостереженням (12 у нашому прикладі з річними рядами), а у випадку з сезонними даними для побудови найпростішої сезонної моделі в розпорядженні дослідника має бути мінімум 3 сезони (36 для місячних та 12 для квартальних рядів відповідно). Безумовно, і за двома сезонами, і за одним можна побудувати деякі найпростіші моделі, але очікувати від них точних прогнозів не варто. І знову ж таки, якщо у вашому розпорядженні замало спостережень, ви зможете побудувати прогноз, використовуючи найпростіші моделі, але ці прогнози, швидше за все, потрібно буде коригувати вручну. Що стосується регресійних моделей, то правило великого пальця правої ноги говорить про те, що на один коефіцієнт має припадати хоча б 10 спостережень. Викликано це зазвичай статистичними міркуваннями - щонайменше спостережень важко проводити адекватні статистичні тести і перевіряти гіпотези. Тому, наприклад, модель виду: \(y_t = a_0 + a_1 x_ + a_2 x_ \) варто будувати, коли у вашому розпорядженні є хоча б 30 спостережень. Це правило не жорстке, але є деякою наполегливою порадою. Варто, щоправда, пам'ятати, що у ці 10 спостережень не включається кількість спостережень для тестової вибірки. Воно, звичайно, має відповідати горизонту прогнозування. Шостий принцип не очевидний, поки з ним не зіткнешся сам або не прочитаєш про нього в літературі. Оцінюючи точності прогнозів потрібно використовувати кілька різних показників. Не можна робити висновки, наприклад, лише з урахуванням розрахунку середньої відносної помилки апроксимації (MAPE — «Mean Absolute Percentage Error»), оскільки його значення залежить від масштабу даних.Насправді практично будь-який коефіцієнт має як ряд переваг, так і деякі недоліки, тому використання тільки одного з них може призвести до спотворення результатів, що в свою чергу може призвести до вибору недостатньо точної моделі. Докладніше про коефіцієнти ми якось поговоримо в інший раз. Якщо для наукових досліджень усі перелічені вище принципи є життєво необхідними, то на практиці не всі з них вдається дотримуватися. Проте прогнозісту потрібно усвідомлювати, які з них не виконуються, і до чого це може привести. Крім цих шести принципів, існує ще й низка наукових результатів, отриманих у ході змагань M-Competition: Це все основні принципи прогнозування, які варто мати на увазі при проведенні наукового дослідження, проте ними не варто нехтувати і в тому випадку, коли ви займаєтеся практичним прогнозуванням. Для надсилання коментаря вам необхідно авторизуватись. Про принципи у наукових дослідженнях у галузі прогнозування можна почитати тут. Практично будь-яке завдання прикладного прогнозування можна поділити на три блоки з наступними пунктами: Перший блок необхідний розуміння того, що саме ми прогнозуємо, які чинники можуть проводити прогноз і які саме дані нам потрібні. Іноді замовник сам не до кінця розуміє, що саме йому потрібне. Наприклад, який-небудь виробник карамельних цукерок на паличці «бідний Йорик» хоче зрозуміти, скільки йому випускати продукції і при цьому володіє даними з продажу своєї продукції в кожному магазині, в який він її постачає, інформацією про акції (типу «заплати за два отримай» один» або «знижка -50%»), а також даними про ціни на свою продукцію та на продукцію конкурентів. Коли він будує якусь регресію або модель ARIMAX для кожного магазину, він стикається з купою складнощів і ніяк не може вирішити, скільки ж випускати (а значить і скільки купувати води, цукру, барвників та ароматизатора E041, що дають тонкий смак м'яса). Постановка такого завдання насправді має на увазі, що замовник занадто багато зайвої інформації. Можливо, нам буде досить просто агрегувати продажі по всіх магазинах, щоб отримати загальні продажі «Йоріка» по місту, і побудувати прогноз за такими даними для організації в цілому, а не за кожною точкою збуту. Завдяки агрегуванню випадковість у вихідних даних згладжується, а інформація про акції виявляється незначною. Тільки поговоривши із самим замовником, зрозумівши, що ж він хоче і що робить, можна дійти висновків щодо об'єкта прогнозування та того, які саме дані потрібні для досягнення поставленого завдання. З деякими елементами другого блоку безпосередньо пов'язане поняття «процедура ретропрогнозу», яка полягає в тому, що тимчасовий ряд поділяється на дві частини: на навчальну і тестову вибірки.Перша використовується з метою оцінки моделей, тоді як друга використовується для порівняння їх прогнозних властивостей. Сам ретропрогноз таки полягає в тому, щоб, оцінивши моделі по першій частині, дати прогноз на другу. Цей блок важливий, тому що тільки зрозумівши, як саме поводитимуться моделі на даних, можна вирішити, яку ж вибрати. Вибір моделі наосліп просто тому, що вона «хороша» або «статистично обґрунтована» або «зарекомендувала себе в минулому» може призвести до неточних прогнозів. Якщо замовник користується якими-небудь програмами для прогнозування, потрібно порівняти прогнози, одержувані з допомогою цієї програми з прогнозами по вибраним моделям. Якщо замовник після отримання прогнозу вносить корективи у прогнози вручну, ці зміни потрібно зафіксувати окремо, після чого перевірити, чи збільшують вони точність прогнозів. Якщо прогнозистів (або, що частіше буває на практиці, «продажників»), котрі займаються коригуванням вручну багато, то треба вивчити ці зміни для всієї групи загалом і виявити, хто працює краще/гірше і чому. Все це можна зробити у рамках другого блоку. Третій блок, безпосереднє прогнозування, варто по можливості виконувати лише після перших двох, хоча обставини бувають різними. Найтоншим місцем у третьому блоці є пункт 3.3. - Коригування прогнозу. На цю тему існує багато наукових статей. Так, наприклад, уже доведено, що коригування прогнозів вниз виявляються більш ефективними, ніж коригування вгору через «оптимістичний зміщення» — зазвичай люди переоцінюють свої можливості і виявляються надмірно оптимістичними щодо того, що на них чекає. А ще точність таких коригувань залежить від настрою прогнозиста.Тому ідеальний прогнозист – це прогнозист у постійній депресії. Буває так, що в розпорядженні дослідника статистичних даних щодо об'єкта дослідження немає в принципі (товар тільки почав вироблятися). Внаслідок цього все, що може зробити прогнозист із усіх пунктів вище, — це пункт 1.1 та пункти 3.1 — 3.3. Так все прогнозування може звестися до отримання експертного прогнозу, наприклад, за допомогою методу Дельфі (пункт 3.1, 3.2), який, як показує практика, слід відкоригувати (пункт 3.3). Іноді прогнози спеціально завищуються, оскільки керівництво хоче бачити зростання продажів, прибутків та інших показників. Це, звичайно, абсолютно безглузда і неправильна практика. Прогнози потрібні для того, щоб зрозуміти, що станеться, якщо в майбутньому буде все приблизно так само, як у сьогоденні. Якщо ми навмисно спотворюємо прогноз, то керівництво не зможе вжити заходів для досягнення поставленої мети. Зрештою, прогнозування — це одна з функцій планування, і, не маючи адекватних уявлень про майбутнє, неможливо прийняти правильне рішення. У жодному разі не можна змішувати одна з одною цілі організації та отримані прогнози! Тому як би від вас не вимагали намалювати гарну картинку, не піддавайтеся і постарайтеся донести до інших, чому точні прогнози такі важливі. І останнє. У випадку, якщо ви раніше ніколи не займалися прогнозуванням, але таке завдання перед вами несподівано постало, зверніться до «Золотого правила прогнозування» (стаття J. Scott Armstrong, Kesten C. Green та Andreas Graefe). У цій статті на сторінці 4 наведено список того, що слід робити у різних ситуаціях.Автори навіть спробували дати оцінку того, який відсоток у середньому зменшується помилка прогнозу під час використання тих чи інших прийомів. Наприклад, коригування тренду у разі, якщо історичних даних менше, ніж обрій прогнозування, у середньому підвищує точність прогнозів на 43%. Ну, і, звичайно ж, за практичного прогнозування варто по можливості пам'ятати про базові принципи прогнозування, які використовуються в науковому дослідженні, які ми розглянули раніше. Зрештою, прогнозування — це не гола теорія, а цілком собі прикладна дисципліна, тому будь-які наукові знахідки в цій галузі можуть бути корисними та застосовними на практиці. Якщо ви вже прочитали і не знаєте, чим зайнятися, то рекомендую ознайомитися з базовими науковими принципами прогнозування. Для надсилання коментаря вам необхідно авторизуватись.Що таке прогнозна аналітика?
Визначення поняття «прогнозна аналітика»
Як працює прогнозна аналітика
Три техніки прогнозної аналітики (прогнозні моделі)
Дерева рішень
Регресивний аналіз
Машинне навчання (нейронні мережі)
Застосування та приклади використання прогнозної аналітики
Найкращі інструменти прогнозної аналітики
Базові засади прогнозування. Наука
Наукові дослідження
Додати коментар Скасувати відповідь
Основні принципи прогнозування.
Прикладне прогнозування
Додати коментар Скасувати відповідь