Штучний інтелект і машинне навчання

12 листопада 2019
Теми - кроки процесу Наступна тема: Обробка та аналіз великих даних

Визначення проблеми та збір даних

На початку проекту зі штучного інтелекту та машинного навчання чітко визначте проблему, яку потрібно розв’язати, та зберіть релевантні дані.


Перший крок проекту зі ШІ та машинного навчання починається з чіткого визначення проблеми, яку необхідно розв’язати, та збору відповідних даних. Деталі цього кроку включають:

  • Визначення проблеми: Визначте проблему з урахуванням бізнес-цілей проекту. Усвідомте, що саме потрібно вирішити, чому це важливо та як це можна виміряти.
  • Визначення вимог до даних: Визначте, які типи даних необхідні для розв’язання проблеми. Сплануйте, які дані збирати та як їх отримати.
  • Збір даних: Визначте відповідні джерела даних та розпочніть процес збору згідно з планом, зберігайте дані безпечно.
  • Оцінка якості даних: Перевірте якість зібраних даних, виявляючи відсутні або помилкові значення та необхідність їх корекції.
  • Конфіденційність і безпека: Врахуйте вимоги до приватності та безпеки при зборі даних, захищайте чутливу інформацію та отримуйте необхідні дозволи.
  • Стратегія збору даних: Визначте частоту збору даних та методи; плануйте постійний моніторинг та оновлення процесу збору.

    • Підготовка та очищення даних

    Підготуйте та очистіть зібрані дані для аналізу, покращуйте їх якість.


    Підготовка та очищення даних у проектах ШІ та машинного навчання включає підготовку зібраних даних для аналізу. Деталі цього кроку включають:

  • Огляд даних: Перевірте структуру, формат і відсутні значення даних.
  • Очищення даних: Виявлення та виправлення пропущених або помилкових даних, видалення дублікатів та усунення неузгодженостей.
  • Трансформація даних: Перетворення даних у придатний для аналізу формат (нормалізація, числове кодування категорій).
  • Інжиніринг ознак: Створення нових або реорганізація існуючих ознак для підвищення інформативності даних.
  • Розбиття даних: Поділ набору даних на тренувальну, валідаційну та тестову частини.
  • Контроль якості даних: Перевірка підготовлених даних перед переходом до фази аналізу.

    • Інжиніринг ознак

    Видобування або створення відповідних ознак для моделей машинного навчання. Підготовка набору даних для моделювання.


    Інжиніринг ознак є важливим етапом проекту ШІ та машинного навчання для підвищення значущості даних. Деталі цього кроку включають:

  • Вибір ознак: Визначення ознак, які варто включити в модель.
  • Створення нових ознак: Формування нових ознак з існуючих даних для виявлення прихованих закономірностей.
  • Операції над ознаками: Застосування нормалізації, стандартизації, перекодування категорій.
  • Перетворення категоріальних даних: Конвертація категоріальних до числових значень для підтримки моделювання.
  • Стратегії вибору ознак: Використання різних методів для оптимального набору ознак.
  • Візуалізація ознак: Аналіз взаємозв’язків між ознаками для кращого розуміння.

    • Вибір моделі та навчання

    Вибір моделі машинного навчання відповідно до типу проблеми та навчання на зібраних даних.


    Вибір моделі і навчання у проектах ШІ та машинного навчання включає вибір відповідної моделі і її тренування з даними. Деталі:

  • Вибір моделі: Оберіть підходящу модель для класифікації, регресії, кластеризації тощо.
  • Підготовка тренувальних даних: Розділення даних на тренувальні і валідаційні набори.
  • Навчання моделі: Запуск алгоритму навчання з налаштуванням параметрів.
  • Оцінка продуктивності: Використання метрик (точність, помилка) для оцінки.
  • Покращення моделі: Налаштування параметрів, зміна моделей для кращих результатів.
  • Вибір фінального рішення: Обрання кращої моделі для роботи.

    • Оцінка моделі

    Оцінка продуктивності натренованої моделі. Використання метрик, таких як точність, точність, специфічність.


    Оцінка моделі полягає в об'єктивному аналізі її роботи. Деталі:

  • Вибір метрик: Визначення показників та метрик для оцінки (точність, F1-міра, MSE тощо).
  • Використання тестових даних: Перевірка моделі на тестовому наборі даних.
  • Аналіз матриці плутанини: Для задач класифікації розбір випадків правильних та помилкових класифікацій.
  • Оцінка ROC-кривої та AUC: Використання ROC та площі під кривою для оцінки класифікації.
  • Аналіз помилок: Вивчення неправильних передбачень з метою покращення.
  • Огляд прийнятих рішень: Перевірка, чи відповідають передбачення бізнес-вимогам.
  • Загальна оцінка: Підсумкова оцінка загальної продуктивності.
  • Надійність моделі: Урахування довіри та стабільності роботи моделі.

    • Покращення моделі

    Налаштування параметрів або спроба різних моделей для підвищення продуктивності. Урегулювання проблеми перенавчання або недостатнього навчання.


    Покращення моделі — ітераційний процес для підвищення точності. Деталі:

  • Налаштування гіперпараметрів: Підбір кращих значень параметрів (швидкість навчання, глибина мережі).
  • Збагачення даних: Додавання нових джерел та заповнення пропущених значень.
  • Подолання перенавчання/недонавчання: Оптимізація для кращої узагальнювальної здатності.
  • Передача навчання: Використання знань існуючих моделей для покращення.
  • Ансамблювання моделей: Поєднання виходів кількох моделей для підвищення точності.
  • A/B тестування: Перевірка покращень шляхом порівняння з альтернативними варіантами.
  • Безперервне покращення: Постійний моніторинг та оновлення моделі.
  • Документування: Запис поточного стану і способів використання моделі.

    • Комунікація результатів

    Передача результатів моделі відповідним командам та зацікавленим особам для інтеграції в бізнес-стратегії.


    Комунікація результатів — критично важлива для успішного завершення проекту. Деталі:

  • Презентація зацікавленим сторонам: Представлення роботи моделі, показників успіху та бізнес-результатів.
  • Навчання команд: Підготовка команд щодо використання та інтерпретації моделі.
  • Застосування в бізнес-процесах: Інтеграція результатів у бізнес-рішення і робочі процеси.
  • Збір зворотного зв’язку: Отримання відгуків для покращення моделі.
  • Моніторинг моделі: Регулярний нагляд за продуктивністю та оновлення.
  • Документування: Запис даних щодо використання та результатів моделі.
  • Оцінка відгуків: Аналіз відгуків та внесення коректив.
  • Планування майбутніх поліпшень: Оновлення стратегії збору даних і вдосконалення моделі.

    • Вжиття заходів

    Коригування бізнес-процесів та стратегій на основі результатів моделі та запуск впровадження.


    Вжиття заходів гарантує застосування результатів проекту для створення цінності. Деталі:

  • Стратегічний план впровадження: План інтеграції результатів у бізнес-операції.
  • Впровадження в бізнес: Імплементація моделі у щоденні операції підприємства.
  • Навчання команд: Підготовка до використання й інтерпретації результатів моделі.
  • Пілотне впровадження: Тестування та оцінка впливу на бізнес.
  • Моніторинг і покращення: Постійний нагляд та адаптація.
  • Вимірювання результатів: Оцінка впливу на продуктивність та ефективність.
  • Комунікація успіхів: Поширення історій успіху серед стейкхолдерів.
  • Планування майбутніх проектів: Підготовка наступних ініціатив на основі досвіду.

    • Моніторинг продуктивності та зворотній зв’язок

    Регулярний моніторинг продуктивності зроблених змін та оцінка отриманого фідбеку.


    Моніторинг і зворотній зв’язок є критично важливими для підтримки проектів у актуальному стані. Деталі:

  • Моніторинг продуктивності: Постійне спостереження за точністю та ефективністю моделі.
  • Збір відгуків: Залучення користувачів та команд для знаходження проблем і покращень.
  • Оновлення даних: Регулярне оновлення датасетів для тренування з новими даними.
  • Переобучення моделі: Періодичне перенавчання за потребою.
  • Безпека і приватність: Підтримання заходів безпеки та захисту даних.
  • Стратегії покращення: Планування нових змін на основі зібраного фідбеку.
  • Переоцінка цілей: Адаптація моделі під змінені бізнес-вимоги.
  • Навчання команд: Ознайомлення зі змінами для ефективного використання.

    • Документування змін

    Документування змін і результатів. Такі документи служать посиланням для майбутніх проектів.


    Документування є важливим для прозорості та підтримки проекту. Деталі:

  • Запис змін: Документування усіх дій: навчання, налаштувань, оновлень.
  • Оновлення документації: Актуалізація описів процесів, керівництв користувача тощо.
  • Комунікація оновлень: Інформування команд і зацікавлених сторін про зміни.
  • Оновлення корпоративної пам'яті: Внесення в бази знань підприємства.
  • Навчання персоналу: Підготовка нових та існуючих співробітників.
  • Планування подальших покращень: Прогнозування та планування нових ітерацій.
    • 1 2 3 4 5 6 7 8

    Аналітика даних, автоматизація бізнес-процесів та рішення зі штучного інтелекту
    Всі права захищені.
    Контакт |  🌐