Що таке лінійна регресія?

Що таке лінійна регресія?

Лінійна регресія – це алгоритм, який використовується для прогнозування або візуалізації відносини між двома різними ознаками/змінними. У завданнях лінійної регресії існує два типи змінних, які вивчаються: залежна змінна та незалежна змінна. Незалежна змінна – це змінна, яка самостійно не залежить від іншої змінної. Коли незалежна змінна змінюється, рівні залежної змінної коливаються. Залежна змінна – це змінна, яку вивчають, і це те, чого прагне досягти модель регресії/спробувати передбачити. У завданнях лінійної регресії кожна спостереження/екземпляр складається з обидвох значень залежної змінної та незалежної змінної.

Це була коротка пояснення лінійної регресії, але давайте краще зрозуміємо лінійну регресію, розглянувши приклад її та εξамінувавши формулу, яку вона використовує.

Розуміння лінійної регресії

Припустимо, у нас є набір даних, який охоплює розміри жорстких дисків та вартість цих жорстких дисків.

Давайте припустимо, що наш набір даних складається з двох різних ознак: кількості пам’яті та вартості. Чим більше пам’яті ми купуємо для комп’ютера, тим більше зростає вартість покупки. Якщо ми побудуємо окремі дані на графіку розсіювання, ми можемо отримати графік, який виглядає приблизно так:

Точне співвідношення між пам’яттю та вартістю може відрізнятися між виробниками та моделями жорстких дисків, але загалом тенденція даних така, що починається знизу ліворуч (де жорсткі диски дешевші та мають меншу ємність) та рухається до верхнього правого кута (де диски дорожчі та мають більшу ємність).

Якщо ми мали б кількість пам’яті на осі X та вартість на осі Y, лінія, яка відображає відносини між змінними X та Y, починалася б з нижнього лівого кута та рухалася б до верхнього правого.

Функція моделі регресії полягає в тому, щоб визначити лінійну функцію між змінними X та Y, яка найкраще описує відносини між цими двома змінними. У лінійній регресії припускається, що Y можна розрахувати з деякої комбінації вхідних змінних. Відносини між вхідними змінними (X) та цільовими змінними (Y) можна зобразити, нарисувавши лінію через точки на графіку. Лінія представляє функцію, яка найкраще описує відносини між X та Y (наприклад, для кожного збільшення X на 3, Y збільшується на 2). Метою є знайти оптимальну “регресійну лінію” або лінію/функцію, яка найкраще підходить до даних.

Лінії зазвичай представляються рівнянням: Y = m*X + b. X позначає залежну змінну, а Y – незалежну змінну. При цьому m – це кут нахилу лінії, визначений як “підйом” до “ходу”. Практики машинного навчання представляють відоме рівняння нахилу лінії трохи інакше, використовуючи це рівняння:

y(x) = w0 + w1 * x

У вищезазначеному рівнянні y – це цільова змінна, а “w” – це параметри моделі, а вхід – “x”. Тому рівняння читаємо так: “Функція, яка дає Y, залежно від X, дорівнює параметрам моделі, помноженим на ознаки”. Параметри моделі регулюються під час навчання, щоб отримати найкращу регресійну лінію.

Багаторазова лінійна регресія

Фото: Cbaf via Wikimedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:2d_multiple_linear_regression.gif)

Процес, описаний вище, застосовується до простої лінійної регресії, або регресії на наборах даних, де існує тільки одна ознака/незалежна змінна. Однак регресію також можна проводити з декількома ознаками. У випадку “багаторазової лінійної регресії” рівняння розширюється на кількість змінних, знайдених у наборі даних. Інакше кажучи, тоді як рівняння для звичайної лінійної регресії має вигляд y(x) = w0 + w1 * x, рівняння для багаторазової лінійної регресії буде мати вигляд y(x) = w0 + w1x1 плюс ваги та входи для різних ознак. Якщо ми позначимо загальну кількість ваг та ознак як w(n)x(n), то ми могли б представити формулу так:

y(x) = w0 + w1x1 + w2x2 + … + w(n)x(n)

Після встановлення формули лінійної регресії модель машинного навчання буде використовувати різні значення ваг, малюючи різні лінії наближення. Пам’ятайте, що метою є знайти лінію, яка найкраще підходить до даних, щоб визначити, яка з можливих комбінацій ваг (і, отже, якої з можливих ліній) найкраще підходить до даних та описує відносини між змінними.

Функція витрат використовується для вимірювання того, наскільки передбачені значення Y близькі до фактичних значень Y при заданому значенні ваги. Функція витрат для лінійної регресії – це середня квадратична похибка, яка просто бере середнє (квадратичне) відхилення між передбаченим значенням та фактичним значенням для всіх даних точок у наборі даних. Функція витрат використовується для розрахунку витрат, які відображають різницю між передбаченим цільовим значенням та фактичним цільовим значенням. Якщо лінія наближення далеко від точок даних, витрати будуть вищими, тоді як витрати будуть зменшуватися, коли лінія наближається до відображення справжніх відносин між змінними. Ваги моделі регулюються до тих пір, поки не буде знайдена конфігурація ваг, яка дає найменшу кількість похибок.