Що таке наукові дані?

Область наукових даних здається все більша і популярнішою кожен день. За даними LinkedIn, наукові дані були одним з найшвидше зростаючих напрямків роботи в 2017 році і в 2020 році Glassdoor поставив роботу наукового спеціаліста на третє місце серед найкращих робіт у США. У зв’язку з зростаючою популярністю наукових даних, не дивно, що все більше людей цікавляться цією галуззю. Однак, що таке наукові дані саме по собі?

Давайте познайомимося з науковими даними, витративши деякий час на визначення наукових даних, дослідження того, як великі дані та штучний інтелект змінюють галузь, вивчення деяких загальних інструментів наукових даних та дослідження деяких прикладів наукових даних.

Що таке наукові дані?

Перед тим, як ми зможемо дослідити будь-які інструменти наукових даних або приклади, нам потрібно отримати лаконічне визначення наукових даних.

Визначення “наукових даних” насправді трохи складне, оскільки термін застосовується до багатьох різних завдань та методів дослідження та аналізу. Ми можемо почати з того, що нагадаємо собі, що означає термін “наука”. Наука – це систематичне вивчення фізичного та природного світу через спостереження та експериментування, спрямоване на розвиток людського розуміння природних процесів. Найважливішими словами в цьому визначенні є “спостереження” та “розуміння”.

Якщо наукові дані – це процес розуміння світу з допомогою закономірностей у даних, то відповідальність наукового спеціаліста полягає в тому, щоб перетворити дані, проаналізувати дані та витягнути закономірності з даних. Інакше кажучи, науковому спеціалісту надаються дані, і він використовує ряд різних інструментів та методів для підготовки даних до аналізу, а потім аналізу даних для виявлення значущих закономірностей.

Роль наукового спеціаліста схожа на роль традиційного науковця. Обидва зайняті аналізом даних для підтвердження або спростування гіпотез про те, як працює світ, намагаючись зрозуміти закономірності в даних, щоб покращити наше розуміння світу. Науковці використовують ті самі наукові методи, що й традиційний науковець. Науковий спеціаліст починає з збору спостережень про деяке явище, яке він хоче вивчити. Потім він формулює гіпотезу про це явище та намагається знайти дані, які спростовують його гіпотезу якимсь чином.

Якщо гіпотеза не спростовується даними, він може спробувати створити теорію чи модель того, як працює це явище, яку він може потім перевірити знову і знову, щоб побачити, чи вона справді працює для інших подібних наборів даних. Якщо модель досить надійна, якщо вона добре пояснює закономірності та не спростовується під час інших тестів, її навіть можна використовувати для прогнозування майбутніх явищ цього типу.

Науковий спеціаліст зазвичай не збирає自己的 дані через експеримент. Він зазвичай не проектує експерименти з контрольними групами та подвійним сліпим методом для виявлення факторів, які можуть вплинути на гіпотезу. Більшість даних, які аналізуються науковим спеціалістом, будуть отримані через спостережувальні дослідження та системи, що є одним із способів, яким робота наукового спеціаліста може відрізнятися від роботи традиційного науковця, який зазвичай проводить більше експериментів.

Тим не менш, науковому спеціалісту може бути доручено проводити певний вид експериментів, наприклад тестування А/Б, при якому до системи, яка збирає дані, внесені зміни, щоб побачити, як зміниються закономірності даних.

Незалежно від використовуваних методів та інструментів, наукові дані в кінцевому підсумку спрямовані на покращення нашого розуміння світу, надаючи змогу зрозуміти дані та використовувати дані для кращого розуміння світу. Наукові дані – це процес використання алгоритмів, статистичних принципів та різних інструментів та машин для отримання інформації з даних, інформації, яка допомагає нам зрозуміти закономірності світу навколо нас.

Що роблять науковці?

Ви можете бачити, що будь-яка діяльність, яка включає аналіз даних науковим способом, може бути названа науковими даними, що є частиною того, чому визначення наукових даних так складне. Щоб зробити це зрозумілішим, давайте дослідимо деякі діяльності, які може виконувати науковий спеціаліст щодня.

Наукові дані об’єднують різні дисципліни та спеціальності. Фото: Calvin Andrus via Wikimeedia Commons, CC BY SA 3.0 (https://commons.wikimedia.org/wiki/File:DataScienceDisciplines.png)

У будь-який день науковий спеціаліст може бути запитаний на: створення схем зберігання та отримання даних, створення конвейерів даних ETL (екстракція, перетворення, завантаження) та очищення даних, використання статистичних методів, створення візуалізацій даних та панелей, реалізації алгоритмів штучного інтелекту та машинного навчання, надання рекомендацій щодо дій на основі даних.

Давайте розберемо завдання, перелічені вище, трохи.

Науковому спеціалісту може бути потрібно займатися встановленням технологій, необхідних для зберігання та отримання даних, звертаючи увагу як на апаратне, так і на програмне забезпечення. Особа, відповідальна за цю позицію, також може бути названа “Інженером даних“. Однак деякі компанії включають ці обов’язки до ролі наукового спеціаліста. Науковому спеціалісту також може бути потрібно створити або допомогти в створенні конвейерів даних ETL. Дані рідко приходять у форматі, який науковому спеціалісту потрібен. Замість цього дані потрібно отримувати у вигляді сирого формату з джерела даних, перетворювати у використовуваний формат та попередньо обробляти (наприклад, стандартизувати дані, видалити дублікати та пошкоджені дані).

Статистичні методи наукових даних

Застосування статистики необхідно для того, щоб перетворити просте спостереження даних та інтерпретацію їх у справжню науку. Статистичні методи використовуються для виявлення відповідних закономірностей у наборах даних, і науковому спеціалісту потрібно бути добре обізнаним у статистичних концепціях. Він повинен бути здатний розрізняти значущі кореляції та випадкові кореляції, контролюючи фактори, які можуть вплинути на результат. Він також повинен знати, які інструменти використовувати для визначення тих ознак у наборі даних, які важливі для його моделі/мають передбачувальну силу. Науковому спеціалісту потрібно знати, коли використовувати регресійний підхід, а коли – класифікаційний, і коли слід турбуватися про середнє значення вибірки, а коли – про медіану вибірки. Науковець просто не буде науковцем без цих важливих навичок.

Візуалізація даних

Важливою частиною роботи наукового спеціаліста є передача результатів іншим. Якщо науковий спеціаліст не може ефективно передавати свої висновки іншим, то значення його висновків не має значення. Науковому спеціалісту потрібно бути ефективним оповідачем. Це означає створення візуалізацій, які передають відповідні моменти про набір даних та закономірності, виявлені в ньому. Існує велика кількість різних інструментів візуалізації даних, які науковий спеціаліст може використовувати, і він може візуалізувати дані для початкового дослідження (експлораторного аналізу даних) або візуалізувати результати, які модель виробляє.

Рекомендації та бізнес-застосування

Науковому спеціалісту потрібно мати деяке уявлення про вимоги та цілі своєї організації чи бізнесу. Науковому спеціалісту потрібно розуміти ці речі, оскільки йому потрібно знати, які змінні та ознаки він повинен аналізувати, досліджуючи закономірності, які допоможуть його організації досягти своїх цілей. Науковому спеціалісту потрібно бути обізнаним про обмеження, під яким він працює, та припущення, які робить керівництво організації.

Машинне навчання та штучний інтелект

Машинне навчання та інші алгоритми та моделі штучного інтелекту – це інструменти, які науковці використовують для аналізу даних, виявлення закономірностей у даних, визначення відносин між змінними та прогнозування майбутніх подій.

Традиційні наукові дані проти великих наукові даних

З появою більш досконалих методів збору даних та більших баз даних виникла різниця між традиційними науковими даними та “великими науковими даними”.

Традиційний аналіз даних та наукові дані проводяться з використанням описових та дослідницьких аналізів, спрямованих на пошук закономірностей та аналіз результатів проектів. Традиційні методи аналізу даних часто зосереджені лише на минулих даних та поточних даних. Аналітики даних часто працюють з даними, які вже очищені та стандартизовані, тоді як науковці часто працюють з складними та “брудними” даними. Більш просунуті методи аналізу даних та наукові дані можуть використовуватися для прогнозування майбутньої поведінки, хоча це частіше робиться з великими даними, оскільки прогнозні моделі часто потребують великих обсягів даних для надійної побудови.

“Великі дані” означає дані, які надто великі та складні, щоб бути обробленими традиційними методами аналізу даних та науковими методами та інструментами. Великі дані часто збираються через онлайн-платформи, а просунуті інструменти перетворення даних використовуються для підготовки великих обсягів даних до інспекції науковими методами. Оскільки все більше даних збирається постійно, все більше роботи наукового спеціаліста полягає в аналізі великих даних.

Інструменти наукових даних

Загальні інструменти наукових даних включають інструменти для зберігання даних, проведення дослідницького аналізу даних, моделювання даних, проведення операцій ETL та візуалізації даних. Платформи, такі як Amazon Web Services, Microsoft Azure та Google Cloud, пропонують інструменти для допомоги науковим спеціалістам у зберіганні, перетворенні, аналізі та моделюванні даних. Є також окремі інструменти наукових даних, такі як Airflow (інфраструктура даних) та Tableau (візуалізація даних та аналіз).

Що стосується алгоритмів машинного навчання та штучного інтелекту, які використовуються для моделювання даних, вони часто надаються через модулі та платформи наукових даних, такі як TensorFlow, PyTorch та Azure Machine-learning studio. Ці платформи дозволяють науковим спеціалістам редагувати свої набори даних, складати архітектури машинного навчання та тренувати моделі машинного навчання.

Інші загальні інструменти наукових даних та бібліотеки включають SAS (для статистичного моделювання), Apache Spark (для аналізу потокових даних), D3.js (для інтерактивних візуалізацій у браузері) та Jupyter (для інтерактивних, спільних блоків коду та візуалізацій).

Фото: Seonjae Jo via Flickr, CC BY SA 2.0 (https://www.flickr.com/photos/130860834@N02/19786840570)

Приклади наукових даних

Приклади наукових даних та їх застосування можна побачити всюди. Наукові дані мають застосування у всіх сферах, від доставки їжі до спорту, транспорту та охорони здоров’я. Дані є всюди, тому наукові дані можуть бути застосовані до всього.

Що стосується їжі, Uber інвестує в розширення своєї системи доставки їжі, Uber Eats. Uber Eats потрібно доставляти людям їжу вчасно, поки вона ще гаряча та свіжа. Для цього науковці компанії повинні використовувати статистичне моделювання, яке враховує аспекти, такі як відстань від ресторанів до місць доставки, святкові сплески, час приготування та навіть погодні умови, все це з метою оптимізації часу доставки.

Статистика спорту використовується керівниками команд для визначення найкращих гравців та формування сильних, надійних команд, які виграють ігри. Одним із відомих прикладів є наукові дані, задокументовані Майклом Льюїсом у книзі Moneyball, де генеральний менеджер команди “Окленд Атлетікс” проаналізував різні статистичні дані, щоб визначити гравців високої якості, яких можна підписати в команду за відносно низьку ціну.

Аналіз трафіку критично важливий для створення самохідних транспортних засобів. Самохідні транспортні засоби повинні бути здатні передбачати діяльність навколо них та реагувати на зміни дорожніх умов, таких як збільшена зупинна відстань, необхідна при дощі, а також присутність більше автомобілів на дорозі під час години пік. Окрім самохідних транспортних засобів, програми, такі як Google Maps, аналізують трафік, щоб сказати комутерам, скільки часу їм потрібно, щоб дістатися до місця призначення за допомогою різних маршрутів та видів транспорту.

Що стосується охорони здоров’я, то комп’ютерне зору часто поєднується з машинним навчанням та іншими методами штучного інтелекту для створення класифікаторів зображень, здатних оглянути речі, такі як рентгенівські знімки, ФМРІ та ультразвук, щоб побачити, чи є якісь потенційні медичні проблеми, які можуть бути видні на скані. Ці алгоритми можна використовувати для допомоги клініцистам у діагностуванні захворювань.

У кінцевому підсумку наукові дані охоплюють численні діяльності та об’єднують аспекти різних дисциплін. Однак наукові дані завжди зайняті розповіданням цікавих історій з даних та використанням даних для кращого розуміння світу.