Как мы можем использовать глубокое обучение с малыми данными? – Лидеры мнений

Когда речь идет о том, чтобы быть в курсе последних тенденций в области кибербезопасности, процесс отслеживания последних событий может стать довольно утомительным, поскольку существует много новостей, за которыми нужно следить. Однако в последнее время ситуация изменилась кардинально, поскольку область кибербезопасности вращается вокруг двух слов – глубокое обучение.

Хотя мы были первоначально поражены огромным вниманием, которое получило глубокое обучение, быстро стало ясно, что ажиотаж, вызванный глубоким обучением, был полностью оправдан. Аналогично человеческому мозгу, глубокое обучение позволяет модели ИИ достигать очень точных результатов, выполняя задачи直接 из текста, изображений и аудиосигналов.

До сих пор широко считалось, что глубокое обучение требует огромного набора данных, подобного тому, который имеется у гигантов Кремниевой долины, таких как Google и Facebook, для решения наиболее сложных проблем внутри организации. Однако, вопреки распространенному мнению, предприятия могут использовать силу глубокого обучения, даже имея доступ только к ограниченному пулу данных.

В попытке помочь нашим читателям приобрести необходимые знания, чтобы оснастить свою организацию глубоким обучением, мы составили статью, которая глубоко (без намерения сделать каламбур) погружается в некоторые способы, которыми предприятия могут использовать преимущества глубокого обучения, несмотря на ограниченный доступ к данным.

Но прежде чем мы сможем приступить к основной части статьи, мы хотели бы сделать небольшое, но очень важное предложение – начинайте с простого. Прежде чем вы начнете создавать нейронные сети, достаточно сложные, чтобы быть представленными в научно-фантастическом фильме, начните с экспериментов над простыми и традиционными моделями (например, случайным лесом), чтобы привыкнуть к программному обеспечению.

Теперь, когда это выяснилось, давайте перейдем к некоторым способам, которыми предприятия могут объединить технологию глубокого обучения, имея доступ к ограниченным данным.

#1- Уточнение базовой модели:

Как мы уже упоминали выше, первый шаг, который предприятия должны сделать после создания простой базовой модели глубокого обучения, – это уточнить ее для конкретной задачи.

Однако уточнение базовой модели на бумаге звучит намного сложнее, чем на самом деле. Основная идея behind уточнением большой модели для удовлетворения конкретных потребностей предприятия проста – вы берете большую модель, которая имеет некоторое сходство с вашей областью, и затем уточняете детали исходной модели с помощью ваших ограниченных данных.

Что касается получения большой модели, владельцы предприятий могут полагаться на ImageNet, который также предоставляет простое решение проблем классификации изображений. Набор данных, размещенный на ImageNet, позволяет организациям получить доступ к миллионам изображений, которые разделены на несколько классов изображений, что может быть полезно для предприятий из различных областей, включая, но не ограничиваясь, изображениями животных и т. д.

Если процесс уточнения предварительно обученной модели для удовлетворения конкретных потребностей вашей организации все еще кажется слишком сложным, мы рекомендуем обратиться за помощью в Интернет, поскольку простой поиск в Google предоставит вам сотни учебников о том, как уточнить набор данных.

#2- Сбор больше данных:

Хотя второй пункт в нашем списке может показаться излишним для некоторых наших более циничных читателей, факт остается фактом – когда речь идет о глубоком обучении, чем больше ваш набор данных, тем более точные результаты вы сможете получить.

Хотя суть этой статьи заключается в предоставлении предприятиям с ограниченным набором данных необходимой информации, мы часто имели неудовольствие встречать слишком многих “высокопоставленных” лиц, которые рассматривают инвестиции в сбор данных как равносильные совершению греха.

Слишком часто предприятия упускают из виду преимущества, предлагаемые глубоким обучением, просто потому, что они неохотно вкладывают время и усилия в сбор данных. Если ваше предприятие не уверено в количестве данных, которое необходимо собрать, мы рекомендуем построить кривые обучения, когда дополнительные данные интегрируются в модель, и наблюдать за изменением производительности модели.

Вопреки распространенному мнению, поддерживаемому многими CSO и CISO, иногда лучший способ решить проблемы – это сбор более актуальных данных. Роль CSO и CISO очень важна в этом случае, поскольку всегда существует угроза кибератак. Было обнаружено, что в 2019 году общая сумма расходов на кибербезопасность составила 103,1 миллиарда долларов, и эта цифра продолжает расти. Чтобы поставить это в перспективу, давайте рассмотрим простой пример – представьте, что вы пытаетесь классифицировать редкие бриллианты, но имеете доступ только к ограниченному набору данных. Самый очевидный способ решить эту проблему – собрать больше данных!

#3- Увеличение данных:

Хотя первые два пункта, которые мы обсудили выше, являются очень эффективными в предоставлении простого решения большинства проблем, связанных с реализацией глубокого обучения в предприятиях с ограниченным набором данных, они сильно полагаются на определенный уровень удачи.

Если вы не можете добиться успеха в уточнении предварительно существующего набора данных, мы рекомендуем попробовать увеличение данных. Способ увеличения данных прост. Через процесс увеличения данных входной набор данных изменяется, или увеличивается, таким образом, что он дает новый выход, не изменяя при этом метку.

Чтобы проиллюстрировать идею увеличения данных для наших читателей, давайте рассмотрим изображение собаки. Когда оно поворачивается, зритель изображения все равно сможет сказать, что это изображение собаки. Это именно то, чего добивается хорошее увеличение данных, в отличие от поворачивающегося изображения дороги, которое меняет угол возвышения и оставляет много места для алгоритма глубокого обучения прийти к неправильному выводу и нарушить цель реализации глубокого обучения.

Когда речь идет о решении проблем, связанных с классификацией изображений, увеличение данных играет ключевую роль в этой области и предлагает различные методы увеличения данных, которые помогают модели глубокого обучения глубоко понять различные классификации изображений.

Более того, когда речь идет об увеличении данных – возможности практически бесконечны. Предприятия могут реализовать увеличение данных различными способами, включая NLP и эксперименты с GAN, что позволяет алгоритму генерировать новые данные.

#4- Реализация ансамблевого эффекта:

Технология глубокого обучения гласит, что сеть построена на нескольких слоях. Однако, вопреки распространенному мнению, поддерживаемому многими, вместо того, чтобы рассматривать каждый слой как “всегда увеличивающуюся” иерархию функций, последний слой служит механизмом ансамбля.

Верование, что предприятия с ограниченным набором данных должны выбрать построение своих сетей глубже, также было выражено в статье NIPs, которая отражала наше мнение, выраженное выше. Предприятия с ограниченным набором данных могут легко манипулировать ансамблевым эффектом, просто строя свои сети глубже, уточняя или используя альтернативные методы.

#5- Включение автоэнкодеров:

Хотя пятый пункт, который мы рассмотрели, получил относительно небольшой успех – мы все еще поддерживаем использование автоэнкодеров для предварительной подготовки сети и правильной инициализации.

Одна из основных причин, почему предприятия не могут преодолеть первоначальные препятствия интеграции глубокого обучения, заключается в плохой инициализации и ее многочисленных ловушках. Непосредственная предварительная подготовка часто приводит к плохой или неправильной реализации технологии глубокого обучения, где автоэнкодеры могут блеснуть.

Основная идея нейронной сети заключается в создании нейронной сети, которая предсказывает характер входных данных. Если вы не уверены, как использовать автоэнкодер, есть несколько учебников в Интернете, которые предоставляют четкие инструкции.

В заключение:

В конце статьи мы хотим повторить то, что мы сказали на протяжении всей статьи, с одним дополнением – включение домен-специфических знаний в процесс обучения! Не только включение ценных знаний ускоряет процесс обучения, но также позволяет технологии глубокого обучения производить лучшие и более точные результаты.