Растущая обеспокоенность по поводу галлюцинаций и предвзятости ИИ: в отчете Aporia за 2024 год подчеркивается острая необходимость в отраслевых стандартах

A недавний репортаж из Апории, лидер в секторе платформ управления ИИ, обнародовал некоторые поразительные открытия в области искусственного интеллекта и машинного обучения (ИИ и МО). Исследование, озаглавленное «Отчет об искусственном интеллекте и машинном обучении за 2024 год: эволюция моделей и решений», проведенное Aporia, указывает на растущую тенденцию галлюцинаций и предубеждений в рамках генеративного искусственного интеллекта и моделей большого языка (LLM), сигнализируя о серьезной проблеме для отрасли, быстро продвигающейся к зрелость.

Галлюцинации ИИ относятся к случаям, когда порождающие генеративные модели ИИ производят неправильные, бессмысленные или оторванные от реальности результаты. Эти галлюцинации могут варьироваться от незначительных неточностей до значительных ошибок, включая создание предвзятого или потенциально вредного контента.

Последствия галлюцинаций ИИ могут быть значительными, тем более что эти модели все больше интегрируются в различные аспекты бизнеса и общества. Например, неточность в информации, генерируемой ИИ, может привести к дезинформации, а предвзятый контент может увековечить стереотипы или недобросовестную практику. В таких чувствительных приложениях, как здравоохранение, финансы или юридические консультации, такие ошибки могут иметь серьезные последствия, влияя на решения и результаты.

Результаты исследования подчеркивают необходимость бдительного мониторинга и наблюдения за моделями производства.

В опросе Aporia приняли участие 1,000 специалистов по машинному обучению из Северной Америки и Великобритании. Эти специалисты работают в компаниях с численностью сотрудников от 500 до 7,000 человек в таких секторах, как финансы, здравоохранение, туризм, страхование, программное обеспечение и розничная торговля. Результаты исследования подчёркивают как проблемы, так и возможности, стоящие перед руководителями производства в сфере машинного обучения, проливая свет на важнейшую роль оптимизации ИИ для повышения эффективности и создания ценности.

Ключевые выводы из отчета включает в себя:

1. Распространенность операционных проблем: Подавляющее большинство инженеров по машинному обучению сообщают о том, что сталкиваются с проблемами при работе с производственными моделями ежедневно или еженедельно. Эта важная статистика подчеркивает острую необходимость в эффективных инструментах мониторинга и контроля для обеспечения бесперебойной работы.
2. Частота галлюцинаций ИИ: около 89% инженеров, работающих с большими языковыми моделями и генеративным искусственным интеллектом, сообщают, что испытывают галлюцинации в этих моделях. Эти галлюцинации проявляются в виде фактических ошибок, предубеждений или контента, который может нанести вред.
3. Сосредоточьтесь на смягчении предвзятости: Несмотря на препятствия в обнаружении предвзятых данных и отсутствие достаточных инструментов мониторинга, заметные 83% респондентов опроса подчеркивают важность мониторинга предвзятости в проектах ИИ.
4. Важность наблюдения в реальном времени: около 88% специалистов по машинному обучению считают, что наблюдение в режиме реального времени имеет важное значение для выявления проблем в производственных моделях, а эта возможность присутствует не на всех предприятиях из-за отсутствия инструментов автоматического мониторинга.
5. Ресурсные инвестиции в развитие: В отчете показано, что в среднем компании инвестируют около четырех месяцев в разработку инструментов и панелей мониторинга для мониторинга производства, что подчеркивает потенциальные опасения относительно эффективности и рентабельности таких инвестиций.

«Наш отчет демонстрирует явный консенсус в отрасли: продукты искусственного интеллекта внедряются быстрыми темпами, и если эти модели машинного обучения не будут контролироваться, будут последствия». заявил Лиран Хасон, генеральный директор Aporia. «Инженеры, стоящие за этими инструментами, заявили: с технологией есть проблемы, и их можно исправить. Но необходимы правильные инструменты наблюдения, чтобы гарантировать, что предприятия и потребители получают наилучший продукт, свободный от галлюцинаций и предвзятости».

выражение сомненияКомпания, стремящаяся повысить эффективность продуктов искусственного интеллекта на основе машинного обучения, решает проблемы многозадачности (MLOps) и выступает за ответственное применение искусственного интеллекта. Клиентоориентированный подход компании и учет отзывов пользователей привели к разработке надежных инструментов и функций для улучшения пользовательского опыта, поддержки расширения производственных моделей и устранения галлюцинаций.

Полный отчет Aporia предлагает углубленный взгляд на эти выводы и их значение для индустрии искусственного интеллекта. Чтобы узнать больше, посетите Отчет об исследовании Апории.