Растущая обеспокоенность по поводу галлюцинаций и предвзятости ИИ: отчет Aporia за 2024 год подчеркивает необходимость отраслевых стандартов

Недавний отчет Aporia, лидера в секторе платформ контроля ИИ, привлек внимание к некоторым поразительным выводам в области искусственного интеллекта и машинного обучения (ИИ и МО). Названный “Отчет ИИ и МО за 2024 год: эволюция моделей и решений”, опрос, проведенный Aporia, указывает на растущую тенденцию галлюцинаций и предвзятости в генеративном ИИ и больших языковых моделях (БЯМ), сигнализируя о критическом вызове для отрасли, быстро продвигающейся к зрелости.

Галлюцинации ИИ относятся к случаям, когда генеративные модели ИИ производят выходные данные, которые неверны, бессмысленны или не связаны с реальностью. Эти галлюцинации могут варьироваться от незначительных неточностей до значительных ошибок, включая генерацию предвзятого или потенциально вредного контента.

Последствия галлюцинаций ИИ могут быть значительными, особенно поскольку эти модели все чаще интегрируются в различные аспекты бизнеса и общества. Например, неточность в сгенерированной ИИ информации может привести к дезинформации, в то время как предвзятый контент может увековечить стереотипы или несправедливые практики. В чувствительных приложениях, таких как здравоохранение, финансы или юридические консультации, такие ошибки могут иметь серьезные последствия, влияя на решения и результаты.

Выводы опроса подчеркивают необходимость бдительного наблюдения и наблюдения за производственными моделями.

Опрос Aporia включал ответы от 1000 специалистов по машинному обучению из Северной Америки и Великобритании. Эти люди работают в компаниях, варьирующихся от 500 до 7000 сотрудников, в секторах, таких как финансы, здравоохранение, путешествия, страхование, программное обеспечение и розничная торговля. Выводы подчеркивают как проблемы, так и возможности, с которыми сталкиваются лидеры производства МО, проливая свет на важную роль оптимизации ИИ для эффективности и создания ценности.

Ключевые выводы отчета включают:

1. Распространенность операционных проблем: подавляющие 93% инженеров по машинному обучению сообщают о проблемах с производственными моделями либо ежедневно, либо еженедельно. Этот значительный статистический показатель подчеркивает критическую необходимость эффективных инструментов мониторинга и контроля для обеспечения бесперебойной работы.
2. Инцидентность галлюцинаций ИИ: тревожные 89% инженеров, работающих с большими языковыми моделями и генеративным ИИ, сообщают о галлюцинациях в этих моделях. Эти галлюцинации проявляются как фактические ошибки, предвзятости или контент, который может быть вредным.
3. Фокус на смягчении предвзятости: несмотря на препятствия в обнаружении предвзятых данных и отсутствие достаточных инструментов мониторинга, заметные 83% респондентов опроса подчеркивают важность мониторинга предвзятости в проектах ИИ.
4. Важность реального времени наблюдаемости: значительная 88% специалистов по машинному обучению считают, что наблюдаемость в реальном времени необходима для выявления проблем в производственных моделях, возможности, которой не обладают все предприятия из-за отсутствия автоматических инструментов мониторинга.
5. Инвестиции ресурсов в разработку: отчет показывает, что в среднем компании тратят около четырех месяцев на разработку инструментов и панелей мониторинга для производства, что может вызвать обеспокоенность по поводу эффективности и экономической эффективности таких инвестиций.

“Наш отчет показывает ясный консенсус среди отрасли, продукты ИИ развертываются с быстрой скоростью, и будут последствия, если эти модели МО не будут контролироваться”, заявил Лиран Хасон, генеральный директор Aporia. “Инженеры, которые стоят за этими инструментами, высказались – есть проблемы с технологией, и они могут быть исправлены. Но для этого необходимы правильные инструменты наблюдаемости, чтобы обеспечить, чтобы предприятия и потребители получали лучший возможный продукт, свободный от галлюцинаций и предвзятости”.

Aporia, посвященная повышению эффективности продуктов ИИ, работающих на машинном обучении, решала проблемы MLOps и выступала за ответственные практики ИИ. Подход компании, ориентированный на клиента, и интеграция обратной связи пользователей привели к разработке прочных инструментов и функций для улучшения пользовательского опыта, поддержки расширения производственных моделей и помощи в устранении галлюцинаций.

Полный отчет Aporia предлагает подробный взгляд на эти выводы и их последствия для отрасли ИИ. Чтобы узнать больше, посетите Отчет опроса Aporia.