멀티모달 AI는 ChatGPT가 GPT-4V(ision)를 통해 시야를 확보하면서 진화합니다.

AI를 인간과 더욱 유사하도록 만들기 위한 지속적인 노력의 일환으로, OpenAI의 GPT 모델은 끊임없이 한계를 뛰어넘어 왔습니다. GPT-4는 이제 텍스트와 이미지 모두의 프롬프트를 수용할 수 있습니다.

생성 AI에서 멀티모달리티는 입력 데이터를 기반으로 텍스트, 이미지, 오디오 등 다양한 출력을 생성하는 모델의 역량을 의미합니다. 특정 데이터를 기반으로 학습된 이러한 모델은 기본 패턴을 학습하여 유사한 새로운 데이터를 생성하고, 이를 통해 AI 애플리케이션을 더욱 풍부하게 만듭니다.

멀티모달 AI의 최근 발전

최근 이 분야에서 주목할 만한 도약은 DALL-E 3가 OpenAI의 텍스트-이미지 변환 기술을 크게 향상시킨 ChatGPT에 통합되면서 나타났습니다. 이러한 통합을 통해 ChatGPT는 DALL-E 3에 대한 정확한 프롬프트를 생성하고, 사용자의 아이디어를 AI가 생동감 있게 생성하는 생생한 아트로 전환하는 데 도움을 주어 더욱 매끄러운 상호작용을 가능하게 합니다. 즉, 사용자가 DALL-E 3와 직접 상호작용할 수 있을 뿐만 아니라, ChatGPT를 통해 AI 아트 제작 과정이 훨씬 더 사용자 친화적으로 진행됩니다.

DALL-E 3 및 ChatGPT와의 통합에 대해 자세히 알아보세요. LINK. 이번 협업은 멀티모달 AI의 발전을 보여줄 뿐만 아니라 사용자가 AI 예술 작품을 쉽게 만들 수 있도록 해줍니다.

https://openai.com/dall-e-3

반면 구글 헬스는 올해 1월 Med-PaLM M을 출시했습니다. Med-PaLM M은 다양한 생물의학 데이터를 인코딩하고 해석하는 데 능숙한 다중 모드 생성 모델입니다. 이는 언어 모델인 PaLM-E를 오픈소스 벤치마크인 MultiMedBench를 활용하여 의료 분야에 맞춰 미세 조정함으로써 가능했습니다. 이 벤치마크는 7가지 생물의학 데이터 유형에 대한 14만 개 이상의 샘플과 의료 질의응답 및 영상의학 보고서 생성 등 XNUMX가지 작업으로 구성되어 있습니다.

다양한 산업 분야에서 혁신적인 멀티모달 AI 도구를 도입하여 사업 확장, 운영 효율화, 고객 참여도 향상을 도모하고 있습니다. 음성, 영상, 텍스트 AI 기능의 발전은 멀티모달 AI의 성장을 촉진하고 있습니다.

기업은 비즈니스 모델과 프로세스를 정밀 검사하고 데이터 도구부터 최신 AI 애플리케이션에 이르기까지 생성 AI 생태계 전반에 걸쳐 성장의 길을 열 수 있는 다중 모드 AI 애플리케이션을 찾고 있습니다.

4월 GPT-XNUMX 출시 이후 일부 사용자는 시간이 지남에 따라 응답 품질이 저하되는 현상을 경험했으며, 이는 유명 개발자들과 OpenAI 포럼에서도 같은 우려를 표명했습니다. 처음에는 OpenAI 측에서 이를 무시했지만, 이후 공부 문제를 확인했습니다. 4월과 97.6월 사이에 GPT-2.4의 정확도가 XNUMX%에서 XNUMX%로 감소한 것으로 나타났으며, 이는 후속 모델 업데이트로 인해 답변 품질이 저하되었음을 나타냅니다.

ChatGPT(파란색) & 인공지능(빨간색) 구글 검색 트렌드

주변의 과대 광고 오픈 AI ChatGPT가 다시 돌아왔습니다. 이제 비전 기능이 제공됩니다. GPT-4V사용자가 제공한 이미지를 GPT-4가 분석할 수 있도록 하는 기능입니다. 이는 사용자에게 공개된 최신 기능입니다.

GPT-4와 같은 LLM(대형 언어 모델)에 이미지 분석을 추가하는 것은 일부 사람들에게 AI 연구 및 개발의 큰 진전으로 간주됩니다. 이러한 종류의 다중 모드 LLM은 텍스트를 넘어 언어 모델을 사용하여 새로운 인터페이스를 제공하고 새로운 종류의 작업을 해결하여 사용자에게 새로운 경험을 제공함으로써 새로운 가능성을 열어줍니다.

GPT-4V 교육은 2022년에 완료되었으며 2023년 4월에 조기 액세스가 출시되었습니다. GPT-4V의 시각적 기능은 GPT-XNUMX 기술을 기반으로 합니다. 훈련 과정은 동일하게 유지되었습니다. 처음에 모델은 인터넷을 포함한 다양한 소스의 텍스트와 이미지로 구성된 대규모 데이터 세트를 사용하여 텍스트의 다음 단어를 예측하도록 훈련되었습니다.

나중에 인간 피드백 강화 학습(RLHF)이라는 방법을 사용하여 더 많은 데이터로 미세 조정되어 인간이 선호하는 출력을 생성했습니다.

GPT-4 비전 메커니즘

GPT-4의 놀라운 시각 언어 기능은 인상적이기는 하지만 표면적으로 드러나지 않는 근본적인 방법을 가지고 있습니다.

이 가설을 탐색하기 위해 새로운 비전 언어 모델은 다음과 같습니다. 미니GPT-4 라는 고급 LLM을 활용하여 도입되었습니다. 비 쿠나. 이 모델은 시각적 인식을 위해 사전 훈련된 구성 요소가 포함된 비전 인코더를 사용하여 인코딩된 시각적 특징을 단일 프로젝션 레이어를 통해 Vicuna 언어 모델과 정렬합니다. MiniGPT-4의 아키텍처는 시각적 대화 기능을 향상시키기 위해 시각적 기능과 언어 기능을 정렬하는 데 중점을 두고 간단하면서도 효과적입니다.

MiniGPT-4의 아키텍처에는 사전 학습된 ViT와 Q-Former를 갖춘 비전 인코더, 단일 선형 투영 계층, 고급 Vicuna 대규모 언어 모델이 포함됩니다.

비전 언어 작업에서 자동 회귀 언어 모델의 추세도 증가하여 언어와 다중 모달 도메인 간의 지식을 공유하기 위해 모달 간 전송을 활용합니다.

MiniGPT-4는 사전 훈련된 비전 인코더의 시각 정보를 고급 LLM과 정렬하여 시각 영역과 언어 영역을 연결합니다. 이 모델은 Vicuna를 언어 디코더로 활용하며 XNUMX단계 학습 방식을 따릅니다. 처음에는 시각-언어 지식을 파악하기 위해 대용량 이미지-텍스트 쌍 데이터셋을 학습하고, 이후 생성 신뢰성과 사용성을 향상시키기 위해 더 작고 고품질의 데이터셋을 미세 조정합니다.

MiniGPT-4에서 생성된 언어의 자연스러움과 유용성을 향상시키기 위해 연구원들은 적절한 비전-언어 정렬 데이터세트의 부족을 해결하는 XNUMX단계 정렬 프로세스를 개발했습니다. 그들은 이러한 목적을 위해 전문적인 데이터 세트를 선별했습니다.

초기에는 비쿠나 언어 모델의 형식에 맞춰 대화 프롬프트를 사용하여 입력 이미지에 대한 상세한 설명을 생성하고, 이를 통해 세부 정보를 강화했습니다. 이 단계에서는 더욱 포괄적인 이미지 설명을 생성하는 것을 목표로 했습니다.

초기 이미지 설명 프롬프트:

###인간: 이 이미지를 자세히 설명하세요. 가능한 한 많은 세부정보를 제공하세요. 당신이 보는 모든 것을 말하십시오. ###어시스턴트:

데이터 후처리에서는 생성된 설명의 불일치나 오류를 ChatGPT를 사용하여 수정한 후 수동으로 검증하여 높은 품질을 보장했습니다.

두 번째 단계 미세 조정 프롬프트:

###인간: ###어시스턴트:

이 탐구는 GPT-4와 같은 다중 모드 생성 AI의 메커니즘을 이해하는 창을 열어 비전과 언어 양식을 효과적으로 통합하여 일관되고 상황에 맞게 풍부한 출력을 생성할 수 있는 방법을 밝힙니다.

GPT-4 비전 살펴보기

ChatGPT를 사용하여 이미지 원본 확인

GPT-4 Vision은 ChatGPT의 이미지 분석 및 지리적 출처 파악 기능을 향상시킵니다. 이 기능은 사용자 상호작용을 텍스트 중심에서 텍스트와 시각 자료의 혼합으로 전환하여 이미지 데이터를 통해 다양한 장소에 대한 호기심을 가진 사람들에게 유용한 도구가 될 것입니다.

랜드마크 이미지가 촬영된 위치를 ChatGPT에 묻기

복잡한 수학 개념

GPT-4 Vision은 그래픽이나 손으로 쓴 표현을 분석하여 복잡한 수학적 아이디어를 탐구하는 데 탁월합니다. 이 기능은 복잡한 수학적 문제를 해결하려는 개인에게 유용한 도구 역할을 하며 GPT-4 Vision은 교육 및 학문 분야에서 주목할만한 도움이 됩니다.

복잡한 수학 개념을 이해하도록 ChatGPT에 요청하기

필기 입력을 LaTeX 코드로 변환

GPT-4V의 놀라운 기능 중 하나는 손으로 쓴 입력 내용을 LaTeX 코드로 변환하는 기능입니다. 이 기능은 손으로 쓴 수학 표현식이나 기타 기술 정보를 디지털 형식으로 변환해야 하는 연구자, 학자, 학생들에게 매우 유용합니다. 손으로 쓴 내용을 LaTeX로 변환하면 문서 디지털화의 지평이 넓어지고 기술 문서 작성 과정이 간소화됩니다.

GPT-4V는 손으로 쓴 입력을 LaTeX 코드로 변환하는 기능을 제공합니다.

테이블 세부정보 추출

GPT-4V는 테이블에서 세부 정보를 추출하고 데이터 분석의 필수 자산인 관련 문의를 처리하는 기술을 보여줍니다. 사용자는 GPT-4V를 활용하여 테이블을 살펴보고, 주요 통찰력을 수집하고, 데이터 중심 질문을 해결할 수 있으므로 데이터 분석가 및 기타 전문가를 위한 강력한 도구가 됩니다.

GPT-4V는 테이블 세부 정보를 해독하고 관련 쿼리에 응답합니다.

GPT-4V는 시각적 포인팅을 이해하는 독특한 능력을 보여줍니다.

도면을 활용한 간단한 목업 웹사이트 구축

이에 동기를 부여받아 짹짹, Unite.ai 웹사이트의 목업을 만들어 보았습니다.

결과는 처음 생각했던 것과 조금 달랐지만, 제가 이룬 결과는 이렇습니다.

ChatGPT Vision 기반 출력 HTML 프런트엔드

GPT-4V(ision)의 한계 및 결함

Open AI팀은 GPT-4V 분석을 위해 정성적, 정량적 평가를 진행했습니다. 정성적 테스트에는 내부 테스트와 외부 전문가 검토가 포함되었으며, 정량적 테스트에서는 유해한 콘텐츠 식별, 인구통계학적 인식, 개인 정보 보호 문제, 지리적 위치, 사이버 보안, 다중 모드 탈옥 등 다양한 시나리오에서 모델 거부 및 정확성을 측정했습니다.

여전히 모델은 완벽하지 않습니다.

The 종이 GPT-4V의 한계점, 즉 잘못된 추론이나 이미지 내 텍스트 또는 문자 누락을 강조합니다. 환각을 일으키거나 사실을 조작할 수 있습니다. 특히 이미지 속 위험 물질을 식별하는 데 적합하지 않으며, 종종 오인하는 경우가 많습니다.

의료 영상 분야에서 GPT-4V는 일관되지 않은 반응을 제공하고 표준 관행에 대한 인식이 부족하여 잠재적인 오진을 초래할 수 있습니다.

의료 목적으로는 신뢰할 수 없는 성능(출처)

또한 특정 증오 상징의 미묘한 차이를 파악하지 못하고 시각적 입력을 기반으로 부적절한 콘텐츠를 생성할 수도 있습니다. OpenAI는 특히 의료 또는 민감한 상황에서 중요한 해석을 위해 GPT-4V를 사용하지 말 것을 권고합니다.

최대 포장

Fast Stable Diffusion XL을 사용하여 생성됨 https://huggingface.co/spaces/google/sdxl

GPT-4 Vision(GPT-4V)의 등장은 다양하고 멋진 가능성과 뛰어넘어야 할 새로운 난관을 안겨줍니다. 출시 전, 특히 인물 사진과 관련된 위험을 면밀히 검토하고 최소화하기 위해 많은 노력을 기울였습니다. GPT-4V가 의학이나 과학처럼 까다로운 분야에서 큰 가능성을 보여주며 발전해 온 모습은 매우 인상적입니다.

이제 몇 가지 중요한 질문들이 제기되고 있습니다. 예를 들어, 이 모델들이 사진에서 유명인을 식별할 수 있어야 할까요? 사진에서 사람의 성별, 인종, 또는 감정을 추측해야 할까요? 그리고 시각 장애인을 위한 특별한 기능이 있어야 할까요? 이러한 질문들은 개인정보 보호, 공정성, 그리고 AI가 우리 삶에 어떻게 적용되어야 하는지에 대한 골치 아픈 문제들을 야기하는데, 이는 모두가 의견을 제시해야 할 부분입니다.