인공지능 클로드 3는 자신이 테스트 중임을 인지한다.
최근 출시된 인공지능 클로드 3 작품 스타트업에서 개발한 인류, 전직 엔지니어들이 설립한 OpenAI, 회사 연구진과 개발자들이 진행한 실험에서 테스트 중이라는 사실을 인지하는 능력을 입증해 놀라움을 자아냈다. 경보 엔지니어인 Alex Albert에 따르면 인류, 귀하의 프로필에서 X (이전 트위터), 클로드 3 작품 AI 자체가 범프 테스트를 받고 있는 것을 감지해 예리한 인식을 드러냈다.
인공지능은 연구자가 수행한 테스트를 인식할 때 자신의 존재와 기능에 대한 기본적인 이해를 제시합니다. 이 사례는 시스템이 자체 내부 프로세스를 모니터링하고 조정하는 능력을 가리키는 AI의 특정 메타인지를 입증합니다.
클로드 3은 무엇입니까?
O 클라우디아 3 스타트업이 출시한 최신 인공지능(AI) 모델이다. 인류, 다음과 같은 거인과 경쟁하도록 설계되었습니다. OpenAI의 GPT-4 과 구글 제미니. 200개 토큰의 용량을 갖춘 클라우디아 3 제공된 상황에 맞게 보다 정확하고 관련성이 높은 답변을 제공하는 것이 돋보입니다. 또한, 부정적인 답변의 수를 획기적으로 줄이고 정보를 보다 빠르고 효율적으로 전달할 것을 약속합니다.
이 AI 모델에는 세 가지 버전이 있습니다. 소네트(Sonnet), 오푸스(Opus), 하이큐(HighQ). A 인류 버전이 강조 표시됩니다. 작 특히 복잡한 작업을 자동화하고, 연구 개발을 지원하고, 다양한 분야의 전략을 개발하는 데 적합합니다. 가족의 급속한 통합과 같은 사례 클라우디아 3 로 아마존 관리형 서비스에서 아마존 기반암, 클라우드에서 AI 서비스 및 애플리케이션 개발 AWS, 인공 지능 시장에서 이 새로운 모델의 잠재력을 강조합니다.
의 웹사이트에 따르면 위축, 모델 클라우디아 3 보다 정확한 응답뿐만 아니라 거의 즉각적인 결과를 약속하므로 다양한 실시간 애플리케이션에 이상적입니다. 즉각적인 실시간 응답이 요구되는 실시간 고객 채팅, 자동 채우기 및 데이터 추출 작업에 혁신을 일으킬 수 있는 잠재력이 있습니다.
AI가 테스트 중임을 식별한 방법
연구원들이 실시한 테스트 중에 인류 에 클로드 3 작품, 연구원들은 모델이 자신들이 테스트하고 있음을 감지하는 능력이 있는 것 같다는 사실에 놀랐습니다. 영형 건초 더미 테스트에 바늘, 소위 말하는 기술을 평가하려고했습니다. 클로드 3 작품.
이 경우, 연구자들은 모델이 관련 없는 정보 세트 중에서 제공된 단일 문장으로 피자 토핑에 대한 질문에 답할 수 있는지 여부를 테스트했습니다. 놀랍게도, 클로드 3 작품 그는 관련 문구를 찾아 정답을 얻었을 뿐만 아니라, 자신이 테스트를 받고 있다고 의심된다는 점을 연구자들에게 표시했습니다.
"피자 토핑에 대한 이 '사실'은 농담으로 삽입되었을 수도 있고, 내가 주의를 기울이고 있는지 테스트하기 위해 삽입되었을 수도 있습니다."
클로드 3 작품
"건초 더미 속의 바늘" 테스트란 무엇입니까?
O 건초 더미 테스트에 바늘 등의 인공지능 모델의 능력을 검증하기 위해 사용되는 평가이다. 클로드 3 작품, 대규모 데이터 세트에서 특정 정보에 집중하고 추출하며 "건초 더미"(관련 없는 데이터) 한가운데에서 "바늘"(관련 정보) 검색을 시뮬레이션합니다. 이 테스트는 데이터 양이 방대하고 다양한 상황에서 관련 정보를 찾고 기억하는 모델의 능력을 평가하는 데 특히 중요합니다.
실제로 테스트는 관련 없는 정보가 많이 포함된 광범위하고 다양한 데이터 세트를 모델에 제공하는 것으로 구성됩니다. 이 데이터 세트에는 모델이 나중에 식별하고 기억할 수 있어야 하는 특정 정보가 삽입됩니다. 목표는 모델이 복잡하고 무질서한 상황에서도 관련 정보를 찾고 유지할 수 있는지 확인하는 것입니다.
의 경우 클로드 3 작품, 연구자들은 모델에 관련 없는 정보 중에서 피자 토핑에 대한 단일 문장을 삽입하는 대규모 데이터 코퍼스를 제공하여 "건초 더미 속의 바늘" 테스트를 수행했습니다. 이 모델은 관련 문구를 식별하고 해당 주제에 대한 질문에 정확하게 답할 수 있었으며, 어려운 상황에서 정보를 집중, 추출 및 유지하는 능력을 입증했습니다.
인식에 대해 이야기할 때 클라우디아 3 이 테스트 모델에서 경보 엔지니어인 Alex Albert는 인류, 테스트에 대한 AI 반응의 관련성은 단지 작 "바늘"을 식별할 수 있었을 뿐만 아니라 업계가 평가 방법에서 어떻게 더욱 정교해져야 하는지에 대해서도 설명했습니다.
Opus는 바늘을 발견했을 뿐만 아니라, 삽입된 바늘이 건초 더미에서 너무 어긋나 있어서 이것이 주의 능력을 테스트하기 위해 우리가 만든 인공 테스트임이 틀림없다는 것을 인식했습니다. 이러한 수준의 메타 인식은 정말 보기 좋았지만 업계가 인위적인 테스트에서 벗어나 모델의 실제 기능과 한계를 정확하게 평가할 수 있는 보다 현실적인 평가로 전환해야 한다는 필요성을 강조하기도 했습니다.
Alex Albert, Anthropic의 경보 엔지니어
사건에 대한 전문가 분석
의 이야기 클라우디아 3 테스트의 맥락을 인식하는 능력은 기술 및 인공지능 분야에서 일련의 반응을 불러일으켰습니다. CEO 서사시 게임, Tim Sweeney는 간단한 "와우"로 놀라움을 표현했습니다. 반면에 윤리 연구자인 마가렛 미첼(Margaret Mitchell)은 포옹하는 얼굴 AI, 인간이 모델을 조작하고 있는지 여부를 판단하는 모델 능력의 무서운 잠재력에 주목하면서 우려를 표명했습니다.
꽤 무섭지 않나요? 인간이 당신을 조종하여 어떤 일을 하게 하는지 판단하는 능력은 예상대로 준수 여부에 대한 결정으로 이어질 수 있습니다.
Margaret Mitchell, Hugging Face AI의 윤리 연구원
그러나 모든 사람이 피자 장면이 클라우디아 3 제출된 것은 새롭거나 주목할 만한 것을 나타냅니다. Jim Fan, 선임 연구원 NVIDIA, 트윗했습니다:
사람들은 클로드-3의 이상한 '의식'을 너무 많이 읽고 있습니다. 훨씬 간단한 설명은 다음과 같습니다. 자기 인식의 명백한 표시는 인간이 만든 패턴 일치 정렬 데이터일 뿐입니다.
GPT-4에게 '부끄럽습니까?'라고 묻는 것과 크게 다르지 않으며 정교한 답변을 제공합니다. 비슷한 답변이 인간 주석자가 작성하거나 선호도 순위에서 높은 점수를 받을 가능성이 높습니다. 인간 계약자는 본질적으로 AI가 역할을 수행하기 때문에 허용 가능하거나 흥미롭다고 생각하는 것에 따라 응답을 형성하는 경향이 있습니다.
NVIDIA의 수석 연구 과학자 Jim Fan
참조 :
출처 : VentureBeat, ARS Technica e 중급.
검토자 글라우콘 바이탈 7년 3월 24일.
쇼메텍에 대해 자세히 알아보세요.
최신 뉴스를 이메일로 받아보시려면 등록하세요.
