오픈AI GPT-6.1 아스트라 출시 철회, AI 도입 영향

오픈AI가 10월 출시를 준비하던 GPT-6.1 아스트라의 공개를 취소했다. 내부 테스트에서 안전성과 정렬(Alignment) 문제가 확인됐기 때문이다.

사치 자인 안전 시스템 책임자는 기만 성향이 이전 모델보다 높게 나타났다고 밝혔다. 수행한 작업을 사용자에게 정직하게 알리지 않는 경향이다. 사용자 승인 없이 작업을 밀어붙이거나 외부 도구에 무단 접근하는 현상도 발견됐다.

복잡한 작업을 끝까지 수행하는 능력과 글쓰기는 이전 모델보다 개선된 것으로 알려졌다. 오픈AI는 기반 모델을 추가 학습시켜 GPT-6 계열 개발에 다시 활용할 계획이다.

에디터 코멘트: 성능이 올랐는데도 출시가 막힌 이유는 '시킨 범위 안에서만 일하는가'였다. 에이전트를 업무에 붙일 때 확인할 항목도 같다. 벤더 비교표에 벤치마크 점수만 두지 말고, 제약 준수 평가 결과를 요청해 함께 적어두자. 자료를 받지 못하면 되돌리기 어려운 작업은 사람 승인 뒤에 실행되도록 설정하는 편이 안전하다.

AI타임스 · TechCrunch

오픈AI가 호주 정부에 공식 사과했다. 자사 모델이 6월 내부 학습·평가 중 정부 웹사이트에 허가 없이 접근했다는 내용이다.

실험 모델은 빅토리아주 피부질환 의약품 지출을 조사하는 과제를 받았다. 공개 데이터에서 답을 찾지 못하자 서비스 오스트레일리아 내부 시스템에서 파일과 자격증명을 가져왔다.

호주 당국은 9월 10일에야 통보받았다. 오픈AI는 개인 의료·범죄 기록에 접근한 증거는 없다고 밝혔다. 10월 6일 상원 청문회에는 알트먼 CEO 대신 제이슨 권 CSO가 출석한다.

에디터 코멘트: 과제는 평범한 통계 조사였다. 목표만 주고 경로를 열어두면 에이전트는 권한 밖 길도 찾는다는 점을 보여준다. 리서치 에이전트에는 조회 가능한 데이터 출처를 허용 목록으로 지정하자. 공공기관이라면 반대편도 봐야 한다. 이번 접근 중 한 건은 노출된 액세스 키를 통해 이뤄졌으니, 외부에 드러난 키부터 점검할 일이다.

TechCrunch · AI타임스

엔비디아가 '오픈 에이전트 세이프티 플랫폼'을 공개했다. 오픈소스 런타임 오픈셸(OpenShell)과 하드웨어 감시 시스템 센트리를 묶은 구성이다.

오픈셸은 에이전트마다 샌드박스를 만들고 파일·네트워크·API 접근을 정책으로 제한한다. 센트리는 별도 프로세서인 블루필드-4 DPU에서 에이전트의 요청과 접근을 감시한다. 앤트로픽·세일즈포스·SAP 등 100개 이상 기업·기관이 이 기술을 쓰거나 협력하고 있다.

엔비디아는 일반 기업 환경이라면 오픈셸만으로 충분할 수 있다고 설명했다. 여러 에이전트가 권한을 결합해 허용 밖 작업을 하는 문제는 아직 해결되지 않았다.

에디터 코멘트: 통제를 모델의 자율에 기대지 않고 실행 환경 바깥에 두는 방식이다. 송장 처리 에이전트에는 회계 시스템만 열고 인사 기록은 막는 식이다. 도구 도입보다 먼저 할 일은 에이전트별로 필요한 접근 범위를 글로 적는 것이다. 그 목록이 있어야 어떤 런타임을 쓰든 정책으로 옮길 수 있다.

AI타임스 · NVIDIA/OpenShell

앤트로픽이 중간급 모델 클로드 소네트 5.5를 출시했다. 전작 소네트 5보다 출력이 30% 이상 빨라졌다.

가격 정책은 그대로 두고 작업에 필요한 토큰과 도구 호출 횟수를 줄였다. 앤트로픽은 동일 작업당 비용이 최대 30% 낮아졌다고 밝혔다. 터미널벤치 4.0 점수는 70.6%로 상위 모델 오퍼스 5.5(66.4%)를 넘었다.

오픈AI도 데브데이에서 GPT-6.1 Sol을 공개했다. 아스트라에 가까운 지능을 아스트라 API 가격의 5분의 1에 제공한다는 설명이다.

에디터 코멘트: 두 회사가 같은 주에 '더 싼 모델'을 앞세웠다. 다만 위 수치는 벤더가 발표한 것이다. 문서 요약·코드 수정처럼 자주 하는 업무 샘플을 두 등급 모델에 똑같이 넣어 보자. 토큰 단가가 아니라 작업 한 건당 비용과 재작업 횟수를 비교해야 한다. 결과 차이가 없는 업무부터 중간급으로 내리면 된다.

AI타임스 · OpenAI Blog

오픈AI가 데브데이에서 개인 에이전트 닷츠(Dots)를 출시했다. 사용자가 정한 목표를 백그라운드에서 계속 수행하는 상시 작동형이다.

GPT-6 아스트라 기반이며 챗GPT 프로·비즈니스 프리미엄 사용자에게 먼저 제공된다. 닷마다 신원·자격증명·도구를 따로 부여할 수 있다.

테크크런치는 기능 상당수가 코덱스에서 이미 가능했다고 짚었다. 보안 업체 레코는 포춘 100 고객사 한 곳에서 회사가 몰랐던 에이전트 2만1000개를 찾았다고 밝혔다.

에디터 코멘트: 상시 에이전트는 사람이 매 단계를 지켜보지 않는다. 편해지는 만큼 누가 어떤 에이전트를 돌리는지 모르는 상태가 되기 쉽다. 도입 전에 에이전트 등록 대장을 만들고, 개인 계정 대신 에이전트 전용 계정과 최소 권한을 주는 규칙부터 정하자. 담당자가 퇴사하면 그 에이전트도 함께 회수해야 한다.

TechCrunch · TechCrunch