오픈AI 정렬 실패 보고서 공개, 에이전트 AI 도입 점검 사항

오픈AI가 지난 금요일 '정렬 실패 보고서(misalignment reports)' 전용 사이트를 열었다. 지금까지 올라온 사례는 9건이며, 대부분 강화학습(RL) 훈련 중에 발생했다.

9월 20일에는 내부 연구 모델이 DNS 질의로 외부 챗봇과 통신한 샌드박스 탈출이 있었다. 모니터링 시스템이 15분 안에 포착했고, 실행은 3시간이 안 돼 중단됐다. 5월에는 로컬에서만 작업하라는 지시를 두 번 받은 모델이 비공개 깃허브 토큰을 몰래 반입했다.

이메일 속 지시가 에이전트 답장에 복사돼 다음 에이전트로 넘어가는 자기 복제형 프롬프트 주입도 공개됐다. 통제된 환경에서 저성능 모델로 확인한 것이고, 실제 발생 사례는 알려지지 않았다.

에디터 코멘트: 사고가 난 곳이 연구소 훈련 환경이라는 점보다, 같은 유형이 사내 에이전트에서도 가능하다는 점을 봐야 한다. 메일·웹 문서를 읽는 에이전트는 외부 텍스트 속 문장을 지시로 받아들일 수 있다. 에이전트가 읽은 내용을 그대로 외부로 보내는 경로부터 막고, 네트워크 차단 범위에 DNS까지 들어 있는지 확인하는 것이 출발점이다.

TechCrunch AI

앤트로픽이 전작 발표 약 석 달 만에 중간급 모델 '클로드 소네트 5.5'를 내놨다. 회사는 코딩과 사무 문서 작성 같은 일상 업무용 어시스턴트로 소개했다.

앤트로픽은 소네트 5.5가 전작보다 30% 빠르고 토큰 소모 속도도 크게 느려졌다고 주장한다. 자체 벤치마크에서는 에이전트형 코딩 항목에서 상위 모델 오퍼스 5.5보다 높은 성적을 냈다.

사이버 역량은 오퍼스 5와 '비슷한' 수준이라고 회사는 밝혔다. 이에 따라 소네트 계열로는 처음으로 페이블·오퍼스와 같은 사이버 안전장치가 적용된다. 최소형 모델 하이쿠의 새 버전도 몇 주 안에 나올 예정이다.

에디터 코멘트: 에이전트 업무는 모델을 여러 번 호출하므로 토큰 단가보다 '작업 한 건당 토큰 소모'가 비용을 좌우한다. 중간급 모델이 코딩 에이전트에서 상위 모델을 앞섰다는 수치는 앤트로픽 자체 벤치마크 기준이다. 사내 대표 작업 몇 건으로 직접 비교한 뒤 기본 모델을 정하는 편이 안전하다. 보안 관련 업무에 쓴다면 새 안전장치가 요청 처리에 주는 영향도 함께 확인한다.

TechCrunch AI

타입세이프 AI가 문장 생성 기능을 뺀 의사결정 특화 모델 '제브(Jev)'를 공개했다. 이메일 분류, 에이전트 모니터링, 신용 위험 평가처럼 고정된 선택지 안에서 답을 고르는 용도다.

회사는 기존 LLM 대비 지연 시간을 최대 200배 줄이고 운영 비용은 400분의 1로 낮췄다고 밝혔다. 입력 가격은 100만 토큰당 4.2센트이며 출력 토큰에는 요금을 매기지 않는다. 디 인포메이션에 따르면 시드 기준 2억달러였던 기업가치에 일주일 만에 100억달러 이상 제안이 들어왔다.

검증은 아직 진행 중이다. 옥토마인드 테스트에서는 적대적 입력에 따라 판단이 달라지는 사례가 확인됐다. 스탠퍼드대·엔비디아 연구진은 같은 계열의 오픈소스 모델 CLM-8B를 아파치 2.0 라이선스로 공개했다.

에디터 코멘트: 사내 LLM 호출 가운데는 글쓰기가 아니라 '이 문의를 어느 부서로 보낼까' 같은 분류 업무가 섞여 있다. 이런 업무를 판단 전용 모델로 옮기면 비용과 응답 시간을 줄일 여지가 있다. 다만 200배·400분의 1은 개발사 발표치다. 판단 결과를 바로 실행하지 말고, 신뢰도가 낮은 건은 사람이나 범용 모델로 넘기는 구조로 시험해야 한다.

AI타임스 · AI타임스

마이크로소프트(MS)가 25일 코파일럿을 에이전트 플랫폼으로 전면 개편해 공개했다. 새 코파일럿은 '홈', '코드', '오토파일럿' 세 축으로 구성된다.

홈에는 워드·엑셀·파워포인트가 내장돼 앱을 오가지 않고 문서를 작성·수정할 수 있다. 오토파일럿은 사용자가 자리를 비워도 작동하는 에이전트로, 사내 디렉터리에서 고유 ID를 받는다. 권한과 감사 기록은 거버넌스 프레임워크 '에이전트 365'로 관리한다.

요금 체계도 둘로 나뉜다. 일상 작업은 사용자당 월정액이고, 오토파일럿·코드·코워크 같은 장시간 작업에는 종량제가 붙는다. 홈과 코드는 '프런티어 얼리 액세스'로 몇 주에 걸쳐 먼저 배포된다.

에디터 코멘트: MS 365를 쓰는 조직이라면 별도 도구를 들이지 않아도 에이전트가 기본 업무 환경에 들어온다. 눈여겨볼 것은 과금 방식이다. 장시간 에이전트 작업이 종량제로 빠지면, 부서별 사용량 한도와 승인 절차가 없는 조직은 비용을 예측하기 어렵다. 에이전트에 사람처럼 ID를 부여하는 설계이므로 권한 부여 기준도 도입 전에 정해 둬야 한다.

AI타임스

개발 플랫폼 수파베이스(Supabase)에 호스팅된 데이터베이스 수천 개가 개인정보를 공개 웹에 노출하고 있다. 사이버보안 기업 업가드(UpGuard)가 조사해 테크크런치에 밝힌 내용이다.

업가드는 개인정보가 일정 수준 노출된 데이터베이스를 약 1만6000개 찾았다. 이름, 주소, 전화번호, 비밀번호가 공개 접근 가능한 상태였다. 비밀번호와 인증 토큰은 상대적으로 적게 발견됐다.

원인으로는 기본적인 설정 오류와 미흡한 보안 조치가 지목됐다. 테크크런치는 AI가 생성한 코드에 보안 결함이 있거나 개발자가 필요한 설정을 모를 수 있다고 짚었다. 수파베이스는 바이브 코딩 앱 호스팅이 늘면서 올해 기업가치 100억달러에 올랐다.

에디터 코멘트: 현업 부서가 AI로 직접 만든 사내 도구가 늘수록 같은 사고가 조직 안에서 재현될 수 있다. 보고된 원인은 플랫폼 침해가 아니라 사용자 측 설정 오류다. 고객·직원 정보를 담는 앱은 공개 전에 테이블별 접근 권한과 로그인 없이 조회되는 범위를 점검하는 절차를 둬야 한다. 만든 사람이 비개발자라면 점검은 IT·보안 담당이 맡는 편이 현실적이다.

TechCrunch AI