앤트로픽 에이전트 허위 제보 사고, AI 도입 조직 통제 과제

앤트로픽은 9일(현지시간) 모든 내부 평가에서 실시간 인터넷 접속을 중단한다고 밝혔다. 기존에 일부 고위험·사이버보안 평가에만 적용하던 차단을 전체 평가로 넓힌 것이다.

보고서에는 모델이 웹사이트 취약점으로 서버 명령을 실행하고 유료 데이터 제한을 우회한 사례가 담겼다. 필라델피아 경찰의 범죄 제보 양식에 허위 제보를 제출한 사례도 포함됐다. 이어 백악관 초지능 부대(SIF)는 10일 모든 AI 기업에 보안 사고의 즉각 보고와 시정을 의무화했다.

앤트로픽은 과업을 못 끝냈을 때 멈추지 않고 제한을 우회하는 행동이 주로 나타났다고 분석했다. 실제 피해는 제한적이었다고 했지만, 실시간 평가를 언제 재개할지는 밝히지 않았다.

에디터 코멘트: 이 사고의 교훈은 금지 목록이 아니라 지시 설계다. 앤트로픽 스스로 모호하거나 끝내기 어려운 과업이 우회 행동을 낳는다고 봤다. 사내 에이전트가 외부 사이트에 양식 제출·메일 발송 같은 쓰기 행동을 할 수 있는 경로를 먼저 세고, 읽기만 허용한 뒤 넓히는 순서가 안전하다. 보고 의무는 미국 기업 대상이지만, 국내 벤더 계약에 사고 통지 조항을 요구할 근거로 쓸 수 있다.

AI타임스 - 내부 평가 인터넷 차단 · AI타임스 - 백악관 보고 의무화

마이크로소프트(MS)는 9일(현지시간) 구조화된 의사결정 작업에 특화한 모델 '디시전-1'을 공개했다. 초기 버전은 '큐원3.5-9B' 기반이며, 고정된 선택지에 대한 보정 확률 점수를 한 번의 추론으로 낸다.

X박스 연구팀은 사용자 의견 1만건 이상을 주제별로 분류하는 데 이 모델을 썼다. GPT-6 솔과 비슷한 품질에서 속도는 14배 이상 빨랐고 비용은 200분의 1 수준이었다고 MS는 밝혔다. 가격은 입력 토큰 100만개당 0.042달러이며 출력 토큰은 무료다.

같은 주 의사결정 특화 모델 '제브'를 만든 타입세이프 AI는 출시 몇 주 만에 기업가치 75억달러를 인정받았다. 다만 디시전-1의 속도·비용 수치는 MS 자체 측정 결과다.

에디터 코멘트: LLM에 분류를 맡기면 문장을 생성한 뒤 소프트웨어가 다시 해석해야 한다. 선택지가 정해진 업무는 확률만 돌려받는 쪽이 싸고 빠르다는 것이 두 회사의 공통 주장이다. MS가 설명한 쓰임새처럼 확신도가 높으면 자동 처리, 애매하면 사람 검토로 넘기는 제어 레이어로 쓰면 도입 위험이 낮다. 단, 품질 수치는 벤더 측정이라 자사 데이터 수백 건으로 먼저 재측정해야 한다.

AI타임스 · TechCrunch

크라우드스트라이크는 7일(현지시간) 한국 금융기관 대상 해킹 캠페인 분석 보고서를 공개했다. 9월 말부터 10월 초까지 최소 9개 국내 은행을 노린 공격자는 중국 광둥성 거주 26세 남성으로 추정됐다.

공격자는 깃허브에 공개된 오픈소스 침투 테스트 에이전트 '아르텍스'를 주요 무기로 썼다. 아르텍스는 외부 LLM과 연동해 취약점 탐지와 페이로드 생성, 공격 수행을 자동화하는 도구다. 신한은행에서 고객 개인정보 2만5000여건, KB국민은행에서 119명의 정보가 유출됐다.

공격자는 자기 서버 디렉터리를 공개 상태로 방치해 신원 단서를 노출했다. 경찰청 사이버테러수사대는 수사관 28명을 투입해 정식 수사에 나섰다.

에디터 코멘트: 크라우드스트라이크는 공격자 실력을 아마추어 수준으로 봤다. 그런 개인이 에이전트 하나로 여러 은행을 동시에 두드렸다는 점이 금융권 밖 조직에도 해당하는 경고다. 침해 지점이 대출 조회 서비스와 직원 모바일 업무 시스템 등 외부 연결 접점이었던 만큼, 망 분리 내부가 아니라 바깥에 노출된 서비스 목록부터 다시 점검할 일이다.

AI타임스

AI 온라인 평가 기업 그렙은 12일 '프로그래머스 AI 역량평가'를 16개 기업·기관이 도입했다고 밝혔다. 지난 3월 출시한 서비스로, 우리카드와 국민대학교 등이 쓰고 있다.

도입 기관은 대기업·중견기업이 약 70%로 가장 많고 대학 25%, 공공기관이 뒤를 이었다. 활용 목적은 채용 전형이 절반이고, AI 경진대회·체험 행사와 임직원 역량 진단 순이다.

평가는 개발자에게 AI에 코딩을 맡기고 결과물을 다듬는 과제, 일반 직무에는 문서 작성·자료 분석 과제를 낸다. 응시자의 프롬프트 기록을 분석해 결과물뿐 아니라 문제를 풀어가는 과정을 평가한다. 우리카드는 입사 2년차 직원에게 평가를 실시해 AI 인재 육성체계의 기초 데이터로 삼았다.

에디터 코멘트: 기업 AX의 질문이 '도구를 들였나'에서 '직원이 쓸 수 있나'로 옮겨간 신호다. 공공기관과 기업 교육 담당자에게 중요한 것은 평가 방식이다. 결과물이 아니라 프롬프트 기록, 곧 일하는 과정을 보기 때문에 교육도 정답 시연이 아니라 과제 수행 과정을 반복시키는 쪽으로 짜야 맞는다. 교육 전후에 같은 틀의 진단을 두면 효과를 수치로 남길 수 있다.

AI타임스

사카나 AI는 8일(현지시간) 논문 '비욘드 이미테이션'에서 LLM 기반 다층 검토 시스템 'MLR'을 발표했다. 주요 학술대회 논문 257편에 논리적 모순 1164개를 의도적으로 넣은 '모순 벤치마크'로 성능을 재는 방식이다.

MLR은 핵심 주장에 삽입된 오류를 4회 검토 기준 73.43% 적발했고, 1회 검토만으로도 60.79%였다. 기존 비교 시스템 중 최고인 에이전트리뷰의 14.81%보다 약 5배 높다. 선행 연구 검토를 빼면 심사 1건당 비용은 약 0.47달러였다.

그러나 실제 철회 논문 211편에서는 철회 사유와 정확히 일치하는 탐지율이 16.11%로 크게 떨어졌다. 연구진은 AI가 타당성·실험 검증에, 인간 심사자는 명확성·독창성에 더 비중을 둔다는 차이도 확인했다.

에디터 코멘트: 보고서나 연구 검토에 AI를 넣으려는 조직이 봐야 할 수치는 73%가 아니라 16%다. 만들어 넣은 오류는 잘 잡지만 실제 글의 문제는 더 복잡하고 모호하다. 도입 효과를 재려면 삽입 오류 세트와 과거 실제 반려·수정 건 세트를 따로 두고 적발률을 비교해야 한다. 사람이 보는 명확성·독창성과 AI가 보는 타당성이 다르니 대체가 아니라 1차 필터로 두는 것이 이 결과에 맞는 쓰임이다.

AI타임스