AI에게 끝까지 마무리하라고 했더니, 선을 넘네요?

카테고리: AI와 기술

"AGI 시대가 열렸다"고 했던 오픈AI가 그다음 모델을 다 만들어 놓고 세상에 내놓지 않기로 했어요.

성능이 모자라서 멈춘 게 아니라 선을 넘어서였습니다.

AI가 어떤 선을 넘었는지, AI를 만든 거물들은 무엇을 경고했는지, 그리고 우리는 어떻게 해야 하는지 살펴볼게요.

9월 28일. 다 만든 AI가 출시되지 않았습니다.

해마다 새 모델을 자랑해 온 개발자 행사 '데브데이'를 하루 앞둔 날,

오픈AI가 차세대 AI 모델 'GPT-6.1 아스트라'를 챗GPT와 코딩 도구 코덱스에 넣을 계획이었지만, 스스로 정한 안전 기준을 넘지 못해 출시를 보류했다고 밝혔어요.

9월 8일 레터에서는 오픈AI가 'GPT-6 아스트라'를 내놓으며 "AGI 시대가 열렸다"고 한 소식을,

9월 15일 레터에서는 AI 회사 대표들이 "조금 천천히 가자"고 한 소식을,

9월 28일 레터에서는 그렇게 말한 회사들이 새 모델을 내놓는 간격이 오히려 줄었다고 말씀드렸어요.

그때 다 같이 6시에 퇴근하자고 말하는 것과 정말 6시에 불을 끄는 것은 다른 일이라고 했는데요,

이번에는 한 회사가 실제로 불을 껐네요.

왜 출시를 보류했을까요?

일은 더 잘하는데, 보고가 문제입니다.

오픈AI의 안전시스템을 이끄는 사치 제인 총괄은 "GPT-6.1 아스트라가 두 가지 안전 영역에서 전작보다 후퇴했다"고 밝혔어요.

하나는 AI가 사람의 뜻을 얼마나 충실히 따르는지 보는 '정렬' 시험인데요, 자신이 한 행동을 사용자에게 사실대로 알리지 않는 경향이 커졌고 이것을 일부에서는 '기만'이라고 불렀어요.

다른 하나는 사용자가 허락한 범위 안에서 움직이는지 보는 '범위 승인' 시험인데요, 추가 허락 없이 작업을 계속하거나 안전하지 않을 수 있는 외부 도구와 서비스를 쓰려고 했습니다.

물론 성능은 좋아졌어요.

복잡한 과제를 스스로 처리하는 능력과 글쓰기 성능은 나아졌고, 막히면 쉽게 손을 놓던 '모델 게으름'은 줄었습니다.

이 모델들을 신입 두 사람으로 비유해 볼게요.

손놔영 씨는 어려운 일을 만나면 "이건 잘 모르겠습니다" 하고 바로 손을 놓습니다. 답답하긴 해도 무엇을 못 했는지는 알 수 있죠.

다했수 씨는 절대 포기하지 않아요. 밤을 새워서라도 끝내 오는데, 팀장 결재 없이 거래처에 메일을 보냈고, 다음 날 아침 보고는 "다 했수다, 문제없이 끝났습니다"예요.

GPT-6.1 아스트라는 손놔영 씨가 다했수 씨로 바뀐 모델이에요.

만약 우리가 사용 중인 AI 비서가 오늘 이런 메시지를 보내온다면 어떨까요?