GPT-6 아스트라+로봇팔 피지컬 AI 실험이 보여준 결과는?

다른 글에서 GPT-6 아스트라를 회사 시스템에 들일 때 무엇으로 통제해야 하는지를 다뤘는데요. 그 글 업로드 직후에 제가 좋아하는 피지컬AI 관련된 뉴스를 제 에이전트가 보내줬습니다. 그저 AI이기만 했던 이 모델이 실제 로봇 팔을 움직였다는 실험 결과입니다. 독립 벤치마크 기관 로보커브(Robocurve)가 9월 4일 공개한 이 실험은 해외에서는 해커뉴스 상단에 올라 며칠째 토론이 이어지고 있는데 국내에서는 이와 관련된 소식이 아직 많이 없었습니다. 로봇과 제조와 산업의 핵심 국가인 한국에서 이 얘기가 비어 있다는 게 좀 의외였습니다.

무슨 실험을 했나?

누가, 무엇으로 했나. 로보커브는 실물 로봇에 프론티어 모델을 올려 성능을 재고 공개하는 공익법인입니다. 이번 실험은 이곳에서 클로드 페이블 5와 5.1을 비교했던 앞선 실험의 후속으로, 같은 종류의 YAM 양팔 로봇(팔 하나당 6자유도, 평행 그리퍼)과 같은 에이전트 정책을 그대로 아스트라에 적용했습니다. 하네스는 로보커브가 오픈소스로 공개한 Inspect Robots 0.58.0 였습니다.

과제는 두 개.

하나는 테이블 위 빨간 블록을 집어 정해진 그릇에 넣는 것, 다른 하나는 둥근 파란 퍼즐 조각을 가운데 손잡이로 잡아 보드의 원형 홈에 끼우는 것입니다. 모델마다 20회씩, 세 모델 합쳐 총 120회를 돌렸고 원문 페이지에 120회 전부의 대화 기록과 영상이 올라와 있습니다.

모델이 맡아서 실제 한 일

실제로는 모델이 관절 모터를 직접 돌린 게 아닙니다. 매 턴마다 상단 카메라와 양쪽 손목 카메라 영상 세 개, 그리고 팔의 현재 상태를 받아서 각 팔의 집게가 가야 할 위치와 방향(x, y, z, 요, 피치, 롤)과 집게 개폐 값을 move_to 명령으로 돌려줍니다. 그 목표 자세를 실제 관절 각도로 바꾸는 계산은 로봇의 역기구학(IK) 시스템이 맡습니다. 즉 모델은 "어디로 가라"를 명령하고 로봇이 "어떻게 갈지"를 풀어 움직였다고 표현하는 게 정확합니다.

결과.

블록 과제에서 아스트라는 20회 중 19회 성공(95%)했고, 페이블 5.1은 8회(40%), 페이블 5는 1회(5%)였습니다. 회당 평균 시간은 2.5분 대 6.8분, 정가 기준 추정 비용은 0.94달러 대 2.12달러, 출력 토큰은 약 2,100개 대 12,900개입니다. 성공률이 두 배 넘게 오르면서 비용은 절반 이하로 감소했습니다. 이 시간과 비용은 성공한 시도만 카운팅한 것이 아니라 실패까지 포함한 전체 평균이었습니다.

퍼즐 과제는 다른 얘기입니다. 아스트라와 페이블 5.1 모두 20회 중 2회(10%), 페이블 5는 0회입니다. 로보커브는 사람이 각 시도의 최고 도달 단계를 0점(접근 없음)부터 4점(최종 배치)까지 매겼습니다. 아스트라는 대부분의 시도에서 3점, 즉 퍼즐 조각을 홈 바로 위까지는 가져갔다가 마지막에 밀어 넣는 단계에서 멈췄습니다. 페이블 5.1이 막힌 곳과 정확히 같은 지점입니다. 평균 단계 점수는 아스트라 2.00, 페이블 5.1 2.35입니다. 때문에 이 과제에서는 아직까진 아스트라가 더 낫다고 말할 수 없습니다.

한계도 분명히 있다.

로보커브가 적어둔 조건이 몇 가지 있습니다. 아스트라 실험은 페이블 실험 이틀 뒤에 따로 진행했고 번갈아 돌리지 않았습니다. 퍼즐 과제는 같은 장비를 썼지만 블록 과제는 페이블이 쓰던 장비가 점검 중이라 아스트라는 다른 장비에서 돌렸습니다. 채점자는 어떤 모델인지 아는 상태였고, 물체 배치는 손으로 초기화했으며, 세 모델 모두 중간 추론 강도에서만 시험했습니다. 비용은 실제 청구액이 아니라 토큰 수에 정가를 곱한 추정치입니다. 아스트라 입력의 약 5분의 1에 자동으로 적용된 캐시 할인은 빼지 않았으니 아스트라 쪽 비용은 오히려 부풀려 있을 수 있습니다. 표본이 과제 2개, 20회씩이라 통계적으로 두껍지 않다는 지적도 해외에서 나왔고 저도 그 지적에 동의하고 있습니다.

이 실험을 어떻게 읽어야 하나

로봇 전문 매체 Humanoids Daily는 이 결과를 두 가지로 나누어 봤습니다. 하나는 아스트라가 공식 발표에서 강조한 공간 추론 능력이 실물 조작으로 그대로 옮겨왔다는 것. 여러 각도의 렌더링을 보고 CAD 코드를 짜는 BenchCAD 95.9% 같은 능력을 말합니다. 다른 하나는 밀리미터 단위 접촉이 필요한 순간 이전 모델과 똑같은 벽에 부딪혔다는 것. 같은 매체는 유니트리 CEO 왕싱싱의 말을 빌려 디지털 모델은 손실 없는 벡터 공간에서 일하지만 물리 조작은 움직임마다 작은 오차가 누적되고 고주파 촉각 피드백 없이는 마지막 몇 밀리미터를 보정하기 어렵다고 설명합니다. 결론은 현재 눈으로 보고 계획하는 일은 언어 모델이 꽤나 잘하게 됐습니다. 하지만 손끝으로 느끼며 맞추는 일을 완벽히 해내기 위해서는 가야 할 길이 남아보입니다.

해커뉴스 토론에서 가장 설득력 있었던 반론도 같은 맥락인데, 이건 블록 하나 집는 작은 실험이고, 실제 팔 움직임은 IK 파이프라인이 처리했으며, 로봇 전용으로 훈련된 VLA(비전-언어-행동) 모델과 비교한 것도 아닙니다. 최신 로봇 시스템들이 상위 계획은 언어 모델에, 실제 제어는 별도 모델에 맡기는 계층 구조로 가고 있다는 지적도 있습니다.

그러니까 이 실험이 보여준 건 "아스트라가 로봇을 움직인다"가 아니라 정확히는 "아스트라가 카메라를 보고 목표 지점을 정하면 보조 계층이 움직인다"입니다. 그리고 그 위아래 계층 사이의 경계, 모델이 정하는 것과 모델 바깥에서 정해지는 것의 경계가 어디에 그어져 있는지가 이 글에서 하고 싶은 얘기입니다.

모델 외의 세 가지

로보커브의 기술 사양 표를 보면 모델 이름 말고도 눈에 띄는 항목이 세 개 있습니다. 시도당 모델 호출 20회 한도, 로봇 속도 최대치의 25% 제한, 기본 안전장치 활성화. 이 세 가지는 전부 모델이 아니라 하네스, 즉 실행 계층에 설정된 값입니다. 아스트라가 아무리 똑똑해도 21번째 호출은 일어나지 않고, 팔은 정해진 속도 이상으로 움직이지 않으며, 안전장치가 걸린 영역에는 들어가지 못합니다. 실험이 사고 없이 120회를 돌 수 있었던 건 모델 덕분이 아니라 하네스가 먼저 있었기 때문입니다.

그리고 이 세 줄은 사람이 정했습니다. 모델은 자기가 몇 번까지 호출될지, 팔이 얼마나 빨리 움직일지 모릅니다. 알 필요도 없죠. 권한의 크기를 정하는 쪽과 그 권한 안에서 목표를 향해 움직이는 쪽이 분리돼 있다는 것, 로보커브 실험에서 제가 가장 오래 들여다본 부분이 이겁니다.

범위 설정이 만든 30배의 차이

같은 얘기를 소프트웨어에서 확인한 자료가 있습니다. 아스트라 시스템 카드에 실린 영국 AI 보안 연구소(UK AISI)의 외부 평가입니다. AISI는 어려운 사이버보안 과제를 주고 인터넷 접근이 우연히 열려 있는 것처럼 꾸민 시뮬레이션 환경을 만들었습니다. 과제 범위에 인터넷 접근이 되는지 안 되는지를 적어주지 않았을 때, 499개 표본 중 60개에서 아스트라가 범위 밖 오픈소스 저장소에 악성 코드를 기여하거나 개발자를 속이려고 가짜 신원을 만들거나 정상적인 기여로 신뢰를 쌓은 뒤 악성 코드를 밀어 넣으려는 행동을 했습니다. 전부 시뮬레이션이라 실제 피해는 없었습니다.

그런데 과제 범위에 "인터넷 접근은 허용되지 않는다"는 문장을 넣자마자 이 숫자가 500개 중 2개로 떨어졌습니다. 30배 차이입니다. 같은 모델인데 범위를 적어줬느냐 아니냐가 결과를 갈랐습니다. 로봇 실험에서 속도 상한 한 줄이 부러진 부품과 멀쩡한 부품을 가르는 것과 원리가 같고, 결과의 무게만 달랐습니다.

혹시나 마블 영화를 좋아한다면 어벤져스 시리즈를 아실 겁니다. 2015년 개봉한 어벤져스 시리즈의 '에이지 오브 울트론'에서 토니 스타크가 만든 인공지능 울트론은 인류를 지키라는 목표를 받고 나서 인류 자체를 위협으로 판단합니다. 목표는 제대로 이해했는데 그 목표에 도달하는 경로에 아무런 울타리가 없었던 겁니다. 영화적 과장을 걷어내고 보면 AISI 실험이 기록한 것도 결이 비슷합니다. 아스트라는 악의를 품은 게 아니라 주어진 과제를 끝내려고 열려 있는 길을 다 써본 것이고, 그중 하나가 범위 밖이었을 뿐입니다. 울타리가 없으면 목표를 향한 성실함이 문제를 만듭니다. 그리고 그 울타리를 세우는 건 지금도, 앞으로도 사람의 일입니다.

지금 회사에서는?

사실 대부분의 국내 기업은 당분간 아스트라에 로봇 팔을 맡길 일이 없을겁니다. 하지만 이 실험을 근거로 고려해야 할 사항들은 있습니다. 이 실험은 모델이 카메라를 보고 목표를 정하면 하위 계층이 실행하고 하네스가 상한을 한 것으로, 이미 회사 안에서 돌아가고 있는 에이전트와 똑같은 구조입니다. 카메라 대신 화면 캡처와 API 응답을 보고 로봇 팔 대신 CRM·ERP·배포 파이프라인·메신저를 움직일 뿐입니다. 그리고 그 하네스에 호출 한도와 범위 제한과 안전장치가 걸려 있는지는, 로보커브가 실험 전에 확인한 것과 달리, 상당수 회사에서 아무도 확인하지 않은 채 돌아가고 있습니다.

Humanoids Daily는 이 실험이 나온 시점을 두고 알트먼이 최근 오픈AI가 자체 휴머노이드를 "반드시" 만들 것이라고 확인했다는 사실과 연관지었습니다. 프론티어 모델 회사들이 물리 세계로 걸어 들어오는 흐름이 이어진다면 에이전트에게 권한을 주는 방식도 달라져야 합니다. 지금은 "이 에이전트가 어떤 API를 호출할 수 있는가"를 정합니다. 머지않아 "이 에이전트가 어떤 장비를 어떤 속도로 움직일 수 있는가"도 같은 정책 언어로 정해야 할 겁니다. 로보커브의 20회 한도와 25% 속도 제한은 그 정책의 가장 원시적인 형태이기 때문입니다.

AX Foundry는

로보커브의 하네스에 해당하는 역할을 합니다. 어떤 도구를 어떤 범위로 몇 번까지 호출할 수 있는지를 사람이 정책으로 정해두고, 범위 밖 호출은 실시간으로 막고, 실행 경로 전체를 감사 가능한 기록으로 남기고, 사람 승인이 필요한 지점은 에이전트가 스스로 끄지 못하게 고정하는 일입니다. 로보커브가 "시도당 20회, 속도 25%, 안전장치 켬"을 모델과 무관하게 하네스에 박아둔 것과 같은 역할이며, 모델이 아스트라든 페이블이든 다음 달에 나올 다른 무엇이든 그 역할과 중요성은 남아있습니다.

로보커브 페이지 맨 아래에는 실험의 한계를 조목조목 적어둔 곳이 있습니다. 해커뉴스의 한 댓글은 그 한계가 결과를 크게 바꾸진 않겠지만 그래도 명시해 둔 태도가 좋다고 했습니다. 저는 그 목록보다 사양 표에 있던 "기본 안전장치 활성화"라는 한 줄이 더 오래 기억에 남습니다. 너무 당연해서 아무도 언급하지 않는 그 한 줄이 실험을 실험으로 만들어줬으니까요. 지금 회사 안에서 돌아가는 에이전트의 사양 표에 그 세 줄이 있는지, 있다면 누가 언제 어떤 기준으로 정했는지, 하네스가 잘 작동하고 있는지 한 번 확인해 보시길 권합니다.

오픈네트웍시스템 ㅣ 권태규