30달러로 구현한 AI 추론 능력…”UC 버클리, 딥시크 핵심기술 재현 성공”

UC 버클리(UC Berkeley) 연구진이 30달러(약 4만3750원)라는 저비용으로 딥시크(DeepSeek)의 핵심 기술을 재현하는데 성공했다. 해당 연구진은 데이프시크 R1 제로(DeepSeek R1 Zero)의 카운트다운과 곱셈 작업을 재현한 ‘TinyZero’를 깃허브(GitHub)에 공개했다.

게임으로 학습하는 AI

연구진은 ‘카운트다운(Countdown)’ 게임을 통해 강화학습(RL)을 진행했다. 카운트다운은 6개 숫자로 목표 숫자에 근접한 결과를 만드는 영국의 게임쇼다. AI 모델은 게임을 수행하며 스스로 정답을 확인하고 찾는 능력을 발전시켰다.

처음 5억 개의 매개변수를 가진 ‘퀀-2.5B(Qwen-2.5-Base)’ 모델은 단순 추측에 그쳤다. 하지만 매개변수를 15억 개로 늘리자 다양한 문제 해결 전략을 스스로 학습했다. 30억 개와 70억 개의 매개변수에서는 더 빠르게 정답에 접근했다.

저비용 AI 개발 트렌드

UC 버클리의 연구소 노바스카이(NovaSky)는 최근 450달러(약 66만원)로 고급 추론 기능을 갖춘 ‘스카이-T1-32B-프리뷰(Sky-T1-32B-Preview)’를 개발했다. 이는 기존 모델의 복제 성격이 강하지만, 최소 비용으로 강력한 AI 시스템을 구축하려는 시도로 평가받는다.

깃허브(GitHub)에 공개된 이번 연구를 주도한 지아 판(Jia Pan) UC 버클리 박사과정은 “이 프로젝트가 RL 스케일링 연구의 신비를 풀고 더 쉽게 접근할 수 있도록 도움이 되기를 바란다”고 밝혔다. 다만 연구진이 개발한 모델의 추론 능력은 카운트다운 게임에 국한되며, 일반적인 추론 작업이나 특정 분야 확장을 위해서는 추가적인 강화학습이 필요하다는 한계도 있다.

해당 연구에 대한 자세한 내용은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT를 활용해 작성되었습니다.