(지디넷코리아=조이환 기자)망고부스트가 업계 표준 성능 테스트에서 인공지능(AI) 추론(inference) 분야의 신기록을 세우며 거대언어모델(LLM) 시대에 대응할 수 있는 새로운 기술적 대안을 제시했다. AI 데이터센터의 성능, 비용 효율성, 개방형 아키텍처를 두루 갖춘 조합으로 가능성을 입증하며 시장의 주목을 받고 있다.
망고부스트는 지난 2일 미국 워싱턴주 벨뷰에서 실시된 ML퍼프 인퍼런스(MLPerf Inference) v5.0 테스트에서 자사의 AI 추론 소프트웨어 '망고 LLM부스트'와 AMD 'MI300X' 그래픽처리장치(GPU) 조합으로 라마2-70B(Llama2-70B) 모델 오프라인 추론 부문에서 가장 높은 성능을 기록했다고 5일 밝혔다.
이번 테스트는황금성게임방법
총 32개의 'MI300X' GPU를 4개 서버 노드에 분산한 다중 노드 구성에서 이뤄졌으며 'MI300X' 기반 시스템의 첫 ML퍼프 멀티노드 제출 사례로도 주목된다.



망고부스트가 업계 표준 성능 테스트에서 인공지능(AI) 추론(inference) 분야의 신기록을 세우며텔레필드 주식
거대언어모델(LLM) 시대에 대응할 수 있는 새로운 기술적 대안을 제시했다. (사진=망고부스트)


망고부스트는 '라마2-70B' 오프라인 추론 시나리오에서 초당 10만3천182 토큰(TPS)을 처리해 이전 최고였던 8만2천749 TPS 기록을 넘어섰다. 서버 시나리오에서도 9만3천39 TPS를 기록주식사관학교
해 엔비디아 'H100' 기반 시스템 성능을 뛰어넘는 성과를 입증했다.
비용 구조 개선 효과도 눈에 띈다. 'MI300X' GPU는 H100 대비 최대 62% 저렴한 가격에 공급되며 '망고 LLM부스트'와의 조합으로 동일 GPU 수 기준 2.8배 더 높은 가격 대비 성능을 기록했다. 일각에서는 이를 고성능 AI 인프라의 비용 구조를 재편할카지노릴게임
수 있는 가능성으로 보고 있다.
이 같은 성과는 AMD와의 긴밀한 협업을 통해 라데온 오픈 컴퓨트(ROCm) 소프트웨어 스택을 최적화한 결과다. 망고부스트는 'MI300X'의 성능을 극대화하는 동시에 단일 노드부터 멀티 노드 클러스터까지 유연하게 확장 가능한 AI 추론 솔루션을 구현했다.
클라우드 환경에서도 경쟁 우위가한일이화 주식
확인됐다. 망고부스트는 AWS의 'A100' 기반 환경에서 오픈소스 프레임워크 '오라마(Ollama)' 대비 최대 138배 빠른 AI 추론 성능을 보였으며 허깅페이스의 '텍스트 생성 추론(TGI)'와 vLLM을 포함한 주요 프레임워크와 비교해 성능 및 비용 측면에서 모두 우위를 입증했다.
특히 라마3.1-70B, 큐원-32B, 딥시크-R1-디스틸 등 최신 LLM 모델을 대상으로도 성능 저하 없이 일관된 결과를 유지했다. 이는 다양한 워크로드에 대응 가능한 범용 추론 솔루션으로서의 강점을 보여준다.



주니퍼네트웍스의 엔비디아 'H100' GPU 기반 가격 대비 효율성 대비 망고부스트의 가격 대비 효율성 (사진=망고부스트)


'망고LLM부스트'는 50개 이상의 오픈 거대언어모델(LLM)을 지원하며 도커 기반의 원라인(one-line) 배포 방식, 오픈AI 애플리케이션 프로그램 인터페이스(API) 호환성 등을 제공해 기존 시스템을 유지하면서도 손쉽게 도입 가능하다. 아마존웹서비스(AWS), 애저(Azure), 구글클라우드플랫폼(GCP) 등 주요 퍼블릭 클라우드뿐 아니라 보안 요구가 높은 온프레미스 환경에서도 통합 운용이 용이하다.
기술적 차별성은 자체 개발한 하드웨어 IP에 기반한다. 이 회사의 데이터처리장치(DPU)는 GPU, 스토리지, 네트워크 가속기 간 데이터 흐름을 최적화해 AI 인프라의 성능과 비용 효율을 동시에 높이는 역할을 한다. 관련 기술은 30건 이상의 특허로 보호받고 있으며 국제 컴퓨터 아키텍처 학술대회(ISCA) 등에서 발표된 10여 년간의 연구 성과를 바탕으로 개발됐다.
망고부스트는 현재 미국, 캐나다, 한국 등을 거점으로 빠르게 사업을 확장하고 있으며 6천만 달러(한화 약 810억원) 이상의 투자를 유치한 상태다. 당초에는 고성능 DPU 반도체로 주목받았지만 창업 초기부터 AI 인프라 전반을 아우르는 풀스택 시스템 솔루션 기업으로의 전환을 준비해왔다. 이번 '망고LLM부스트'는 이러한 소프트웨어 역량의 대표적인 결과물이다.
김장우 망고부스트 대표는 "이번 ML퍼프 결과는 글로벌 AI 인프라 시장에서 망고부스트의 기술력이 공식적으로 인정받았다는 의미"라며 "DPU 기반 하드웨어와 LLM 추론 최적화 소프트웨어가 결합된 풀스택 솔루션으로 AI 데이터센터의 성능과 비용 문제를 동시에 해결해 나가겠다"고 말했다.
조이환 기자(ianyhcho@zdnet.co.kr)