H-MAS Iteration 45 작업 노트

이번 Iteration 45 기간(10월 18일 ~ 10월 24일) 작업 내용을 안내합니다. 이번 작업에는 14개 커밋, 14개 PR이 포함되어 있습니다. v0.10 개발 주기 4주차입니다.

하이라이트는 다음과 같습니다:

• GPU 성능 분석 기능의 범위를 실측으로 확정했습니다. H-MAS는 배포별로 재현 가능한 성능 기준값(첫 토큰 지연, 토큰 간 지연, 처리량)과 그 구간의 GPU 활용 지표를 제공하고, 커널 수준의 심층 프로파일링은 모델 개발자 영역으로 남깁니다. 실측 결과 심층 프로파일링은 결과를 저장하는 동안 서빙이 최대 80초 넘게 멈춰 운영 환경에 맞지 않았습니다. 반면 GPU 메모리 대역 활용도 지표는 GPU 사용률이 100%로 포화된 구간에서도 연산 병목과 메모리 병목을 2.7배 차이로 구분해 수집 항목에 추가했습니다. 공유 GPU에서는 함께 올라간 배포가 쉬고 있어도 처리량이 15~24% 줄고 부하가 겹치면 지연이 2배로 늘어, 기준값을 전용·공유 상태별로 나눠 관리합니다. 이 방향에 맞춰 후속 구현 과제와 순서를 정했습니다.
• H-MAS를 GPU 전용 서빙 플랫폼으로 정리했습니다. TEI와 llama.cpp 런타임을 제거하고 기본 런타임을 vLLM으로 통일했으며, 임베딩 모델도 vLLM에서 정상 서빙되는 것을 확인했습니다. 스타터 모델은 GPU 기준 5종으로 재구성했습니다. 기존에 만든 TEI·llama.cpp 배포는 조회와 삭제만 할 수 있고, 업그레이드 안내 문서를 새로 추가했습니다.
• SGLang 런타임 도입을 결정했습니다. 실제 클러스터에서 최신 GPU 기동, 토큰 사용량 집계, API 키 보호, 모니터링 지표 연동의 4개 관문을 모두 통과했습니다. 도입 과정에서 확인한 제약(긴 초기 로딩 시간, 임베딩 모델 미지원)을 반영해 구현은 후속 과제로 진행합니다.
• 추론 가속 기법인 Speculative Decoding은 설정 항목으로 노출하지 않기로 했습니다. 5가지 구성을 실측했을 때 가장 좋은 구성도 토큰 간 지연이 최대 24% 개선돼 기준(30%)에 못 미쳤고, 일부 방식은 오히려 최대 77% 느려졌습니다. 꼭 필요한 운영자는 고급 설정으로 직접 켤 수 있도록 방법을 문서로 남겼습니다.
• 배포 설정 변경이 되돌려지던 문제 2건을 수정했습니다. 오류로 재시작을 반복하는 배포에 수정 설정을 적용하면 성공 응답을 받은 뒤 몇 초 만에 이전 설정으로 돌아가는 현상이 있었고, 원인이 두 갈래로 확인되어 둘 다 바로잡았습니다. 실제 클러스터에서 수정 설정이 유지되는 것을 확인했고, 새 설정 자체에 문제가 있을 때는 여전히 이전 설정으로 자동 복구되는 것도 확인했습니다. 검증 중에 정상 배포를 변경할 때 실패를 감지하지 못할 수 있는 관련 결함 1건을 발견해 v0.10에서 처리합니다.
• 노드를 재부팅한 뒤 GPU 메모리 분할 격리가 조용히 꺼질 수 있는 문제의 점검·복구 절차를 설치 가이드에 추가했습니다.
• 외부 피드백 2건을 반영해 과제를 정했습니다. 공유 GPU 배포 화면에서 배포 단위로 수집되지 않는 지표와 해당 GPU 전체 지표를 나눠 보여주는 과제를 만들었고, 성능 기준값에 배포별 VRAM 할당량과 재시작 횟수를 함께 기록하도록 했습니다.
• 그 외 v0.9.0 이후 변경을 반영한 제품 문서·변경 이력 현행화(호환성 영향 5건 명시), 로그·보안 관련 환경 변수 문서화, 요청량 제한 가이드 정정, UI 다국어 지원 보류 결정 기록.

문서 작성일: 2026년 10월 25일