H-MAS Iteration 46 작업 노트

이번 Iteration 46 기간(10월 25일 ~ 10월 31일) 작업 내용을 안내합니다. 이번 작업에는 13개 커밋, 13개 PR이 포함되어 있습니다. v0.10 개발 주기 5주차입니다.

하이라이트는 다음과 같습니다:

• SGLang 서빙 런타임을 정식 도입했습니다. 이제 LLM·코드 모델을 배포할 때 vLLM과 SGLang 중 하나를 고를 수 있고, 배포·추론·모니터링·API 키 보호가 두 런타임에서 같은 수준으로 동작합니다. 대형 모델의 초기 기동 대기 시간을 늘려, 이전에는 첫 기동 중 3~4회 재시작되던 4B 모델이 약 12분 만에 재시작 없이 준비됩니다. 기존 vLLM 배포의 실행 설정은 바뀌지 않습니다. SGLang은 NVIDIA 드라이버 580 이상이 필요하고 임베딩 모델은 지원하지 않으며, 업그레이드 안내 문서에 이 내용을 추가했습니다.
• 배포 설정 변경 결과를 더 정확하게 판정합니다. 정상 동작 중인 배포의 설정을 바꾸면 새 설정이 실제로 적용되기 전에 ‘완료’로 처리되어, 새 설정에 문제가 있어도 자동 복구가 동작하지 않을 수 있었습니다. 원인 두 갈래를 모두 바로잡았고, 실제 클러스터에서 잘못된 설정은 이전 설정으로 자동 복구되고 정상 설정은 새 Pod가 준비된 직후 완료로 처리되는 것을 확인했습니다.
• 설정 변경 직후 배포가 잠깐 이전 설정으로 되돌아가던 현상을 없앴습니다. 실측에서 20회 중 14~16회 일어나던 되돌림이 0회가 됐고, 일시정지·재개 직후 레플리카 수가 잠깐 뒤집히던 문제도 함께 사라졌습니다. 이 과정에서 ‘리소스 보존’ 배치 옵션을 쓴 배포를 일시정지해도 GPU가 계속 점유되는 문제를 발견해 같은 날 수정했습니다.
• 공유 GPU 배포 화면에 해당 GPU 장치 전체의 사용률·메모리·온도·전력을 함께 보여줍니다. 공유 배포는 배포 단위 GPU 지표를 수집할 수 없어 ‘수집 불가’만 표시됐고, 배포가 느려질 때 원인이 이 배포인지 같은 GPU를 쓰는 다른 배포인지 구분하기 어려웠습니다. ‘수집 불가’ 표시는 그대로 두고, 그 아래에 다른 배포 사용량까지 포함된 장치 값이라고 표시해 함께 보여줍니다. 추정치는 쓰지 않습니다. 지난주 외부 피드백을 반영한 기능입니다.
• 배포별 성능 기준값을 측정하는 기능의 기반 2가지를 마련했습니다. 측정할 때만 발급되어 최대 2시간 뒤 만료되는 벤치마크 전용 키를 추가해, 측정 트래픽이 요청량 제한에 걸리거나 사용량 통계에 섞이지 않습니다. 측정 기록은 지우지 않고 별도 표시로 남기며, 추론 로그 화면에서 벤치마크 요청을 빼거나 따로 볼 수 있습니다. 통합 추론 경로에는 배포의 엔진이 요청을 받을 준비가 됐는지 확인하는 상태 확인 기능을 추가해, 대표 벤치마크 도구를 기본 설정 그대로 연동할 수 있습니다.
• 성능 기준값 측정 절차에 워밍업 단계를 넣었습니다. 실측 결과 배포를 재시작한 직후 첫 요청은 엔진이 준비된 뒤에도 약 36초가 걸리고, 이어지는 요청은 0.2초 이내였습니다. 이 지연이 기준값에 섞이지 않도록 첫 요청은 측정에서 제외합니다.
• v0.10 범위를 확정했습니다. 이번 버전 주제(GPU 공유, 런타임 정리, 성능 분석)와 거리가 있거나 선행 작업이 남은 12건을 v0.11로 옮겨 남은 과제를 8건으로 줄였고, 마감을 11월 30일로 조정했습니다.
• 그 외 SGLang 도입 확정과 런타임 정리를 제품 문서·변경 이력에 반영하고 GPU 배포 문제 해결 가이드를 현행 런타임 기준으로 정리했으며, 배포 변경 판정 규칙과 공유 GPU 지표 설계를 문서로 정리하고 성능 분석 리서치 트랙을 종결했습니다.

문서 작성일: 2026년 11월 1일