H-MAS Iteration 44 작업 노트

이번 Iteration 44 기간(10월 11일 ~ 10월 17일) 작업 내용을 안내합니다. 이번 작업에는 11개 커밋, 11개 PR이 포함되어 있습니다. v0.10 개발 주기 3주차입니다.

하이라이트는 다음과 같습니다:

• GPU 공유(VRAM 분할) 기능이 화면까지 완결됐습니다 — 배포 위자드에서 GPU를 “독점 수량”과 “VRAM 분할” 중 선택할 수 있고, 분할 모드는 대상 클러스터가 공유를 지원할 때만 활성화되며 미지원 사유를 안내합니다. 가용 VRAM 힌트와 초과 경고가 함께 표시되고, 검토 카드·인스턴스 목록·상세·대시보드에서 분할 배포는 VRAM 용량으로 표기됩니다. 클러스터 상세에는 GPU 공유 지원 여부·방식·GPU 모델·분할 VRAM 가용량이 추가됐습니다. 실제 클러스터에서 분할 배포 생성부터 각 화면 표기까지 검증을 마쳐 지난주 시작한 GPU 공유 도입 과제를 종결했습니다. 부수적으로 클러스터 오버커밋 지원 여부가 항상 “미지원”으로 표시되던 문제를 수정했습니다.
• 조직 전체 클러스터를 한 화면에서 훑는 모니터링 대시보드가 추가됐습니다 — 클러스터별 카드에 CPU·메모리 현재값과 1시간 추세, 디스크·네트워크 사용량, GPU 요약, 메트릭 수신 단절 배지가 표시되고, 카드를 누르면 해당 클러스터의 노드 리소스 상세로 바로 들어갑니다. 메뉴 체계는 모니터링(클러스터 인프라) / 로그(배포 로그·이벤트) / 추론 로그로 정리됐으며, 외부 대시보드 도구 없이 자체 화면으로 제공한다는 결정을 그대로 이행했습니다. 6주간 이월된 과제의 종결입니다.
• 외부 OpenAI 호환 도구(Open WebUI, LibreChat, AnythingLLM, Continue.dev 등)를 base URL 하나로 연동할 수 있습니다 — 요청의 모델 이름으로 배포가 자동 선택되고, 접근 가능한 실행 중 배포 목록을 표준 모델 목록 형식으로 조회할 수 있습니다. 기존 배포별 주소는 그대로 유지되며, 조직 범위와 API 키의 배포 제한이 양쪽 경로에 일관되게 적용됩니다. 이 과정에서 기존 배포별 경로에 조직 범위 검사가 빠져 있던 부분을 함께 봉인했습니다. API 키 페이지에는 접속 주소 자동 구성, 도구별 설정 예시, 테스트 명령을 복사할 수 있는 연동 가이드 섹션이 추가됐습니다.
• 공유 GPU로 올린 배포의 GPU 사용률·메모리·온도·전력 카드에 “배포 단위 수집 불가” 안내가 표시됩니다 — 실측 결과 공유 배포는 GPU 지표를 배포 단위로 귀속할 수 없어 값이 비는 것이 확인됐고, 빈 값을 다른 값으로 대체하거나 숨기는 대신 사유를 명시하는 쪽을 택했습니다. 전용 GPU 배포는 기존처럼 해당 배포의 값만 정확히 표시됨을 함께 확인했습니다.
• 모델 파일 저장·재사용 전략 리서치를 마쳤습니다 — 현재는 배포를 지우면 내려받은 모델 파일도 함께 사라져 같은 모델을 다시 올릴 때마다 전량 재다운로드가 일어납니다. 클러스터 내 모델 단위 캐시, 폐쇄망·프라이빗 모델 소스(미러·S3), 멀티 클러스터 공유 세 축으로 선택지를 비교해 우선순위를 정했으며, 구현은 후속 과제로 분리합니다.
• “H-MAS는 GPU 전용 서빙 플랫폼”이라는 원칙을 확정하고 런타임 구성을 재편합니다 — 고유 역할이 없는 임베딩 전용 런타임과 CPU 지향 런타임을 제거하고 스타터 모델을 GPU 기준으로 재구성하는 과제, 그리고 비교 가능한 대안 런타임 도입 여부를 실제 클러스터 실측으로 판정하는 과제를 등록했습니다. 함께 점검한 KV 캐시 관련 설정에서 일부 옵션이 끌 수 없거나 더 이상 유효하지 않은 결함이 확인되어 정비 과제로 묶었습니다.
• GPU 프로파일링 리서치를 단일 트랙으로 재편했습니다 — 흩어져 있던 리서치 3건에 처리 순서와 “플랫폼이 흡수할 범위”의 판정 기준을 명문화했고, 선행 구현 1건을 이번 주에 처리했습니다. 벤치마크 기반 성능 기준값과 동시 수용 요청 수 산정, 투기적 디코딩 노출 가치 판정 리서치도 같은 맥락에서 신설됐습니다.
• 제품명 변경을 적용했다가 철회했습니다 — 사용자 노출면과 문서의 제품명을 바꾸는 작업을 완료했으나 재검토 결과 명칭 변경이 필요하지 않다고 판단해 전부 되돌렸습니다. 제품명은 H-MAS를 유지하고, 고객사별 표기 요구는 향후 화이트라벨링으로 대응합니다. 변경분은 어떤 릴리즈에도 포함되지 않았습니다.
• 실측 중 결함 2건을 확인했습니다 — 지난주 등록한 노드 재부팅 후 GPU 격리 비활성 문제가 실제로 재현되어 복구 절차를 검증·기록했고, 비정상 상태의 배포에 설정 변경을 요청하면 성공 응답을 받지만 실제로는 반영되지 않는 현상을 발견해 등록했습니다. 두 건 모두 v0.10 범위에서 처리합니다.
• 그 외 LLM 라우팅 레이어 필요성 검토 문서, 외부 서비스 연동 문서·API 문서 갱신 등 자잘한 개선.

문서 작성일: 2026년 10월 18일