H-MAS Iteration 47 작업 노트

이번 Iteration 47 기간(11월 1일 ~ 11월 7일) 작업 내용을 안내합니다. 11월 8일에 마무리된 이 기간 과제도 함께 담았습니다. 이번 작업에는 13개 커밋, 13개 PR이 포함되어 있습니다. v0.10 개발 주기 6주차입니다.

하이라이트는 다음과 같습니다:

• 배포별 성능 기준값을 자동으로 측정하는 벤치마크 실행 기능의 서버 측 구현을 마쳤습니다. 배포를 골라 실행을 요청하면 측정부터 정리까지 자동으로 진행되고, 같은 조건에서 다시 잴 수 있는 응답 지연·처리량 기준값이 쌓입니다. H-MAS의 독자적인 측정 품질 판정 기법으로 신뢰할 수 없는 결과는 기준값에서 자동으로 빠집니다. 다른 조직과 GPU를 함께 쓰는 배포는 실행 전에 확인을 받습니다. 실제 클러스터의 첫 실측에서 1.7B 모델 배포의 기준값 측정이 요청부터 기록까지 약 11분 만에 오류 없이 끝났습니다. 측정 결과 처리량은 동시 요청 4개에서 초당 약 370토큰으로 포화됐습니다. 실행 화면은 다음 작업으로 이어집니다.
• 새로 만든 배포도 첫 요청에 약 36초가 걸리는 것을 확인했습니다. 지난주에는 재시작 직후에만 관찰한 현상이었습니다. 벤치마크는 첫 요청을 측정에서 빼므로 기준값에는 이 지연이 섞이지 않습니다.
• 배치 전략의 ‘리소스 보존’ 옵션을 없앴습니다. 이 옵션을 켠 배포는 일시정지했다가 재개하면 플랫폼의 상태 관리와 자동 복구 대상에서 빠지는 문제가 있었고, 옵션을 켜야 할 운영상 근거도 확인되지 않았습니다. 기존 설정은 업그레이드할 때 자동으로 꺼지며, 이미 영향을 받은 배포를 정리하는 절차를 문서로 제공합니다. 지난주 임시로 넣었던 보완 처리도 함께 걷어내 배포 변경 경로를 단순하게 되돌렸습니다.
• 모델 배포의 초기 기동 대기 시간을 관리자 콘솔에서 5~120분(기본 30분)으로 조정할 수 있습니다. 기동 시간의 대부분은 모델 다운로드라 네트워크·스토리지 환경마다 크게 다르기 때문입니다. 바꾼 값은 새 배포부터 적용되고 기존 배포는 생성 당시 값을 유지합니다. 배포 상세 화면에는 그 배포에 적용된 값이 표시되고, 설정 변경은 감사 로그에 남습니다.
• 일부 GPU 공유 환경에서 SGLang 런타임으로 GPU 메모리를 나눠 배포하는 기능은 계속 막아 두기로 했습니다. 검토 결과 이 조합에서는 배포 순서에 따라 배정한 메모리를 온전히 확보하지 못하거나 기동에 실패할 수 있었습니다. 대신 배포 화면에서 미리 막고 이유를 안내합니다. 이전에는 제출한 뒤에야 오류를 받았습니다.
• OpenAI 호환 채팅 도구를 기본 설정 그대로 연결해도 동작합니다. 대표적인 오픈소스 채팅 UI는 기본으로 도구 호출(tool calling) 요청을 보내는데, 지금까지는 이 요청이 오류로 거절되거나 도구가 실행되지 않았습니다. 이제 도구 호출을 지원하는 모델을 배포하면 플랫폼이 런타임에 맞는 도구 호출 처리를 자동으로 켭니다. 사용자가 지정한 설정이 항상 우선하고, 배포 설정 화면에서 끌 수도 있습니다. 실제 클러스터에서 해당 채팅 UI를 기본 설정으로 연결해 정상 동작을 확인했습니다. 현재는 검증을 마친 Qwen 계열 모델에 적용되며, 다른 모델 계열은 검증 후 넓혀 갑니다.
• 처음으로 제품 소개 데모 영상(2분 15초)을 만들었고, 다시 찍을 때 같은 결과를 낼 수 있도록 촬영 도구를 함께 정리했습니다. 위의 도구 호출 문제는 이 촬영 중에 발견해 8일 만에 해결했습니다.
• 운영 안정성을 높였습니다. 모니터링 쿼리 실패 경고가 다른 로그와 같은 구조화 형식으로 남아 로그 필터와 수집기에서 빠지지 않으며, 같은 누락이 다시 생기지 않도록 자동 검사를 추가했습니다. 서로 다른 작업의 데이터베이스 변경이 충돌하면 병합 전에 잡아내는 검사도 추가했습니다.
• 그 외 벤치마크 실측 기록, 이미 영향을 받은 배포 정리 가이드, 업그레이드 안내·변경 이력을 갱신했습니다.

문서 작성일: 2026년 11월 8일