개요서비스 로그를 활용한 Grafana 시각화를 목적으로, 서버에서 발생하는 서비스 로그를 파싱하여 유의미한 지표(Metric)를 추출하기 위해 mtail을 사용한다.mtail 설치 방법릴리스 페이지 확인: 공식 GitHub 릴리스 페이지에서 자신의 운영체제와 아키텍처에 맞는 최신 버전을 확인한다.다운로드: wget이나 curl을 사용하여 바이너리를 다운로드한다.wget https://github.com/google/mtail/releases/download/v3.0.8/mtail_3.0.8_linux_amd64.tar.gz압축 해제: 다운로드한 파일의 압축을 해제한다.tar -xzvf mtail_3.0.8_linux_amd64.tar.gz실행 파일 이동: 압축 해제 후 생성된 mtail 바이너리 파일을..
전체 글
Mlops에 대해 공부해보고자 지난번에 Kubeflow를 구축했다.Kubeflow 설치: https://hd-engineering.tistory.com/23모델 레지스트리 설치: https://hd-engineering.tistory.com/24이번에는 테스트 코드를 활용하여 Kubeflow에서 학습을 진행하고, 학습된 모델을 모델 레지스트리에 저장한 뒤, 증분 학습을 시키는 과정을 수행해 보았다. pipeline.py 테스트 코드 설명실제로 의미 있는 모델을 만들면 좋겠지만.. 그것이 목적이 아니므로, 단순히 과정을 실습해보기 위한 테스트 코드를 AI를 활용해 생성했다.애플 주가 예측 모델을 예시로 사용했다.1년치 데이터를 외부에서 받아 학습하도록 구성했다.Kubeflow에서 년도와 기존 모델 경로를 ..
EKS 환경에서 MSA로 구축된 서비스 로그를 Fluent Bit을 사용하여 OpenSearch로 적재하고 있다. 이 과정에서 발생하는 시간 불일치 문제를 해결하고, 로그 내의 실제 시간을 OpenSearch의 기본 타임스탬프로 사용하는 방법을 정리한다.문제 상황: @timestamp와 실제 로그 시간의 불일치일반적으로 수집되는 서비스 로그의 예시는 다음과 같다.2025-09-17 10:16:14.223 32487 --- [nio-8080-exec-3] INFO o.s.web.servlet.DispatcherServlet : POST "/api/users/login", parameters={}2025-09-17 10:16:14.225 32487 --- [nio-8080-exec-3] DEB..
1. 개요모델 레지스트리는 모델의 버전, 아티팩트, 메타데이터를 중앙에서 일관되게 관리하는 핵심 구성 요소이다. 이를 통해 실험부터 배포까지 이어지는 머신러닝 라이프사이클 전반의 협업, 재현성, 거버넌스를 지원한다.모델 개발에서 운영으로 이어지는 ML 파이프라인을 구조화, 표준화, 자동화함으로써 조직 내 모델 활용의 효율성과 신뢰성을 향상시키는 필수적인 도구이다. 2. 사전 요구 사항설치를 진행하기 전, 아래의 환경 요건이 충족되어야 한다.Kubeflow 환경: 대상 클러스터에 Kubeflow가 설치되어 있어야 한다.kubectl & kustomize: Kubeflow 클러스터 제어를 위한 kubectl 및 kustomize 명령어가 설치되어 있어야 한다.StorageClass: 데이터베이스의 영구 저..