SafePrompt
멀티 생성형 AI 서비스
각 Provider의 계정, API 키와 결제 내역을 따로 관리해야 하는 불편을 줄이기 위해 여러 생성형 AI 모델을 하나의 플랫폼에서 선택해 사용하고, 모델별 사용량과 비용을 통합 관리하는 서비스를 개발했습니다. Provider마다 다른 요청·응답 형식과 과금 기준을 공통 인터페이스로 통합하고, 고객사별 사용자 데이터와 정산 내역을 분리해 관리하도록 멀티테넌트 구조를 적용했습니다. 고객사 전용 환경은 Docker 기반으로 배포·운영하고 있습니다.
해결한 문제
여러 AI 모델을 사용하려면 각 Provider에 가입해 API 키와 결제 내역을 따로 관리해야 하고, 모델마다 호출 방식과 과금 기준도 달라 사용자가 직접 통합하기 어려웠습니다. 여러 Provider API를 하나의 호출 구조로 통합하고 모델별 사용량과 비용을 기록하도록 구현했습니다. 교육 운영자가 사용 현황을 확인할 수 있도록 모델별 사용량·사용 시간·비용 데이터를 수집하고 보고서 생성 기능도 제공했습니다.
핵심 기여
- 멀티 LLM 통합 구조 설계 및 구현서로 다른 요청·응답 형식을 가진 여러 AI 모델 API를 공통 인터페이스로 추상화하고, 사용자가 하나의 플랫폼에서 모델을 선택해 호출할 수 있는 Provider 서버를 구현했습니다.
- 비동기 처리 및 멀티테넌트 구조 적용외부 AI API 응답을 기다리는 동안 다른 요청을 처리할 수 있도록 비동기 방식을 적용하고, 고객사별 사용자 데이터와 사용량·정산 내역을 독립적으로 관리하도록 테넌트를 분리했습니다.
- 고객사 배포 및 운영 피드백 반영한국마케팅진흥원 전용 환경을 Docker로 컨테이너화해 배포하고, 교육생의 모델별 사용 데이터를 수집했습니다. 운영 피드백을 반영해 Excel·PDF 보고서와 총비용 정산서 생성 기능을 추가했습니다.