RAG 기반 계약서 분석 서비스 '리얼가이드' 론칭
[메인 프로젝트 1편]
지난 3월, 드디어 커널아카데미 AI 부트캠프의 꽃이라 불리는 '메인 프로젝트'가 성황리에 막을 내렸습니다.
9일간의 기초 챌린지를 마친 지가 엊그제 같은데, 어느새 현업의 기술 스택을 뚫어내며 실제 구동되는 비즈니스 서비스를 세상에 내놓게 되었습니다. 비전공자 만학도로서 기술적 한계와 소통의 병목을 정면으로 돌파했던 21일간의 위대한 여정, 그 첫 번째 기록 '[메인 프로젝트 1편]RAG 기반 계약서 분석 서비스 '리얼가이드' 론칭'을 공유하고 이어서 '[메인 프로젝트 2편] AWS와 GCP 인프라 지옥 탈출기'와 '[메인 프로젝트 3편] 기술적 완벽주의 vs 실용주의, 조율의 미학'을 연재하려 합니다
🏠 프로젝트의 시작: 왜 '주택 임대차 계약서'인가?
최근 몇 년간 사회적으로 큰 파장을 일으킨 전세 사기 및 임대차 분쟁 뉴스들을 보며 가슴이 무거웠습니다. 법률 지식이 부족한 사회 초년생이나 서민들은 복잡한 계약서 독소 조항 앞에 무방비로 노출되기 십상입니다.
저희 팀은 이러한 사회적 문제를 해결하기 위해, AI 기술을 레버리지한 주택 임대차 계약서 위험 조항 분석 및 수정 가이드 서비스, 일명 프로젝트를 기획했습니다.
| 항목 | 상세 내용 |
| 프로젝트 명 | Real Guide (리얼 가이드) |
| 프로젝트 기간 | 2026.02.19 ~ 2026.03.11 (21일간) |
| 서비스 URL | |
| 나의 역할 | 데이터 엔지니어링 & 클라우드 인프라 아키텍트 |
🛠️ 1. 데이터 고도화: Raw 데이터에서 법리적 핵심 지식재산(IP)으로
저는 이번 프로젝트에서 서비스의 두뇌가 될 'RAG(검색 증강 생성)용 데이터 파이프라인 구축'을 전담했습니다. RAG 시스템의 답변 퀄리티는 결국 입력되는 데이터의 순도에 의해 결정되기 때문입니다. 가장 먼저 맞닥뜨린 난관은 가공되지 않은 법률 상담 및 판례 데이터의 거친 상태였습니다.
🔎 524건의 판례 데이터 전수 정제 과정
문제점: 수집된 524건의 데이터는 판례 특유의 긴 문장, 불필요한 사족, 중복된 표현들로 가득 차 있었습니다. 이 상태로 벡터 DB에 임베딩을 하면 LLM이 맥락을 오인하거나 답변의 정확도가 떨어질 위험이 컸습니다.
혁신안 (Python 자동화 스크립트): 문제를 해결하기 위해 Python 기반의 AI 자동화 정제 스크립트를 직접 구축했습니다. 데이터를 하나하나 수동으로 읽는 비효율을 제거하고, 전수 데이터를 자동 순회하며 법리적 핵심 위주의 '정확히 3문장 요약본'으로 변환하는 파이프라인을 완성했습니다.
💡 데이터 리터치 성과
방대한 판례의 사족을 완벽히 제거하고, 핵심 독소 조항과 대항력 요건만 남긴 고순도 지식 베이스(Knowledge Base)를 구축하는 데 성공했습니다.
⚠️ 2. 첫 번째 트러블슈팅: 개발 환경 파편화와 DB 지연
프로젝트 초반, 데이터 엔지니어로서 팀의 전체 일정을 뒤흔들 뻔한 치명적인 환경 이슈가 발생했습니다.
현상: 제 로컬 PC의 최신 Python 버전(3.13)과 프로젝트에서 채택한 벡터 DB인 ChromaDB 간의 라이브러리 의존성 충돌이 발생했습니다. 이로 인해 임베딩 데이터가 DB에 정상적으로 로드되지 않고 구축이 전면 지연되는 병목이 생겼습니다.
우회 및 해결 전략: 마냥 환경 최적화에만 시간을 쏟을 수 없는 긴박한 상황이었습니다. 데이터 유실을 막기 위해 우선 90개의 핵심 임베딩 데이터를 JSON 파일로 개별 추출하는 우회 전략을 빠르게 수립하여 팀원들의 개발 흐름을 살려놓았습니다. 이후, 서버 환경을 파편화 없는 안정적인 버전으로 전면 재구축하여 524건의 전수 데이터를 단 한 건의 유실 없이 벡터 DB에 임베딩 완료했습니다.
| 💻 당시 환경 충돌을 우회하기 위해 구축했던 JSON 추출 아카이빙 구조 (Python) |
|
📐 엔지니어로서 얻은 인사이트 (Insight)
"개별 환경에서의 성취보다, 팀 전체 시스템의 통합(Git/형상관리)이 훨씬 중요하다는 것을 뼈저리게 깨달았습니다."
이 경험 이후, 저는 후반부 작업 시 팀원들과의 코드 충돌을 방지하기 위해 형상 관리 규격을 엄격하게 규정하고 준수하는 등, 단순 개발자를 넘어 프로젝트의 기술 체력을 키우는 아키텍트의 관점을 갖추게 되었습니다.
넥스트 예고: 인프라의 지옥문이 열리다 🌋
데이터를 겨우 다 잡았다고 생각한 순간, 진짜 거대한 인프라의 파도가 몰아쳤습니다. GCP 결제 계정과 IAM 권한 꼬임 오류, 그리고 발표 직전 서버 메모리가 터져버리는 OOM(Out Of Memory) 장애까지.
기획과 개발을 넘어 밤새 서버와 사투를 벌이며 끝내 무중단 배포(AWS EC2)를 성공시켰던 눈물겨운 트러블슈팅 스토리는 [2편: 인프라와 배포 편]에서 생생하게 이어집니다. 기대해 주세요!
댓글
댓글 쓰기