모델 경로 하드코딩 제거 및 설정값 기반으로 변경

[yspaik]

프로젝트

공통

대상 페이지

전처리기 생성 페이지

상세 설명

Title

Description
모델 경로들을 facade 코드 하드코딩 대신 설정값(config)으로 분리 필요.

요구사항

• 설정값은 min i/o 상의 yaml 형태로 저장하고 facade 에서는 특정 config 를 읽어들이는 형태
• 특정 모델 path 는 다운로드 된 기본 값을 가짐

예)

• HybridChunker.tokenizer

  • 기존: "sentence-transformers/all-MiniLM-L6-v2"
  • 변경: 설정값 기반 경로 사용 (예: DOC_PARSER_TOKENIZER_PATH), 기본값은 /models/doc_parser_models/sentence-transformers-all-MiniLM-L6-v2

• DocumentProcessor.pipe_line_options.artifacts_path

  • 기존: Path("/models/") 하드코딩
  • 변경: 설정값 기반 경로 사용 (예: DOC_PARSER_ARTIFACTS_PATH), 기본값은 /models/

• 설정 미지정 시, 현재 동작과 동일한 기본값으로 backward compatibility 유지

체크리스트

• 도커 이미지 기준 기본 설정만으로 새로운 버전의 클러스터에서 정상 동작 확인
• 외부 네트워크 차단 환경에서 HF 다운로드 없이 로컬 모델 경로만으로 처리되는지 검증

[seongmincho315]

Refactoring Plan 반영 내용

이 이슈는 Phase 0~2 에 걸쳐 처리됩니다.

3-tier Config 우선순위

ENV vars  >  MinIO YAML  >  defaults.yaml (repo 내 기본값)

ENV var 매핑 테이블

설정값	ENV var	defaults.yaml 기본값
OCR 엔드포인트	GENOS_OCR_ENDPOINT	None (비활성)
Layout model	GENOS_LAYOUT_ENDPOINT	None
Enrichment LLM base URL	GENOS_ENRICHMENT_API_BASE_URL	None
Enrichment API key	GENOS_ENRICHMENT_API_KEY	""
Whisper (STT)	GENOS_WHISPER_ENDPOINT	None
Tokenizer 경로	GENOS_TOKENIZER_PATH	"sentence-transformers/all-MiniLM-L6-v2"
Docling artifacts	DOCLING_ARTIFACTS_PATH	"/models"

현재 하드코딩 → ENV var 교체 목록

• http://192.168.73.172:48080/ocr → GENOS_OCR_ENDPOINT
• http://192.168.75.174:26001/v1/chat/completions → GENOS_LAYOUT_ENDPOINT
• http://192.168.74.164:30100/v1/audio/transcriptions → GENOS_WHISPER_ENDPOINT
• https://genos.genon.ai:3443/... → GENOS_ENRICHMENT_API_BASE_URL
• /models/doc_parser_models/sentence-transformers-all-MiniLM-L6-v2 → GENOS_TOKENIZER_PATH

구현 파일

• Phase 0: module/config/schema.py — ProcessorConfig Pydantic 모델 정의, module/config/defaults.yaml 기본값 명시
• Phase 1: module/config/loader.py — ConfigLoader 구현 (MinIO YAML fetch, 5초 타임아웃 + fallback)
• Phase 2: module/intelligent_processor.py 내 하드코딩 전부 ConfigLoader 로 교체

Backward Compatibility

• ENV var 미설정 시 defaults.yaml 기본값 사용 → 현재 동작과 동일
• MinIO 연결 실패 시 경고 로그 후 defaults.yaml 으로 계속 동작 (시작 실패 없음)