Dharma-AI의 “Newer Models, Same Advantage”는 OCR 모델 선택에서 자주 놓치는 질문을 던진다. 더 최근에 나온 모델, 더 넓은 언어를 다루는 모델, 더 많은 벤치마크에서 강한 모델이 항상 특정 업무 문서에서도 최선일까? 이 글의 답은 아니다에 가깝다. 핵심은 모델의 신선도보다 학습 자원이 어디에 집중됐는가다.
DharmaOCR은 브라질 포르투갈어 문서 OCR을 위해 만든 모델이다. 학습도 그 목적에 맞춰 좁혔다. 먼저 다양한 포르투갈어 파일과 문서 구조로 supervised fine-tuning을 수행해 어휘, 구문, 문서 패턴을 맞췄고, 이후 Direct Preference Optimization을 통해 여러 추출 결과 중 더 나은 출력을 고르는 안정성을 학습했다. 글은 이 두 단계를 명확히 나눈다. 파인튜닝은 도메인 역량을 만들고, DPO는 그 역량이 실제 추론 상황에서 무너지지 않도록 만든다.
비교 결과는 꽤 분명하다. 포르투갈어 중심 DharmaOCR benchmark에서 DharmaOCR은 0.925를 기록했고, 더 최근 모델인 Mistral OCR4는 0.798, Unlimited-OCR은 0.7587에 그쳤다. 두 모델 모두 연구 커뮤니티에서 주목받은 최신 OCR 모델이지만, 특정 언어에 집중된 평가에서는 특화 모델이 더 높은 extraction quality를 보였다.
차이가 드러나는 장면도 현실적이다. 브라질 ENEM 에세이 원고에서 “Chico Buarque”라는 유명 음악가이자 시인의 이름을 Mistral OCR4는 “Chico Barque”로, Unlimited-OCR은 “chico bique”로 잘못 읽었다. “O Brasil não exclui, assimila” 같은 문장도 깨졌다. 이는 단순한 철자 실수라기보다 다국어 모델이 특정 문화권의 고유명사와 언어 패턴에서 어디까지 노출됐는지를 보여주는 신호다.
이 사례가 말하는 바는 범용 OCR 모델을 쓰지 말자는 것이 아니다. Mistral OCR4나 Unlimited-OCR은 더 넓은 언어와 문서군에서 훌륭한 선택일 수 있다. 다만 운영 환경에서는 평균 성능보다 내 문서군에서의 실패 양상이 더 중요하다. 손글씨, 작은 글씨, 훼손된 스캔, 지역 고유명사, 전문 용어가 섞이면 “대체로 잘 읽는 모델”과 “내 데이터에서 안정적으로 읽는 모델”의 차이가 비용으로 나타난다.
그래서 OCR 모델을 고를 때 질문은 바뀌어야 한다. 이 모델이 얼마나 최신인가가 아니라, 이 모델의 학습 압력과 파라미터가 내가 처리할 문서의 언어·형식·오류 조건에 얼마나 집중되어 있는가. DharmaOCR 사례는 도메인 특화가 여전히 구조적 이점이 될 수 있음을 보여준다.