SAP의 S/4HANA 마이그레이션은 수년이 걸리는 프로젝트다. 회계·구매·물류 시스템을 통째로 교체하는 과정에서 직원들은 쉼 없이 기술 질문을 쏟아낸다. 그 질문들을 어떻게 처리하느냐가 마이그레이션의 속도와 비용을 가른다.
스위스 연방철도(SBB)는 이 문제를 Mistral AI 기반 RAG 시스템으로 풀고 있다. 직원 3만 명이 사용 중인 이 챗봇은 내부 마이그레이션 문서에서 컨텍스트를 끌어와 답변하고, SAP 전용 기술 약어도 처리한다. 챗봇이 답하지 못한 질문은 사람 전문가에게 넘어가고, 전문가의 답변은 자동으로 시스템에 재입력된다. 단순한 Q&A 도구가 아니라 운영하면서 지식이 축적되는 파이프라인이다.
데이터 처리는 유럽 내 SAP 인프라에서만 이루어진다. SAP와 Mistral 양쪽 모두 역외 데이터 전송이 없다고 명시했다. 파트너십은 2024년 6월 시작돼 같은 해 10월 확장됐고, SBB는 그 결과물을 실제 운영 환경에서 가동하고 있다. 파트너십 공지와 실제 운영 사이의 거리가 이 사례에서는 거의 없다.
그러나 SAP 고객 전반으로 시선을 넓히면 그림이 달라진다. 사용자 그룹들의 피드백에 따르면 대부분의 SAP 고객은 아직 AI를 실험하는 단계에 머물러 있다. 클라우드 전환이 충분히 이루어지지 않은 조직이 많고, 기존 라이선스 구조가 AI 도입과 맞지 않는 경우도 적지 않다. SBB처럼 운영 파이프라인까지 구축한 케이스는 아직 소수다. 이 격차가 SAP-Mistral 파트너십의 다음 과제이기도 하다.