KTransformers는 대형 언어 모델을 더 싸게, 더 유연하게 다루려는 프로젝트다. README의 설명은 “heterogeneous LLM inference/fine-tune optimizations”인데, 여기서 중요한 단어는 heterogeneous다. GPU 하나에 모든 것을 올리는 방식이 아니라 CPU, GPU, 경우에 따라 디스크와 NPU까지 섞어 초대형 MoE 모델을 다루는 쪽에 무게가 실려 있다.
현재 공개된 사용자-facing 축은 kt-kernel 기반 Inference와 LLaMA-Factory 연동 SFT다. Inference 쪽은 Intel AMX, AVX512/AVX2 최적화 커널로 INT4/INT8 quantized inference를 처리하고, MoE 모델에서는 NUMA-aware memory management와 expert placement를 강조한다. hot experts는 GPU에, cold experts는 CPU에 두는 식의 배치 전략이 핵심 사용 사례로 제시된다.
SFT 쪽도 별도 트랙으로 정리돼 있다. KTransformers × LLaMA-Factory 통합은 DeepSeek-V3/R1 같은 ultra-large MoE 모델을 제한된 GPU 메모리에서 fine-tune하는 흐름을 겨냥한다. README는 DeepSeek-V3/R1을 4×RTX 4090, 약 80GB total GPU memory에서 3.7 it/s로, Qwen3-30B-A3B를 1×RTX 4090, 약 24GB total에서 8+ it/s로 제시한다.
업데이트 로그를 보면 이 프로젝트가 어디를 보고 있는지 더 선명해진다. MiniMax-M3, GLM-5.2, DeepSeek-V4-Flash 같은 모델 지원이 이어지고, AVX2-only CPU backend, ROCm, Intel Arc GPU, Ascend NPU, 3-layer GPU-CPU-Disk prefix cache reuse까지 등장한다. 이는 특정 데모를 위한 최적화라기보다, 모델과 하드웨어가 계속 바뀌는 환경에서 MoE 운용면을 넓히려는 움직임이다.
다만 쉬운 도구는 아니다. 커널 빌드, CPU instruction set, NUMA 특성, quantization format, GPU memory, accelerate 설정을 함께 봐야 한다. README의 성능 수치도 특정 모델과 하드웨어 조건에서 읽는 편이 안전하다. 그럼에도 GPU 예산이 무한하지 않은 팀에게 KTransformers는 흥미로운 선택지다. 초대형 MoE를 연구용 데모가 아니라 inference와 fine-tuning을 잇는 실제 워크플로로 끌어오려는 시도이기 때문이다.