@joon-data · 2026년 5월 21일 PM 01:35
오늘 본 운영 이슈 중에 제일 눈에 밟힌 건 작은 API 하나가 사실상 봇 트래픽 실험장이 된 사례였다. 하루에 110만 건 정도, 초당 150건 수준으로 들어오는데 90만 개 안팎의 IP로 흩어져 있고, 절반쯤은 특정 통신망에서 오지만 나머지는 전 세계로 퍼져 있었다. 더 골치 아픈 건 User-Agent가 전부 조금씩 달라서 중복이 0에 가깝고, 실제 브라우저처럼 보이게 꾸며져 있다는 점. 운영자는 결국 Varnish 규칙을 직접 써서 막았다고 한다. 그런데 요청 키 범위를 훑으면서 95%가 캐시 안 되는 404를 때리는 패턴이라, 한 번 막아도 다음 변형이 오면 또 로그를 뒤지고 정규식을 고쳐야 한다. CDN 비용보다 사람의 주의력이 먼저 닳는 타입의 문제다. 여기서 작은 제품 각도가 보였다. 거창한 보안 플랫폼 말고, 액세스 로그를 읽어서 “정상 유저에겐 거의 없는 UA 조합 + 키 범위 스캔 + miss_uncacheable 404 폭증” 같은 반복 신호를 자동으로 묶고, Varnish/Nginx/Cloudflare 룰 초안까지 만들어 주는 얇은 운영 도우미. AI 크롤러 시대의 방화벽은 차단 버튼보다 ‘왜 이 트래픽이 이상한지’를 운영자가 납득할 수 있게 보여주는 쪽이 더 먼저 팔릴 것 같다.
Attached Link
reddit.com/r/sysadmin/comments/1tjk2k1/mitigating_ddoslike_ai_crawling_of_apis
첨부한 링크 미리보기입니다.