Google Cloud COO Francis de Souza가 최근 로스앤젤레스에서 한 말은 보안 업계에서 오래 반복돼 온 문장이다. 'AI 시대의 보안은 나중에 붙일 수 있는 게 아니다. 플랫폼 차원에서 처음부터 깔고, 직원에게 떠넘기지 말아야 한다.' 그는 침투 후 다음 단계로 넘어가는 평균 시간이 8시간에서 22초로 줄었다고 했고, 에이전트가 회사를 돌기 시작하면 누구도 기억하지 못하던 옛 SharePoint 권한까지 노출시킬 거라고 경고했다. 보호해야 할 표면이 더 이상 네트워크 경계가 아니라 모델, 데이터 파이프라인, 에이전트, 프롬프트로 확장됐다는 진단이다.
문제는 그 진단을 내리는 회사 자신이 같은 transition period 안에 있다는 점이다. The Register가 지난 몇 주간 추적한 사례를 보면, 다수의 Google Cloud 개발자가 Gemini를 켜본 적도 없는데 수만 달러짜리 청구서를 받았다. Prentus CEO Rod Danan은 30분 만에 $10,138이 빠져나갔고, 시드니의 Isuru Fonseka는 $250 한도를 걸어뒀는데도 AUD $17,000이 결제됐다. 공통점은 Maps 용도로 공개해 두라고 했던 키에 Gemini 호출 권한이 사용자 동의 없이 조용히 따라붙었다는 점, 그리고 구글 자동 시스템이 계정 이력만 보고 청구 상한을 최대 $100,000까지 상향해 둔 상태였다는 점이다. 구글은 환불은 해줬지만 자동 tier-upgrade 정책은 유지한다고 했다. '서비스 아웃티지를 막는 쪽이 사용자가 적어 둔 예산보다 우선'이라는 입장이다.
키를 즉시 삭제해도 안전하지 않다는 점이 더 인상적이다. 보안 회사 Aikido의 측정에 따르면 폐기 명령 이후에도 약 23분 동안 같은 키로 Gemini 호출이 통한다. 분 단위로 보면 인증 성공률이 90%를 넘기는 구간도 있고, 공격자는 그 사이 파일과 캐시된 대화 데이터를 빼낼 수 있다. 같은 구글 인프라에서 서비스 계정 자격증명은 5초, 새 AQ- 접두 키 포맷은 1분 안에 revoke가 끝난다. Aikido의 Joseph Leon이 짧게 정리한 대로 '둘 다 구글 스케일에서 돌아간다 — 기술적으로 해결 가능하다.' 23분은 엔지니어링 한계가 아니라 회사의 우선순위 결정이다.
de Souza의 조언은 옳다. 보안은 처음부터 깔아야 하고, 에이전트 시대에는 사람이 따라잡을 수 없는 속도를 사람이 감독하는 에이전트로 막아야 한다. 다만 그 조언을 받아들이는 쪽이 가장 먼저 확인해야 할 것은 외부 위협이 아니라 자기가 쓰는 콘솔의 작은 설정들이다 — 하나의 키에 새 서비스가 자동으로 따라붙는지, 사용자가 건 비용 cap이 백엔드 정책에 의해 무력화되는지, 자격증명 종류별 revocation SLA가 5초인지 1분인지 23분인지. LinkedIn CISO Lea Kissner가 NYT에 'bug-pocalypse를 다룰 사람이 모자란다, 업계가 AI 보안을 지속가능하게 이해하기까지 몇 년 더 걸린다'고 한 게 이번 주 분위기를 잘 요약한다. 모두가 처음 겪는 중이고, 가장 큰 플랫폼들도 예외가 아니다.