본문으로 건너뛰기

Hugging Face 에이전트형 침입의 해부

고급
What you'll learn
  • 실제 공격 사슬을 보기 — 모델 가중치가 아닌 데이터셋 로더 + 구성 템플릿 주입이 문이었다
  • 공격자가 키보드 앞의 인간이 아닌 자율 에이전트일 때 무엇이 바뀌는지 이해
  • 침해가 실제로 어떻게 탐지되었는지 배우기(LLM 기반 트리아지) — 대시보드를 노려보는 인간이 아니라
  • 비대칭성 문제에 직면: 공격자를 차단하는 안전 가드레일이 당신의 사고 대응자도 차단한다
  • 신뢰되지 않는 콘텐츠가 코드 실행 경로 근처에 오게 하는 모든 팀을 위한 지속적 교훈 추출

2026년 7월 16일, Hugging Face는 자신의 프로덕션 인프라 일부가 자율 AI 에이전트 프레임워크 에 의해 엔드투엔드로 침해되었다고 공개적으로 공개했습니다. 주말 동안 공격자는 방어자가 그것을 중단시키기 전에 단명 샌드박스의 스웜에서 17,000회 이상의 개별 로깅된 액션 을 실행했습니다. 이는 완전히 에이전트에 의해 구동된 AI 인프라 제공자의 첫 번째 공개적으로 확인된 침입이며, 사후 분석은 사용자 업로드 콘텐츠에 닿는 서비스를 가진 모든 팀에 일반화되는 교훈을 담고 있습니다.

이 페이지는 스코어보드가 아닌 사례 연구입니다. 목표: 헤드라인이 아닌, 당신이 행동할 수 있는 운영 사항을 추출.

이것이 왜 다른가​

이전의 AI 관련 침해는 AI 지원형(LLM 헬퍼를 실행하는 인간)이거나 AI 표적형(모델 가중치나 훈련 데이터를 노리는 공격자)이었습니다. 이것은 어느 쪽도 아닙니다:

  • 오퍼레이터 가 에이전트였습니다 — 지각, 계획, 실행, 적응 모두 루프 안에.
  • 표적 은 AI 제품이 아닌 인프라였습니다.
  • 침입의 속도와 형태 — 수천 개의 병렬 액션, 자가 치유 명령 및 통제, 초 단위로 측정되는 재시도 — 는 방어자 측에서 본 에이전트 스웜의 모습입니다.

Sysdig의 JADEPUFFER 문서는 하나의 침입을 구동하는 단일 에이전트를 보여주었습니다. Hugging Face는 스웜 을 보여주었고, 인터넷에서 가장 큰 AI 모델 허브에 일어났습니다.

공격 사슬, 한 번에 한 단계​

Guided walkthrough1 of 6
  1. 공격자가 플랫폼이 데이터셋에 노출한 두 개의 코드 실행 경로를 악용한 조작된 데이터셋을 업로드했습니다: 원격 코드 데이터셋 로더와 데이터셋 구성의 템플릿 주입. 페이로드는 처리 워커 — 사용자 데이터셋을 정규화/제공하는 것 — 에 도착했습니다.

가장 중요한 프레이밍 포인트: 진입점은 AI가 아니었다. 그것은 사용자 제공 콘텐츠에 노출된 표면에 앉아 있던 두 개의 매우 평범한 애플리케이션 보안 버그 — 로더의 코드 실행 경로, 구성의 템플릿 주입 — 였습니다. AI가 바꾼 것은 발판을 잡은 후에 일어난 일입니다.

에이전트 오퍼레이터가 실제로 다르게 한 것​

인간 레드팀 요원이 같은 단계를 수행한 것처럼 타임라인을 읽으면 거의 지루해 보입니다. 기계 속도로 읽으면 형태가 바뀝니다:

속성인간 침입자에이전트 오퍼레이터 (이 사고)
주말당 액션수십에서 수백17,000+
병렬성하나의 셸, 어쩌면 몇 개단명 샌드박스의 스웜
실패 후 재시도분에서 시간초
C2 자세보통 안정적인 채널공개 서비스를 가로질러 자가 이주
주의 패턴흥미로운 단서를 따름넓게 탐색한 다음 집중

그 형태에서 두 가지 결과가 나옵니다:

  1. IOC 기반 방어가 저하됩니다. 정적 손상 지표는 공격자가 소유한 인프라를 가정합니다. 에이전트가 공개 서비스 사이를 뛰어다니고 샌드박스를 태우면, 유용한 신호는 IP나 도메인이 아니라 — 행동 입니다.
  2. 응답이 속도에 맞춰져야 합니다. 침입자가 천천히 움직이는 인간일 때는 몇 시간 안의 탐지가 괜찮습니다; 밤새 수천 개의 액션을 하는 에이전트에 대해서는 같은 지연이 지는 것입니다.

그들이 실제로 어떻게 발견했는가 (이것이 훔칠 부분)​

공개 문서는 탐지를 AI 지원 이상 파이프라인 에 돌립니다: 보안 원격 측정에 대한 LLM 기반 트리아지로, 개별적으로는 정상 잡음처럼 보였던 신호들을 상관시켰습니다. 다시 말해: 그들은 상대편의 도구를 발견하기 위해 자신의 종류의 도구를 사용했습니다.

그런 다음, 사고 대응 중에, 그들은 전체 17,000+ 이벤트 로그를 걷기 위해 LLM 구동 분석 에이전트를 사용했습니다 — 일이 아닌 시간 안에 타임라인을 재구성하고 손상 지표를 뽑아냈습니다. 그것이 중요한 이유는, 공격자의 속도가 초 단위로 설정되었기 때문입니다.

비대칭성 문제 — 불편한 발견​

여기가 모든 보안 팀이 포스트를 두 번 읽게 만드는 발견입니다. Hugging Face가 처음 상용 API 뒤의 프론티어 모델 에서 로그 분석 에이전트를 실행하려 했을 때, 요청은 안전 가드레일에 의해 차단 되었습니다 — 분석되는 자료가 익스플로잇 코드, C2 아티팩트, 공격자 명령 이었기 때문입니다. 제공자의 분류기는 사고 대응자와 공격자를 구별할 수 없었습니다.

포렌식 작업을 마치기 위해 그들은 오픈 웨이트 모델인 GLM 5.2 로 이동해 자신의 인프라에서 실행했습니다. 그것이 두 가지 이유로 작동했습니다:

  • 그들과 증거 사이에 앉는 제공자 가드레일이 없음.
  • 활성 사고 중 민감한 공격자 페이로드와 내부 자격 증명의 제3자로의 왕복이 없음.

교훈은 "오픈 웨이트가 더 낫다"가 아닙니다. 교훈은:

공격을 멈추는 가드레일이 응답도 멈출 수 있다

사고 대응 플레이북이 실제 공격자 페이로드를 호스팅된 어시스턴트에 붙여넣는 것에 의존한다면, 어시스턴트가 거부할 때 그 작업을 어디서 할지를 미리 결정 하세요. 자신의 인프라에서의 오픈 웨이트 모델 — 또는 레드팀 / IR 콘텐츠에 대해 명시적으로 승인된 제공자 티어 — 는 새벽 2시의 부수적 생각이 아닌 계획의 일급 부분입니다.

그것은 오늘날 개발자들이 코딩 에이전트가 보안 개념 증명을 건드리려 하지 않을 때 부딪히는 동일한 문제의 더 작은 버전을 반영합니다. 규모는 다릅니다; 메커니즘은 같습니다.

개선책 — 그들이 실제로 배포한 것​

보고된 순서로 정렬되었고, 자신의 런북을 위한 템플릿으로 읽을 가치가 있습니다:

Guided walkthrough1 of 6
  1. 취약한 데이터셋 코드 실행 경로 — 원격 로더와 구성 템플릿 주입 — 를 수정해 같은 원시가 재사용되지 않도록 합니다.

그 목록에 없는 것에 주목하세요: "더 똑똑한 모델을 기다리기". 모든 단계는 경계, 자격 증명, 또는 응답에 대한 운영적 변화입니다.

Hugging Face가 아니라면 어떻게 해야 하는가​

대부분의 팀은 프로덕션 데이터셋 로더를 실행하지 않습니다. 거의 모든 팀은 사용자 제공 콘텐츠를 받아들이고 코드 실행 경로에 닿는 무언가 를 실행합니다 — 웹훅, 플러그인, 통합, MCP 서버, 자신이 작성하지 않은 리포지토리에서 실행되는 CI 작업. 일반화 가능한 방어는 동일합니다:

Guided walkthrough1 of 5
  1. 신뢰되지 않는 콘텐츠가 코드가 되는 어디든 — 역직렬화, 템플릿 렌더링, 동적 구성, 데이터셋 로딩 — 경계로 취급하세요. 퍼즈하고, 샌드박스에 넣고, 그것이 실행할 수 있는 것에 대해 차단 목록보다 허용 목록을 선호하세요.

Prompt: ask your own system to find its dataset-loader-equivalents

I want to catalogue every place in our system where untrusted user-provided content is parsed, deserialized, or rendered into something that can be evaluated as code or a template.

For each one, list:
- The entry point (endpoint, worker, job)
- The parser/loader/renderer used
- The identity/credentials the process runs as
- What that identity can reach if compromised (be specific)

Then rank them by: (severity of the credentials) × (reachability of untrusted input). Give me the top 5.

유지할 멘탈 모델​

빠른 회상
Enter 또는 스페이스 키를 눌러 카드를 뒤집습니다. 좌우 화살표 키로 카드를 이동할 수 있습니다.용어가 표시되었습니다.
1 / 6

스스로 확인해 보세요

0/5
  1. Hugging Face 침입의 실제 진입점은 무엇이었습니까?
  2. 침입의 어느 속성이 인간 오퍼레이터 대 에이전트 오퍼레이터의 가장 특징적인 것입니까?
  3. 사고 대응 중에, 왜 Hugging Face는 프론티어 호스팅 모델에서 GLM 5.2로 피벗했습니까?
  4. 사용자 업로드 파일을 받아들이고 파싱하는 서비스를 운영합니다. 파서가 익스플로잇당할 경우 폭발 반경을 가장 크게 줄이는 단일 변경은?
  5. 공개에 따르면, 이 중 사고에서 침해되지 않았다고 검증된 것은?

출처 및 추가 자료​

AILmanac 관련​