[progress] Thys Fooling Automated Surveillance Cameras : Adversarial Patches to Attack Person Detection

CVPRW_2019_paper

---

요약

• 배경 및 의의
  • 기계학습 모델에 대한 적대적 공격
    • 입력 이미지의 픽셀 값을 변경하여 분류기가 잘못된 클래스를 출력하도록 속임
    • 탐지기와 분류자를 속이기 위해 객체에 적용할 수 있는 "패치"
      • 이러한 공격이 현실 세계에서 가능하다는 것을 보여줌
        • 물체를 수정하고 비디오 카메라로 촬영하는 것
      • 모든 접근 방식은 클래스 내 다양성이 거의 없는 클래스를 대상으로 함 (정지 표지판과 같이 모양이 정해진)
      • 개체의 알려진 구조를 사용하여, 그 위에 적대적인 패치를 생성
      • 본 논문에서는 다양성이 많은, 사람에 대한 적대적 패치 생성 방법을 제시
• 목표
  • 사람 탐지기에서 사람을 성공적으로 숨길 수 있는 패치를 생성
  • e.g. 감시 시스템을 우회하기 위해 악의적으로 사용될 수 있는 공격
    • 침입자가 감시카메라를 향해 작은 판넬을 신체 앞에 두어, 탐지를 피해 접근
• 논문 구성
  1. 적대적 공격에 대한 분석
  2. 적대적 패치를 생성하는 방법
  3. Inria Dataset에 대해 생성한 Patch로 정량평가 & 실제 비디오 평가
  4. 결론
  (소스코드 : https://gitlab.com/EAVISE/adversarial-yolo)
• 결과
  • 40X40 물체 탐지기로부터 사람을 숨기기 위한 패치 사용
    • 사람 탐지기의 정확도를 현저히 낮추었고, 실제 시나리오에서도 잘 작동함
    • 사람 탐지 시스템에 대한 이러한 공격의 위험을 강조

• 배경
  • 기계학습 모델에 대한 적대적 공격은 지난 몇 년간 관심이 증가했습니다.
  • CNN이 떠오르면서, 컴퓨터 비전 분야에서 큰 성공을 거둠
    • CNN이 이미지에 대해 학습하는 데이터 기반 end to end pipeline은 광범위한 컴퓨터 비전 작업에서 최상의 결과를 얻는 것으로 입증되었습니다.
    • 아키텍처의 깊이로 인해 신경망은 네트워크 하단(데이터가 들어오는 위치)에서 매우 기본적인 필터를 학습하여, 상단의 매우 추상적인 고수준 Feature를 학습할 수 있음
    • 일반적인 CNN에는 수백만 개의 학습된 매개변수가 포함됨
    • 매우 정확한 모델을 생성하지만, 해석 가능성은 극적으로 감소
  • 네트워크가 사람의 이미지를 정확하게 이해하는 것은 매우 어려움

적대적공격

• 컨볼루션 신경망의 입력을 미묘하게 변경함으로써 네트워크의 출력을 흔들어 완전히 다른 결과를 출력할 수 있습니다.

Related works

• classification에 대한 adversarial attack
  • 적대적 공격의 존재 (2014 Bigio et al)
  • 분류 모델에 대한 적대적 공격 (Szegedy et al)
    • 네트워크를 속여 오분류를 유도
    • 이미지의 픽셀을 약간 변경하여 사람의 눈에 변화가 보이지 않도록 함
  • 이미지에 대한 적대적 공격을 실용적으로 생성 (FGSM, Goodfellow et al)
  • 이미지를 변경하여 공격을 생성하는 알고리즘 (Moosavi-Dezfooli et al)
    • 초평면을 사용하여 입력 이미지에 대한 서로 다른 출력 클래스 간의 경계를 모델링
  • Carlini et al
  • 패치방법 Brown et al
    • 하나의 이미지 대신 다양한 이미지를 사용하여 클래스 내 견고성 구축
  • 분류기에 대한 실제 공격 제시 (Evtimov et al.)
    • 정지 신호에 스티커 생성
  • 3D 모델의 질감이 최적화되는 접근 방식 (Athalye et al)
    • 다양한 포즈, 조명 변경에 대한 견고성을 구축하기 위해 다양한 포즈의 이미지가 옵티마이저에 표시
    • 이후 3D 프린터를 사용하여 인쇄
  • 서로 다른 이미지에서 적대적 섭동으로 사용할 수 있는 단일 범용 이미지를 생성하는 방법 (MoosaviDezfooli)
    • UAP

• 얼굴 인식에 대한 Real world adversarial attack
  • 얼굴 인식 시스템을 속일 수 있는 인쇄된 안경 (Sharif et al)
    • 안경은 다양한 포즈에서 작동하는 견고성 보장
      • 큰 이미지 세트에서 작업하여 최적화
    • 이미지에 사용된 색상이 프린터로 표현될 수 있도록 하는 Non Printability Score

• 물체 감지를 위한 Real world adversarial attack
  • real adversarial attack to object detector (Chen et al)
    • Faster R-CNN
    • 정지신호 감지를 목표로 함
    • 서로 다른 포즈에 대한 견고함을 구축하기 위해 EOT의 개념을 사용
  • 최근 연구 (Eykholt et al)
    • 정지신호 감지 목표
    • Yolov2 탐지기에 대해 whitebox attack
    • 정지 신호의 빨간색 영역에 패턴이 채워짐
    • Faster-RCNN을 평가해 해당 공격이 다른 탐지기로 전달되는 것을 발견

• 사람과 같이 다양한 클래스에서 동작하는 탐지 방법
  • Yolov2
    • bounding box, object score, class score는 네트워크를 통해 one stage로 예측됨
    • 풀 컨볼루션이며, 입력 이미지가 네트워크가 전달되면서 원래 해상도보다 32배 작은 해상도의 출력 그리드로 축소
      • 출력 그리드의 각 셀에는 서로 다른 종횡비를 포함하는 Bounding box의 5가지 앵커 포인트가 있음 (x오프셋, y오프셋, w너비, h높이, p확률)