적대적 머신러닝 - 시큐어 학습을 위한 프레임워크

위 책을 읽고 개인적으로 정리한 내용입니다.

적대적 환경에서의 학습에 관한 선행 연구, 학습 시스템을 대상으로 하는 공격, 공격에 대한 secure system을 만들기 위한 제안

학습 단계 분석

측정 단계

측정 과정에 대한 지식
공격자는 정상 데이터를 모방하기 위해 악성 인스턴스(:학습 데이터에 포함된 하나의 특징벡터) 를 설계할 수 있음.
측정 메커니즘을 대상으로 하는 공격이 성송식 작업 수행을 위해 큰 비용의 재계측/재설계 필요

특성 선택 단계

측정 단계에 비해 대응 및 복구 비용이 적음.
재훈련 자동화 가능
그러나, 특성 선택이 오염될 수 있는 훈련 데이터에 기반을 둔 경우 훈련 단계와 같은 방식으로 특성 선택 공격 가능

학습 모델 선택

학습 모델이 알려질 경우, 모델이 내재한 가정 악용 가능
ex) 모델이 데이터의 선형 분리성을 잘못 가정 -> 공격자는 학습기를 속이거나 학습기가 제대로 훈련하지 못하게 하기 위해서 선형적으로 분리할 수 없는 데이터 사용할 가능성 있음.
모델 변경하면 시스템을 다시 설계해야 할 수도 있음.

훈련 단계

학습기의 훈련 방법을 알게 되면 공격자는 엉성한 가설을 선택하도록 속이거나 예측하는 동안 훈련 데이터의 프라이버시를 침해하도록 데이터를 설계할 수 있음.
강건한 학습방법 : 강건성과 성능 간에 내재한 절충점을 갖지만, 적대적 오염에 대해 복원력 있음
차등 프라이버시 : 강력한 공격자에 대해 학습기가 보호하는 프라이버시 수주능ㄹ 강력하게 보장하는 선도적인 접근 방식

예측 단계

학습기가 만든 예측 오류를 발견한 공격자는 불완전한 가설 악용 가능 -> 오류를 발견하는 것이 얼마나 어려운지 평가하는 것은 중요한 질문
ACRE 학습 프레임워크
공격자는 훈련 데이터 프라이버시를 유출하기 위해 불안전한 가설 이용 가능 앞으로 관심을 가질 부분은 공격자가 이러한 오류를 악용하는 것을 탐지, 공격에 대응하기 위해 재훈련하는 것

추상적인 공격을 이해하기 위해

1. 첨부파일 포함, 이메일 제목 길이, 본문 길이 등 이메일의 간단한 측도 집합
2. 스팸에서 가장 자주 나타나는 상위 10개의 특성 선택
3. 나이브-베이즈 모델 사용
4. 클래스의 빈도 경험 횟수로 훈련
5. 모델의 예측 클래스 확률의 한계쩜을 이용하여 이메일을 분류하는 모델
   - 측정(특성) 단계를 대상으로 하는 공격 ) 분류를 위해 사용한 특성 결정 -> 해당 특성에 대해 일반 이메일/구별 불가능한 스팸 생성
   - 학습 모델 대상 공격 ) 나이브 베이즈 경계의 선형성으로 인해 정확하게 분류할 수 없는 일련의 스팸/정상 발견
   - 훈련 시스템(또는 특성 선택)에 잘못된 가짜 특성을 가진 스팸 주입 -> 잘못된 가설 학습
   조작되지 않고 프라이버시에 민감한 훈련 이메일을 공개할 확률을 높이는 가설 학습
   - 예측 단계 ) 정상 메일로 잘못 분류한 스팸을 찾기 위해 필터를 체계적으로 탐색, 프라이버시에 민감한 훈련 데이터 집합에 대한 정보를 추론함으로써 공격

많은 학습 방법이 정상정 가정 기반 ( 훈련 데이터, 평가 데이터를 같은 분포에서 선택)
훈련 집합의 위험을 최소화해야 평가 데이터에 대한 위험을 줄일 수 있음.
정상정 가정에 대한 침해를 견디거나 완화하기 위해 학습 방법을 분석하고 강화하는 것이 시큐어 학습 문제의 핵심

보안 분석

시스템의 보안을 분석하기 위해서는 시스템에 대한 보안 목표, 위협 모델을 확인해야 함.
보안 목표 : 위반 시 자산의 손실로 이어지는 요구 사항
위협 모델 : 공격자의 동기와 능력을 설명하는 프로필

분류기는 시스템의 보안 목표를 높이기 위해 구별하는데 사용될 수 있음.
ex) 바이러스 탐지 시스템 ) 감염되기 전 바이러스가 퍼지는 동안 바이러스를 탐지하거나 감염된 바이러스를 탐지하고 삭제 -> 바이러스 감염에 대한 민간성 줄이기가 목표
침입 탐지 시스템(IDS) 기존의 칩입 확인, 제거 -> 악성 트래픽 탐지 -> 의도한 표적에 도달하지 못하게 만들어 악성 침입으로 인한 침해 방지 목표

보안 목표

보안 상황에서, 분류기의 목적은 악성 이벤트를 분류해 시스템 운영을 방해하지 못하도록 방지하는 것

1. 무결성 목표 : 공격자 시스템 자산 접근 방지
2. 가용성 목표 : 정상적인 운영 방해 방지
3. 프라이버시 목표 : 데이터의 기밀성 보호위협 모델위협 모델공격자 방어자 각각 주어진 인스턴스에 대한 각 레이블링, 각 훈련 인스턴스 프라이버시 유출에 비용을 할당하는 비용함수 가지고 있다 가정
   비용은 양, 음 모두 가능 (음의 비용은 이익)