AIL 프레임워크
비정형 정보의 수집, 크롤링, 처리 및 분석을 위한 오픈소스 프레임워크.
AIL 프레임워크는 클리어 웹, Tor, I2P, 채팅, 파일 및 외부 피드에서 비정형 데이터를 수집, 크롤링, 처리 및 분석하기 위한 오픈소스 플랫폼입니다.
원래 CIRCL에서 개발된 AIL은 분석가가 추출, 태깅, 탐지, 상관관계 및 조사 워크플로를 통해 원시적이고 지저분한 콘텐츠를 구조화된 인텔리전스로 변환할 수 있도록 지원합니다.
AIL(정보 유출 분석)은 비정형 정보의 수집, 크롤링, 처리 및 분석을 위한 오픈소스 프레임워크입니다. 분석가가 다양한 소스에서 관련 정보를 추출, 탐지, 상관관계 분석 및 공유하는 데 도움을 주어 위협 인텔리전스, 유출 분석 및 조사 워크플로를 지원합니다.
AIL이 포함하는 것:
- 확장 가능한 Python 기반 프레임워크 - 비정형 정보 처리 및 분석용
- 지속적이고 인증된 수집을 위한 크롤러 관리자
- 통신 플랫폼 및 외부 스트림용 피더(feeder)
- 키워드, 정규식 및 YARA 기반의 탐지 및 레트로헌트 엔진
- 추출된 데이터를 피벗(pivot)할 수 있는 검색, 상관관계 및 조사 기능
- 그리고 MISP과 같은 플랫폼을 위한 내보내기/통합 기능
AIL 인텔리전스 라이프사이클
AIL은 실용적인 인텔리전스 워크플로를 따릅니다:
- 수집 - 채팅, 웹사이트, 히든 서비스, 파일 및 피드로부터의 지속적인 수집.
- 처리 - 추출, 디코딩, OCR, QR/바코드 파싱, 강화 및 태깅.
- 탐지 - 단어, 집합, 정규식, 타이포스쿼팅 및 YARA 규칙을 사용한 실시간 추적.
- 분석 - 검색, 피벗, 상관관계 그래프 및 조사.
- 유포 - 발견 사항 및 객체를 MISP 인텔리전스 공유 플랫폼으로 내보내기.
AIL v6.7의 새로운 기능
AIL은 현재 v6.7이며 최근 릴리스에서 검색, 이미지 분석, 크롤링 및 문서 처리 기능이 크게 확장되었습니다.
주요 내용:
- 통합 검색 인터페이스 - 최적 일치 및 최신 순서 정렬
- 날짜 범위 필터링 및 개선된 고급 검색 워크플로
- 이미지 및 스크린샷 설명 - 더 빠른 시각적 분석 및 검색 가능성
- 확장된 OCR 및 QR 추출 - 더 어려운 이미지 사례 지원 포함
- 전체 PDF 처리 파이프라인 - 메타데이터 추출 및 번역 지원 포함
- 클리어 웹 및 Tor 수집 외에 I2P 크롤링 지원
- 인프라 분석 및 비익명화 워크플로를 위한 수동 SSH 상관관계
- Discord, Telegram, Matrix와 같은 플랫폼을 위한 개선된 채팅 탐색
기능
수집
- 비정형 정보 스트림을 처리하는 모듈식 아키텍처
- 다중 피더 및 임포터 지원
- Discord, Telegram 및 기타 제공업체와 같은 채팅 및 스트림 소스용 피더
- 클리어 웹, 다크넷, Tor 히든 서비스(.onion) 및 I2P 크롤링 지원
- 브라우저 세션, 쿠키 및 로컬 스토리지 재사용을 통한 인증된 크롤링
- 시간에 따른 웹사이트 및 히든 서비스의 지속적 또는 주문형 모니터링
- UI 제출/가져오기 기능
처리 및 강화
- 비정형 정보의 전체 텍스트 인덱싱 (채팅, 크롤링된 콘텐츠)
- URL, 호스트명, 이메일 주소 및 자격 증명 추출
- 전화번호, API 키, IBAN, 인증서 및 개인 키 탐지
- 비트코인 주소, 개인 키 및 관련 암호화폐 아티팩트 탐지
- 인코딩된 콘텐츠(Base64, hex)에서 파일 추출 및 디코딩
- 스크린샷 및 이미지의 OCR 처리
- 내장 콘텐츠 재처리를 통한 QR 코드 및 바코드 추출
- 이미지, 스크린샷 및 도메인에 대한 AI 지원 설명
- PDF 메타데이터 추출, 수집 및 번역
- MISP Galaxy 및 MISP Taxonomies를 사용한 태깅 시스템
탐지 및 추적
트래커는 사용자 정의 규칙 또는 패턴으로, AIL이 수집한 관련 정보를 자동으로 탐지, 태깅하고 분석가에게 알립니다.
지원되는 트래커 유형:
- 단어 추적
- 단어 집합 추적
- 정규식 추적
- YARA 규칙
- 타이포스쿼팅 탐지
탐지 기능 포함:
- 실시간 태깅 및 분류
- 객체 발생 추적
- 웹훅 또는 이메일 알림 워크플로
- 내장 YARA 편집기
AIL은 또한 **레트로 헌트(Retro Hunts)**를 지원하여 분석가가 새로 생성된 YARA 규칙을 과거 데이터에 대해 실행하여 이전에 놓친 콘텐츠를 발견할 수 있습니다.
검색, 상관관계 및 조사
- 최신성 및 관련성 순서를 갖춘 통합 검색 인터페이스
- 날짜 범위 검색 및 선택된 데이터 유형에 대한 특수 고급 검색
- 채팅, 크롤링된 도메인, 제목, 파일명 및 AI 생성 설명 검색
- 다음 간의 관계에 대한 상관관계 엔진 및 그래프 시각화:
- 디코딩된 파일 및 해시
- PGP 메타데이터
- 도메인, 제목, dom-hash, 파비콘, 쿠키 이름
- 사용자 이름 및 사용자 계정
- CVE
- SSH 키
- 암호화폐
- PDF 메타데이터
- ...
- 분석가의 발견 사항을 그룹화, 강화 및 추적하는 조사 워크플로
내보내기 및 통합
- MISP으로 경고 및 공유
- AIL 객체 및 조사 결과를 MISP 형식으로 내보내기
- 선택된 탐지 및 태그에 대한 자동 내보내기
- 협업 인텔리전스 및 사고 대응 워크플로를 지원하는 통합
왜 AIL인가?
AIL은 지저분하고 현실 세계의 데이터를 다뤄야 하는 분석가를 위해 만들어졌습니다:
- 자유 텍스트,
- 스크린샷,
- PDF 및 파일,
- 채팅 메시지,
- 인코딩된 페이로드,
- 웹, Tor 및 I2P 소스에서 수집된 콘텐츠.
이러한 소스를 별도로 처리하는 대신, AIL은 검색 가능하고 상관관계가 있으며 실행 가능한 인텔리전스로 전환하는 데 도움을 줍니다.
스크린샷
웹사이트, 포럼 및 히든 서비스
사전 기록된 세션 쿠키를 사용한 로그인 보호 크롤링
추출 및 디코딩된 파일
상관관계 엔진
조사
태깅 시스템
MISP 내보내기
자동 이벤트 및 알림
UI 제출
설치
AIL 프레임워크를 설치하려면:
# 저장소 클론
git clone https://github.com/ail-project/ail-framework.git
cd ail-framework
git submodule update --init --recursive
# Debian/Ubuntu 기반 배포판에서 종속성 설치
./installing_deps.sh
# AIL 시작
cd bin
./LAUNCH.sh -l
기본 installing_deps.sh 스크립트는 Debian 및 Ubuntu 기반 배포판을 대상으로 합니다.
요구 사항
AIL의 하드웨어 요구 사항은 어떻게 결정하나요?
설치 참고 사항
일부 선택적 구성 요소는 Lacus 크롤러, Meilisearch 검색 인덱서 및 번역을 포함한 추가 구성이 필요합니다. 자세한 설정 지침은 HOWTO를 참조하세요.
AIL 시작
circl/ail-framework