corelight/ecs-templatesCorelight 또는 Zeek Elastic Common Schema 템플릿
이 저장소에는 Corelight 또는 Zeek 로그를 Elastic Common Schema(ECS) 명명 표준으로 변환하고 Elastic Stack 배포 환경에 저장하는 데 필요한 모든 것이 포함되어 있습니다. 2019년, Elastic Common Schema와 같은 해에 처음 출시된 이 저장소는 현재까지도 활발히 유지 관리되고 업데이트되고 있습니다.
200개 이상의 다양한 로그와 메트릭을 지원하며, 모든 환경을 지원하면서도 각 고유 환경에 맞게 필요하고 원하는 옵션을 동시에 사용자 정의할 수 있도록 설계되었습니다.
모든 환경에 걸친 지원을 보장하고, 동시에 각 고유한 배포 환경에 맞게 필요하고 원하는 옵션을 사용자 정의할 수 있도록 상당한 노력을 기울였습니다.
이 저장소는 주로 다음 두 가지로 구성되어 있습니다:
파일과 자동화 스크립트는 BSD 라이선스에 따라 오픈소스로 제공됩니다. 자세한 내용은 COPYING을 참조하세요.
스크립트를 실행하기 전에 모든 섹션을 읽어 주세요.
corelight_ecs.py 스크립트를 사용해야 합니다. 파일 전체에 스크립트가 대체하는 수백 개의 변수가 있으므로 템플릿과 파이프라인을 수동으로 설치하는 것은 지원되지 않습니다.인덱스 설정, 매핑, 별칭 및 ILM 정책의 사용자 정의를 권장합니다. 따라서 스크립트는 다양한 유형의 사용자 정의(아래에 자세히 설명)를 지원하도록 설계되었습니다.
대부분의 사용자 정의는 필요하지 않겠지만, 옵션이 없는 것보다 있는 것이 낫습니다. 항상 고유한 샤드/레플리카 수와 ILM 정책을 사용하는 것이 권장되며, 그 외에는 많이 사용자 정의할 필요가 없습니다. 그러나 모든 배포 환경에서 인덱스 템플릿, 인제스트 파이프라인 및 Logstash 파이프라인의 많은 부분을 일반적으로 사용자 정의한다면 여전히 그 기능을 사용할 수 있습니다.
각 섹션에 대한 자세한 내용은 아래를 참조하세요.
스크립트는 데이터 스트림에 대한 사용자 정의 인덱스 이름/패턴을 선택하려는 경우 이에 대해 묻습니다. 이를 통해 고유한 인덱스 명명 규칙을 선택할 수 있습니다. 예를 들어 다음과 같이 선택할 수 있습니다:
logs-corelight.conn-defaultecs-corelight.conn-defaultcall_it_what_you_will.conn-defaultlogs-corelight.conn-remotesite1그런 다음 인제스트 파이프라인이나 Logstash 파이프라인을 선택한 경우 필요한 모든 인덱스 템플릿도 업데이트합니다.
기본값을 변경하는 것은 권장되지 않습니다. Corelight 로그는 이제 다른 모든 유형의 ECS 데이터와 함께 작동하고 logs-*와 같은 Kibana 데이터 뷰 내에서 사용할 수 있도록 설정되어 있기 때문입니다.
MSSP/CSSP와 같은 다중 테넌트 환경이나 서로 다른 네트워크의 경우 스크립트 프롬프트에서 데이터 스트림의 조직 부분(위 3개 예시에서 default 부분)을 선택할 수 있을 뿐만 아니라, filebeat에서 data_stream.namespace를 설정하거나 다른 방법으로 파이프라인을 연결하면 파이프라인은 해당 변수가 이미 설정된 경우 이를 재정의하지 않도록 존중하도록 설정됩니다. 네임스페이스가 Elasticsearch가 인덱스 이름으로 허용하는 값으로 설정되어 있는지 확인하세요(때로는 명확하지 않은 일반적인 실수입니다).
사용되는 인덱스 패턴과 각 로그의 기본값은 Google 스프레드시트에서 확인할 수 있습니다. 또한 각 로그에 대한 event.category, event.kind 등의 추가 정보도 일부 나열되어 있습니다.
각 인덱스 템플릿은 인덱스 설정을 재정의하는 데 사용할 수 있는 컴포넌트 템플릿을 호출하도록 지정되어 있습니다. 따라서 고유한 인덱스 설정을 사용하기 위해 저장소의 인덱스 템플릿을 수정할 필요가 없습니다.
다음 컴포넌트 템플릿을 생성하거나 설치 후 수정하세요. 수정할 수 있는 컴포넌트 템플릿의 이름은 다음과 같습니다:
모든 로그를 포괄(5개 범주로 분류):
corelight-ecs-component-metric_log-base-settings@customcorelight-ecs-component-parse_failures-base-settings@customcorelight-ecs-component-protocol_log-base-settings@customcorelight-ecs-component-system_log-base-settings@customcorelight-ecs-component-unknown_log-base-settings@custom위 항목 외에 개별 로그를 포괄하며, 일반적으로 더 구체적인 자체 설정이 필요한 경우:
corelight-ecs-component-protocol_log-conn-base-settings@customcorelight-ecs-component-protocol_log-dns-base-settings@customcorelight-ecs-component-protocol_log-files-base-settings@customcorelight-ecs-component-protocol_log-http-base-settings@customcorelight-ecs-component-protocol_log-smb-base-settings@customcorelight-ecs-component-protocol_log-smtp-base-settings@customcorelight-ecs-component-protocol_log-ssl-base-settings@customcorelight-ecs-component-protocol_log-suricata_corelight-base-settings@customcorelight-ecs-component-protocol_log-syslog-base-settings@customcorelight-ecs-component-protocol_log-various-base-settings@customcorelight-ecs-component-protocol_log-weird-base-settings@customcorelight-ecs-component-protocol_log-x509-base-settings@custom각 인덱스 템플릿은 필드 유형이나 이름과 같은 항목에 대해 인덱스 매핑을 재정의하는 데 사용할 수 있는 컴포넌트 템플릿을 호출하도록 지정되어 있습니다. 따라서 고유한 인덱스 매핑을 사용하기 위해 저장소의 인덱스 템플릿을 수정할 필요가 없습니다.
다음 컴포넌트 템플릿을 생성하거나 설치 후 수정하세요. 수정할 수 있는 컴포넌트 템플릿의 이름은 다음과 같습니다:
모든 로그를 포괄(5개 범주로 분류):
corelight-ecs-component-metric_log-mappings@customcorelight-ecs-component-parse_failures-mappings@customcorelight-ecs-component-protocol_log-mappings@customcorelight-ecs-component-system_log-mappings@customcorelight-ecs-component-unknown_log-mappings@custom위 항목 외에 개별 로그를 포괄하며, 일반적으로 더 구체적인 자체 설정이 필요한 경우:
corelight-ecs-component-protocol_log-conn-mappings@customcorelight-ecs-component-protocol_log-dns-mappings@customcorelight-ecs-component-protocol_log-files-mappings@customcorelight-ecs-component-protocol_log-http-mappings@customcorelight-ecs-component-protocol_log-smb-mappings@customcorelight-ecs-component-protocol_log-smtp-mappings@customcorelight-ecs-component-protocol_log-ssl-mappings@customcorelight-ecs-component-protocol_log-suricata_corelight-mappings@customcorelight-ecs-component-protocol_log-syslog-mappings@customcorelight-ecs-component-protocol_log-various-mappings@customcorelight-ecs-component-protocol_log-weird-mappings@customcorelight-ecs-component-protocol_log-x509-mappings@custom각 인덱스 템플릿은 고유한 보존 기간을 설정하기 위해 ILM 정책을 재정의하는 데 사용할 수 있는 컴포넌트 템플릿을 호출하도록 지정되어 있습니다. 따라서 고유한 ILM 정책을 사용하기 위해 저장소의 인덱스 템플릿을 수정할 필요가 없습니다.
다음 컴포넌트 템플릿을 생성하거나 설치 후 수정하세요. 수정할 수 있는 컴포넌트 템플릿의 이름은 다음과 같습니다:
모든 로그를 포괄(5개 범주로 분류):
corelight-ecs-component-metric_log-ilm-settings@customcorelight-ecs-component-parse_failures-ilm-settings@customcorelight-ecs-component-protocol_log-ilm-settings@customcorelight-ecs-component-system_log-ilm-settings@customcorelight-ecs-component-unknown_log-ilm-settings@custom이 항목들은 일반적으로 더 구체적인 자체 설정이 필요한 위 항목 외의 개별 로그를 포괄합니다:
corelight-ecs-component-protocol_log-conn-ilm-settings@customcorelight-ecs-component-protocol_log-dns-ilm-settings@customcorelight-ecs-component-protocol_log-files-ilm-settings@customcorelight-ecs-component-protocol_log-http-ilm-settings@customcorelight-ecs-component-protocol_log-smb-ilm-settings@customcorelight-ecs-component-protocol_log-smtp-ilm-settings@customcorelight-ecs-component-protocol_log-ssl-ilm-settings@customcorelight-ecs-component-protocol_log-suricata_corelight-ilm-settings@customcorelight-ecs-component-protocol_log-syslog-ilm-settings@customcorelight-ecs-component-protocol_log-various-ilm-settings@customcorelight-ecs-component-protocol_log-weird-ilm-settings@customcorelight-ecs-component-protocol_log-x509-ilm-settings@custom각 인덱스 템플릿은 인덱스 별칭을 재정의하는 데 사용할 수 있는 컴포넌트 템플릿을 호출하도록 지정되어 있습니다. 따라서 고유한 인덱스 별칭을 사용하기 위해 저장소의 인덱스 템플릿을 수정할 필요가 없습니다.
다음 컴포넌트 템플릿을 생성하거나 설치 후 수정하세요. 수정할 수 있는 컴포넌트 템플릿의 이름은 다음과 같습니다: