[ELK]logstash란?

안녕하세요 오늘은 Logstash의 주요 기능과 개념에 대해 설명하겠습니다

Logstash는 ELK 스택의 중요한 구성 요소 중 하나이며, 데이터 수집, 전처리 및 전송을 위한 오픈 소스 도구입니다. 

 

Logstash

"LOG"라는 표현에서 힌트를 얻을 수 있는데 로그 및 이벤트 데이터의 수집, 저장, 검색 및 시각화를 위한 강력한 솔루션으로 주로 사용됩니다.
데이터 수집:

Logstash는 다양한 데이터 소스로부터 로그 및 이벤트 데이터를 수집합니다. 이 데이터 소스에는 로그 파일, 메세지 큐, 데이터베이스, 웹 서비스 및 다른 소스가 포함됩니다.

 

아래는 예시 코드입니다.

input {
  jdbc {
    jdbc_driver_library => "C:\logstash-8.7.1\logstash-core\lib\jars\ojdbc8.jar"
    jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
    jdbc_connection_string => "jdbc:oracle:thin:@//*******:****/lloydk"
    jdbc_user => "***"
    jdbc_password => "***"
    statement_filepath => "C:\logstash-8.7.1\config\script.sql"
    #schedule => "0 2 * * * Asia/Seoul"
    #use_column_value => true
    #tracking_column_type => "timestamp"
    #tracking_column => "tr"
    #last_run_metadata_path => "/app/logstash_full/config/****.txt"
  }
}
#filter{}

output {
#  stdout {}
  elasticsearch {
    hosts => ["https://localhost:9200"]
    user => "elastic"
    password => "*******"
    cacert => "C:\logstash-8.7.1\config\certs\http_ca.crt"
    index => "[mailid]_acct_auth"
  }
}

데이터 전처리, 데이터 필터링:

성공시 확인해볼 수 있음

위 화면은 로그스태시로 가져왔을때 wsl에서 실행해본 화면입니다.

이처럼 Logstash는 다양한 데이터 소스 및 대상 시스템과 통합할 수 있는 확장성과 유연성을 제공합니다.

 

결론

ELK 스택을 사용하면 Logstash를 사용하여 데이터를 수집하고 전처리한 다음 Elasticsearch에 저장하여 검색 및 분석을 수행할 수 있습니다.

 

Kibana는 이러한 데이터를 시각화하고 대시보드를 생성하는 데 사용됩니다.

 

ELK 스택은 로그 분석, 모니터링, 보안 이벤트 관리 등 다양한 사용 사례에 적합합니다.

 

참고링크 

https://blog.bizspring.co.kr/%ED%85%8C%ED%81%AC/logstash-%EC%8B%A4%EC%8B%9C%EA%B0%84-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%88%98%EC%A7%91-%ED%8C%8C%EC%9D%B4%ED%94%84%EB%9D%BC%EC%9D%B8/

Logstash – 실시간 데이터 수집 파이프라인 – BizSpring BLOG