목록logstash (4)

키보드워리어

[ELK] Collection Time 작업

쿼리-범위-colletionTime Range query | Elasticsearch Guide [8.11] | Elastic The time_zone parameter does not affect the date math value of now. now is always the current system time in UTC. However, the time_zone parameter does convert dates calculated using now and date math rounding. For example, the time_zone parameter will con www.elastic.co 날짜 수학 Date math expressions | Elasticsearch .NET Client..
ELK 2023. 11. 23. 12:59
[ELK] ML 학습해보기

회사에서 ML기능을 학습해 보는 시간을 가져보았습니다. 문제 Task는 다음과 같습니다. 2020~2022년 6월말까지의 JSON데이터 (서비스센터의 차량데이터) CENTER RO CUST_SEQ CUST_TYPE CPS_3YR_PROPO VISIT_3YR_PROPO VIN SALES_TYPE BRAND HEV HP TAKING_FIX VEHICLE_AGE_PROPO MILEAGE_PROPO GR_BP KPI_CATEGORY 12V TIRE EFA Air Care 컬럼중에 EFA가 있다. EFA란? 유상옵션 적용 유무를 의미 이 데이터를 학습해서 2022년 07월 EFA 옵션을 적용했을까 안 해놨을까를 예측해 보고 상관관계 분석(추론)해본다 Hint!) 7월 달 거 잘라서 사용하면 된다. 차대 번호로는 ..
ELK 2023. 10. 29. 16:40
[ELK] JSON 데이터를 파이썬으로 파싱 후 적재해보자.

안녕하세요 블로그 방문자 여러분, 반갑습니다. 오늘은 데이터 파싱해보는 코드를 짜보고 적재하는 것까지 올려보려고 합니다. 현 상황) 9975건에 dummy.json 파일이 있다. 문제는 9975건이 모두 개행되어있지 않아 있다는 것. python으로 개행시키고 적재해보자. import json import sys #파일 확인(객체 줄 바꿔서 저장) # 1. 파일을 전체적으로 문자열로 읽기 with open('/dummy_data.json', 'r', encoding='utf-8') as f: #utf-8로 읽기 data = f.read() # 2. JSON 객체를 구분하는 문자열을 찾아서 줄 바꿈 문자로 교체 data = data.replace('},{', '},\n{') # 3. 결과 문자열을 다시 파..
ELK 2023. 10. 27. 13:50
[ELK]logstash란?

안녕하세요 오늘은 Logstash의 주요 기능과 개념에 대해 설명하겠습니다 Logstash는 ELK 스택의 중요한 구성 요소 중 하나이며, 데이터 수집, 전처리 및 전송을 위한 오픈 소스 도구입니다. Logstash "LOG"라는 표현에서 힌트를 얻을 수 있는데 로그 및 이벤트 데이터의 수집, 저장, 검색 및 시각화를 위한 강력한 솔루션으로 주로 사용됩니다. 데이터 수집: Logstash는 다양한 데이터 소스로부터 로그 및 이벤트 데이터를 수집합니다. 이 데이터 소스에는 로그 파일, 메세지 큐, 데이터베이스, 웹 서비스 및 다른 소스가 포함됩니다. 아래는 예시 코드입니다. input { jdbc { jdbc_driver_library => "C:\logstash-8.7.1\logstash-core\lib..
ELK 2023. 10. 20. 16:53
이전 Prev 1 Next 다음