목록ELK (7)

키보드워리어

[ELK] Collection Time 작업

쿼리-범위-colletionTime Range query | Elasticsearch Guide [8.11] | Elastic The time_zone parameter does not affect the date math value of now. now is always the current system time in UTC. However, the time_zone parameter does convert dates calculated using now and date math rounding. For example, the time_zone parameter will con www.elastic.co 날짜 수학 Date math expressions | Elasticsearch .NET Client..
ELK 2023. 11. 23. 12:59
[ELK] ML 학습해보기

회사에서 ML기능을 학습해 보는 시간을 가져보았습니다. 문제 Task는 다음과 같습니다. 2020~2022년 6월말까지의 JSON데이터 (서비스센터의 차량데이터) CENTER RO CUST_SEQ CUST_TYPE CPS_3YR_PROPO VISIT_3YR_PROPO VIN SALES_TYPE BRAND HEV HP TAKING_FIX VEHICLE_AGE_PROPO MILEAGE_PROPO GR_BP KPI_CATEGORY 12V TIRE EFA Air Care 컬럼중에 EFA가 있다. EFA란? 유상옵션 적용 유무를 의미 이 데이터를 학습해서 2022년 07월 EFA 옵션을 적용했을까 안 해놨을까를 예측해 보고 상관관계 분석(추론)해본다 Hint!) 7월 달 거 잘라서 사용하면 된다. 차대 번호로는 ..
ELK 2023. 10. 29. 16:40
[ELK] JSON 데이터를 파이썬으로 파싱 후 적재해보자.

안녕하세요 블로그 방문자 여러분, 반갑습니다. 오늘은 데이터 파싱해보는 코드를 짜보고 적재하는 것까지 올려보려고 합니다. 현 상황) 9975건에 dummy.json 파일이 있다. 문제는 9975건이 모두 개행되어있지 않아 있다는 것. python으로 개행시키고 적재해보자. import json import sys #파일 확인(객체 줄 바꿔서 저장) # 1. 파일을 전체적으로 문자열로 읽기 with open('/dummy_data.json', 'r', encoding='utf-8') as f: #utf-8로 읽기 data = f.read() # 2. JSON 객체를 구분하는 문자열을 찾아서 줄 바꿈 문자로 교체 data = data.replace('},{', '},\n{') # 3. 결과 문자열을 다시 파..
ELK 2023. 10. 27. 13:50
[ELK]logstash란?

안녕하세요 오늘은 Logstash의 주요 기능과 개념에 대해 설명하겠습니다 Logstash는 ELK 스택의 중요한 구성 요소 중 하나이며, 데이터 수집, 전처리 및 전송을 위한 오픈 소스 도구입니다. Logstash "LOG"라는 표현에서 힌트를 얻을 수 있는데 로그 및 이벤트 데이터의 수집, 저장, 검색 및 시각화를 위한 강력한 솔루션으로 주로 사용됩니다. 데이터 수집: Logstash는 다양한 데이터 소스로부터 로그 및 이벤트 데이터를 수집합니다. 이 데이터 소스에는 로그 파일, 메세지 큐, 데이터베이스, 웹 서비스 및 다른 소스가 포함됩니다. 아래는 예시 코드입니다. input { jdbc { jdbc_driver_library => "C:\logstash-8.7.1\logstash-core\lib..
ELK 2023. 10. 20. 16:53
[ELK] 키바나 시각화

ELK를 통한 키바나 시각화해보는 결과를 공유합니다. 도전 과제 데이터(csv, json,…) 다운받아서 엘라스틱으로 시각화 마감: 9/15(금) 발표: 어떤 걸 하려 했고 뭘 보여줬고 등 1~2장 피피티로 만들어 발표. 참고해 보기 좋은 블로그 Visualize Library 사용 방법 : “Create visualization” 실행 원하는 그래프 또는 차트 종류 선택 시각화하고자 하는 데이터 인덱스 선택 그래프 또는 차트 종류별 그리기 도구를 활용하여 데이터를 표현 설정이 완료되면 “Save” 버튼을 통해 해당 내용 저장 참고 사항 자세한 사용 방법 또는 더 많은 데이터 활용 방안은 elastic 가이드북 2. 대시보드 생성 메뉴 위치 : Analytics > Dashboard 사용 방법 : “Cr..
ELK 2023. 10. 9. 12:38
[ELK] kafka, filebeats 어떻게 설치할까?

나도 잘 모른다.. 하나하나 천천히 기록해 가면서 해보자. 참고로 현재 최신 엣지버전은 8.10.2이다. 먼저 ELK 설치해주고.. Kafka는 스트리밍 데이터를 처리하고, Filebeat는 로그 파일을 수집하여 Logstash 또는 Elasticsearch로 전송한다. 1. Kafka Download & Install (3.5.0) wget http://www.apache.org/dyn/closer.cgi?path=/kafka/3.5.0/kafka_3.5.0.tgz tar -xzf kafka_3.5.0.tgz cd kafka_3.5.0 Zookeeper는 어떻게 해? 공식문서에서 kafka 3.5.0부터 사용중단했다고 한다. 카프카의 config/server.properties로 가서 설정도해준다. #..
ELK 2023. 10. 1. 15:35
이전 Prev 1 2 Next 다음