키보드워리어

안녕하세요 블로그 방문자 여러분, 반갑습니다. 오늘은 데이터 파싱해보는 코드를 짜보고 적재하는 것까지 올려보려고 합니다. 현 상황) 9975건에 dummy.json 파일이 있다. 문제는 9975건이 모두 개행되어있지 않아 있다는 것. python으로 개행시키고 적재해보자. import json import sys #파일 확인(객체 줄 바꿔서 저장) # 1. 파일을 전체적으로 문자열로 읽기 with open('/dummy_data.json', 'r', encoding='utf-8') as f: #utf-8로 읽기 data = f.read() # 2. JSON 객체를 구분하는 문자열을 찾아서 줄 바꿈 문자로 교체 data = data.replace('},{', '},\n{') # 3. 결과 문자열을 다시 파..

안녕하세요 오늘은 Logstash의 주요 기능과 개념에 대해 설명하겠습니다 Logstash는 ELK 스택의 중요한 구성 요소 중 하나이며, 데이터 수집, 전처리 및 전송을 위한 오픈 소스 도구입니다. Logstash "LOG"라는 표현에서 힌트를 얻을 수 있는데 로그 및 이벤트 데이터의 수집, 저장, 검색 및 시각화를 위한 강력한 솔루션으로 주로 사용됩니다. 데이터 수집: Logstash는 다양한 데이터 소스로부터 로그 및 이벤트 데이터를 수집합니다. 이 데이터 소스에는 로그 파일, 메세지 큐, 데이터베이스, 웹 서비스 및 다른 소스가 포함됩니다. 아래는 예시 코드입니다. input { jdbc { jdbc_driver_library => "C:\logstash-8.7.1\logstash-core\lib..