본문 바로가기

분류 전체보기104

Apache Kafka - Quick Start 카프카 얻기다운로드 : https://kafka.apache.org/downloadstar -xzf kafka_2.13-3.9.0.tgzcd kafka_2.13-3.9.0  카프카 기동Apache Kafka는 KRaft (Kafka Raft) 또는 ZooKeeper를 사용 하여 시작할 수 있다.KRaft 모드# Generate a Cluster UUIDKAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"# Format Log Directoriesbin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties# start the kafka Serverbin/kafka-server.. 2024. 8. 15.
Apache Kafka 카프카 소개카프카 아키텍처프로듀서 : 카프카로 메시지 전달컨슈머 : 카프카에서 메시지 조회토픽 : 메시지를 브로커에 저장하기 위한 논리적 이름주키퍼 앙상블 : 클러스터에서 컨센서스를 유지하도록 돕는다.브로커 : 커밋 로그를 처리 카프카 배달 방식최소 한 번 시맨틱 (at-least-once semantics) : 메시지는 수신확인이 될 때까지 재발송최대 한 번 시맨틱 (at-most-once semantics) : 메시지는 단 한 번 발송하며, 실패하더라도 재발송하지 않음정확히 한 번 시맨틱 (exactly-once semantics) : 메시지는 이 메시지의 컨슈머에게 단 한 번만 보냄 2024. 8. 15.
파일 내용 출력 관련 명령어 - 고급 tac  rev     sed   awk 2024. 7. 21.
파일 내용 출력 관련 명령어 - 기본 WC파일 내용의 줄 수, 단어 수, 문자 수를 출력# 줄, 단어, 문자 수wc file.txt# 줄 수wc -l file.txt# 단어 수wc -w file.txt# 문자 수wc -c file.txt head파일의 첫 번째 줄을 출력원하는 줄 수를 지정 하려면 '-n' 옵션 이용head -n10 file.txt cut파일 내용 중 특정 열만 출력-f : 필드 지정 (1이 첫 번째 필드)-d : 구분자 지정 (기본 값 : 탭)-c : 문자 위치 지정cut -f2 file.txtcut -f2,4 file.txtcut -f2-4 file.txtcut -c1,3 file.txtcut -c1-3 file.txtcut -d"," -f2 file.txt grep주어진 문자열과 일치하는 부분만 찾아서 출력-v : 일치.. 2024. 7. 21.