database16 (2018-03-01) CDC, 새로운 기회를 붙잡아라 (2018-03-01) CDC, 새로운 기회를 붙잡아라 www.comworld.co.kr/news/articleView.html?idxno=49397 [커버스토리] CDC, 새로운 기회를 붙잡아라 - 컴퓨터월드 [컴퓨터월드] 과거에 경영진들에게 보고서를 올릴 때에는 어제 자 혹은 당일의 데이터를 첨부하는 것이 당연했다. 하지만 지금은 회의실에서 실시간으... www.comworld.co.kr 2020. 9. 27. 데이터 분야의 직군 소개 - 데이터 분야의 직군 소개 Team-Neighborhood/I-want-to-study-Data-Science 데이터 사이언스를 공부하고 싶은 분들을 위한 글 . Contribute to Team-Neighborhood/I-want-to-study-Data-Science development by creating an account on GitHub. github.com - {by 출퇴근길 개발 읽기} 초보 개발 팀장의 1년 회고 초보 개발 팀장의 1년 회고 - 좋은 팀장이 되기 위한 노력들 초보 개발 팀장(정확히는 데이터 팀장)이 1년간 겪은 내용을 회고하며 작성한 글입니다 팀장의 업무, 좋은 팀장이 되기 위한 노력들, 팀장 하며 느낀 점, 다양한 읽은 자료에 대해 작성했습니다 zzsza.github.. 2020. 4. 29. {CDC, ETL Research} MariaDB Binlog 리디북스 개발기https://www.ridicorp.com/blog/2017/10/30/binlog-collector/MariaDB Binlog을 이용한 변경사항 추적MariaDB(MySQL)의 Change Data Capture(CDC) 기술을 이용하여 테이블의 변경 사항 추적을 설계 및 개발했던 내용을 공유합니다www.ridicorp.com 2020. 1. 15. Shared Buffer 동작 원리 2020/11/26 - [database/PostgreSQL] - {PostgreSQL} 2장.1.Shared buffer 구조 [PostgreSQL 9.6 성능이야기] 편, 스리슬쩍 공부한다꼬 책 보면서 요약 내용에 틀린 부분이 있을 수 있음! - Shared Buffer 구성 - 공유 리소스 디렉토리, 해시 세그먼트, 해시 테이블은 모두 Shared Bufferr 내에 존재하는 공유 리소스이다 - LW락 (Light Weight, ORACLE 에서는 Latch 라고 표현.) 공유 리소스는 LW락을 이용해서 보호한다. 즉, Backend 프로세스가 공유 메모리를 액세스하기 위해서는 LW락을 획득해야 한다. 테이블 내의 데이터를 보호하는 락과는 다른 개념. - 버퍼 파티션 (NUM_BUFFER_PARTI.. 2019. 5. 29. Bulk IO 처리를 위한 IO전략과 Ring Buffer [PostgreSQL 9.6 성능이야기] 편, 스리슬쩍 공부한다꼬 책 보면서 요약 내용에 틀린 부분이 있을 수 있음! 문제1. Seq Scan 으로 인해 Bulk Table 의 모든 블록이 Shared Buffer로 로딩된다면? 해결1. IO전략 해결2. Ring Buffer 사용 - IO전략이란? IO전략은 IO유형에 따라 4가지로 구분된다. 1. NORMAL (랜덤 엑세스용) -- normal 요청을 제외한 아래 3개 요청은 Ring Buffer를 이용한다. 2. BULK READ (Large Seq Scan 용) 3. BULK WRIET (대량 Write 용) 4. VACUUM - Ring Buffer (256 KB, 32 Block) 논리적으로 원형 형태의 배열을 의미. 일정 크기의 배열을 순환 .. 2019. 5. 29. Buffer Replacement를 위한 Clock Sweep Algorithm [PostgreSQL 9.6 성능이야기] 편, 스리슬쩍 공부한다꼬 책 보면서 요약 내용에 틀린 부분이 있을 수 있음! - Victim Share Buffer 내에 empty buffer 없다면 Share Buffer 내의 버퍼를 디스크에 기록해야 한다. 이때 디스크로 기록되는 버퍼를 Victim 버퍼라고 한다. - Buffer Replacement Algorithm Victim 버퍼를 선정하는 중요한 알고리즘으로 Share Buffer 의 목적이 Disk read 를 최소화해서 성능을 향상하기 위한 것이므로, 효율적으로 버퍼를 관리하기 위해 사용된다 - Clock Sweep Algoritm PostgreSQL은 Buffer Replacement 를 위해서 Clock Sweep 알고리즘을 사용한다 Not .. 2019. 5. 29. PostgreSQL 개요 [PostgreSQL 9.6 성능이야기] 편, 스리슬쩍 공부한다꼬 책 보면서 요약하기 위한 게시글 내용에 틀린 부분이 있을 수 있음! PostgreSQL 물리적 구조는 단순 - Shared Memory ㄴ Shared Buffer ㄴ WAL Buffer - process - data file 4 Process - Postmaster Process (Daemon) - Background Process - Backend Process - Client Process ㄴ Backend Process 는 사용자 프로세스의 쿼리 요청을 수행 및 결과를 전송하는 역할을 수행하며 work_mem, maintenance_work_mem, temp_buffers 등등의 파라미터 수치를 조정하여 퍼포먼스를 향상시킬 수 있다.. 2019. 5. 20. 이전 1 2 다음
