[RealMySQL 8.0] 04. MySQL 아키텍처(4.1 MySQL 엔진 아키텍처)

오랜만에 책으로 돌아왔다. 이 책 또한 바이블 서적이다. 읽어야지 다짐만 하다 드디어 읽게 되어서 정리해보려 한다!
1장은 MySQL에 대한 간단한 소개, 2장은 설치와 시작/종료, 업그레이드 과정과 설정 파일(cnf) 및 시스템 변수들을 간략히 다룬다. 3장에서는 사용자와 권한 관리, 계정과 비밀번호 설정, 권한과 역할에 대해 짚고 넘어간다. 하지만 모두 기본적인 수준이라 큰 비중은 두지 않고, 이제부터는 4장 아키텍처에서부터 본격적인 핵심 내용을 살펴보려 한다.

 

04. 아키텍처

4.1 MySQL 엔진 아키텍처

4.1.1 MySQL의 전체 구조

MySQL 아키텍처

 

MySQL은 일반 상용 RDBMS와 같이 대부분의 프로그래밍 언어로부터 접근 방법을 모두 지원한다. C API, JDBC, ODBC, .NET의 표준 드라이버를 제공하며, 이런 드라이버를 이용해 C/C++, PHP, Java, Python 같이 모든 언어로  MySQL 서버에서 쿼리를 사용할 수 있게 지원한다.

 

MySQL은 크게 MySQL 엔진과 스토리지 엔진으로 구분할 수 있다. 그리고 이 둘을 합쳐서 MySQL, MySQL 서버 라고 표현하는 경우가 많다. 

 

4.1.1.1 MySQL 엔진

MySQL 엔진은 클라이언트로부터 접속 및 쿼리 요청을 처리하는 커넥션 핸들러와 SQL 파서 및 전처리기, 쿼리의 최적화된 실행을 위한 옵티마이저가 중심을 이룬다.

 

4.1.1.2 스토리지 엔진

MySQL 엔진은 요청된 SQL 문장을 분석하거나 최적화하는 역할과 같이 DBMS의 두뇌에 해당하는 처리를 수행하고, 실제 데이터를 디스크 스토리지에 저장하거나 디스크 스토리지로부터 데이터를 읽어오는 부분은 스토리지 엔진이 담당한다. MySQL 서버에서 MySQL 엔진은 하나지만 스토리지 엔진은 여러 개를 동시에 사용할 수 있다. 

 

CREATE TABLE test_table (fd1 INT, fd2 INT) ENGINE=INNODB;

다음과 같이 테이블이 사용할 스토리지 엔진을 지정하면, 이후 해당되는 모든 읽기 작업, 변경 작업은 정의된 스토리지 엔진이 처리한다. 예시에선 InnoDB 스토리지 엔진을 사용하도록 정의했으며, test_table에 대해 INSERT, UPDATE, DELETE, SELECT.. 등의 작업이 발생하면 InnoDB 스토리지 엔진이 처리를 담당한다.

또한, 각 스토리지 엔진은 성능 향상을 위해 키 캐시(MyISAM 스토리지 엔진)나 InnoDB 버퍼풀(InnoDB 스토리지 엔진)과 같은 기능을 내장하고 있다.

 

4.1.1.3 핸들러 API

MySQL 엔진의 쿼리 실행기에서 데이터를 쓰거나 읽어야 할 때는 각 스토리지 엔진에 쓰기나 읽기를 요청한다. 이러한 요청을 핸들러(Handler) 요청이라 하고, 여기서 사용되는 API를 핸들러 API라고 한다. InnoDB 스토리지 엔진 또한 이 핸들러 API를 이용해 MySQL 엔진과 데이터를 주고 받는다. 

SHOW GLOBAL STATUS LIKE '%handler';

해당 명렁어로 이 핸들러 API를 통해 얼마나 많은 데이터(레코드) 작업이 있었는지 확인할 수 있다.

 

4.1.2 MySQL 스레딩 구조

MySQL 스레딩 구조

MySQL 서버는 프로세스 기반이 아닌, 스레드 기반으로 작동한다. 크게 포그라운드와 백그라운드 스레드로 구분할 수 있다.

SELECT * FROM performance_schema.threads;

다음 명령어를 통해 performance_schema의 threads 테이블을 확인할 수 있다. 

performance_schema의 threads 테이블

현재 내 노트북에 띄워진 MySQL 기준으로 실제 39개의 스레드가 실행 중이며, 그중 3개를 제외하고 모두 백그라운드 스레드이다. 실제로

thread/sql/one_connection 스레드만 실제 사용자의 요청을 처리하는 포그라운드 스레드이다. (책에선 그랬는데 내 노트북에선

thread/sql/event_scheduler 스레드까지 총 2개가 사용자의 요청을 처리하는 포그라운드 스레드였다.) 백그라운드 스레드 개수는 MySQL 서버의 설정 내용에 따라 가변적일 수 있다. 동일한 이름의 스레드가 2개 이상씩 보이는 것은 MySQL 서버의 설정 내용에 의해 여러 스레드가 작업을 병렬로 처리하는 경우다.

 

참고) 여기서 소개하는 스레드 모델은 MySQL 서버가 전통적으로 가지고 있던 스레드 모델이며, 스레드 풀 모델과는 다르다. 전통적인 스레드 모델에서는 커넥션 별로 포그라운드 스레가 하나씩 생성되고 할당된다. 하지만 스레드 풀에서는 커넥션과 포그라운드 스레드는 1:1 관계가 아니라 하나의 스레드의 여러 개의 커넥션을 전담한다.

 

4.1.2.1 포그라운드 스레드(클라이언트 스레드)

포그라운드 스레드는 최소한 MySQL 서버에 접속된 클라이언트의 수만큼 존재하며, 주로 각 클라이언트 사용자가 요청하는 쿼리 문장을 처리한다. 클라이언트 사용자가 작업을 마치고 커넥션을 종료하면 해당 커넥션을 담당하던 스레드는 다시 스레드 캐시(Thread Cache)로 되돌아 간다. 이때 이미 스레드 캐시에 일정 개수 이상의 대기 중인 스레드가 있으면 스레드 캐시에 넣지 않고 스레드를 종료시켜 일정 개수의 스레드만 스레드 캐시에 존재하게 한다. (해당 시스템 변수는 thread_cache_size)

 

포그라운드 스레드는 데이터를 MySQL의 데이터 버퍼나 캐시로부터 가져오며, 버퍼나 캐시에 없는 경우엔 직접 디스크의 데이터나 인덱스 파일로부터 데이터를 읽어와서 작업을 처리한다. MyISAM 테이블은 디스크 쓰기 작업까지 포그라운드가 처리하지만 InnoDB테이블은 데이터 버퍼나 캐시까지만 포그라운드 스레드가 처리하고, 나머지 버퍼로부터 디스크까지 기록하는 작업은 백그라운드 스레드가 처리한다.

(= 사실상 포그라운드 스레드는 사용자 스레드와 같은 의미이다. 클라이언트가 MySQL 서버에 접속하게 되면 서버는 그 클라이언트 요청을 처리해 줄 스레드를 생성해 그 클라이언트에게 할당한다. 이 스레드는 DBMS의 앞단에서 사용자와 통신하기 때문에 포그라운드 스레드라고 하며, 사용자가 요청한 스레드를 처리하기 때문에 사용자 스레드라고도 한다.)

 

 

4.1.2.2 백그라운드 스레드

InnoDB는 다음과 같은 여러 작업이 백그라운드로 처리된다.

• 인서트 버퍼(Insert Buffer)를 병합하는 스레드
• 로그를 디스크로 기록하는 스레드
• InnoDB 버퍼 풀의 데이터를 디스크에 기록하는 스레드
• 데이터를 버퍼로 읽어오는 스레드
• 잠금이나 데드락을 모니터링하는 스레드

이 중에서도 가장 중요한 건 로그 스레드(Log thread)와 버퍼의 데이터를 디스크로 내려쓰는 작업을 처리하는 쓰기 스레드(Write thread) 일 것이다. MySQL 5.5부터 데이터 쓰기 스레드와 데이터 읽기 스레드의 개수를 2개 이상 지정할 수 있으며, innodb_write_io_threads와 iinnodb_read_io_threads 시스템 변수로 스레드의 개수를 설정한다. InnoDB에서도 데이터를 읽는 작업은 주로 클라이언트 스레드에서 처리되기 때문에 읽기 스레드는 많이 설정할 필요가 없지만 쓰기 스레드는 아주 많은 작업을 백그라운드로 처리하기 때문에 일반적인 내장 디스크를 사용할 때는 2~4 정도, DAS(외장하드)나 SAN과 같은 스토리지를 사용할 땐 디스크를 최적으로 사용할 수 있을 만큼 충분히 설정하는 것이 좋다.

 

사용자의 요청을 처리하는 도중 데이터의 쓰기 작업은 지연되어 처리될 수 있지만 읽기 작업은 절대 지연될 수 없다. 따라서 일반적인 상용 DBMS에는 대부분 쓰기 작업을 버퍼링 해서 일괄 처리하는 기능이 탑재돼 있으며, InnoDB도 이런 방식으로 처리한다. (하지만 MyISAM은 사용자 스레드가 쓰기 작업까지 함께 처리하도록 설계됨) 따라서, InnoDB에서는 데이터가 변경되는 경우 데이터가 디스크의 데이터 파일로 완전히 저장될 때까지 기다리지 않아도 된다.

 

4.1.3 메모리 할당 및 사용 구조

MySQL에서 사용되는 메모리 공간은 크게 글로벌 메모리 영역과 로컬 메모리 영역으로 구분할 수 있다. 글로벌 메모리 영역의 모든 메모리 공간은 MySQL 서버가 시작되면서 운영체제로부터 할당된다. 운영체제의 종류에 따라 다르겠지만 요청된 메모리 공간을 다 할당해 줄 수 있고, 예약해 두고 조금씩 할당해 주는 경우도 있다. MySQL의 시스템 변수로 설정해 둔 만큼 운영체제로부터 메모리를 할당받는다 생각하면 된다.

 

글로벌 메모리 영역과 로컬 메모리 영역은 MySQL 서버 내에 존재하는 많은 스레드가 공유해서 사용하는 공간인지 여부에 따라 구분된다.

 

4.1.3.1 글로벌 메모리 영역

일반적으로 클라이언트 스레드의 수와 무관하게 하나의 메모리 공간만 할당된다. 단, 필요에 따라 2개 이상의 메모리 공간을 할당받을 수도 있지만 클라이언트의 스레드 수와는 무관하며, 생성된 글로벌 영역이 N개라 해도 모든 스레드에 의해 공유된다.

 

글로벌 메모리 영역 - 테이블 캐시, InnoDB 버퍼 풀, InnoDB 어댑티브 해시 인덱스, InnoDB 리두 로그 버퍼

 

4.1.3.2 로컬 메모리 영역

세션 메모리 영역이라고도 하며, MySQL 서버상에 존재하는 클라이언트 스레드가 쿼리를 처리하는 데 사용하는 메모리 영역이다. 대표적으로 커넥션 버퍼와 정렬(Sort) 버퍼 등이 있다. MySQL 서버에 접속하면 MySQL 서버에서는 클라이언트 커넥션으로부터의 요청을 처리하기 위해 스레드를 하나씩 할당하게 되는데, 클라이언트 스레드가 사용하는 메모리 공간이라고 해서 클라이언트 메모리 영역이라고도 한다. (클라이언트와 MySQL 서버와의 커넥션을 세션이라 하기 때문에 세션 메모리 영역이라고도 표현한다.)

 

로컬 메모리는 각 클라이언트 스레드별로 독립적으로 할당되며, 절대 공유되어 사용되지 않는다. 글로벌 메모리 영역의 크기는 주의해서 설정하지만 소트 버퍼와 같은 로컬 메모리 영역은 크게 신경 쓰지 않고 설정하는데. 최악의 경우 서버 메모리 부족으로 멈출 수도 있기 때문에 적절한 메모리 공간을 설정하는 것이 중요하다.

또한, 로컬 메모리 공간은 각 쿼리의 용도별로 필요할 때만 공간이 할당되고, 필요하지 않은 경우에는 MySQL이 메모리 공간을 할당조차 하지 않을 수도 있다. 대표적으로 소트 버퍼나 조인 버퍼와 같은 공간이 그렇다. 커넥션이 열려 있는 동안 계속 할당된 상태로 남아있는 공간도 있고(커넥션 버퍼나 연결 버퍼) 그렇지 않고 쿼리를 실행하는 순간만 할당했다 다시 해제하는 공간(소트 버퍼나 조인 버퍼)도 있다.

 

로컬 메모리 영역 - 정렬 버퍼(Sort buffer), 조인 버퍼, 바이너리 로그 캐시, 네트워크 버퍼

 

4.1.4 플러그인 스토리지 엔진 모델

MySQL 플러그인 모델

플러그인 모델은 MySQL의 독특한 구조 중 하나이다. 플러그인 해서 사용할 수 있는 것이 스토리지 엔진만 있는 것은 아니다. 전문 검색 엔진을 위한 검색어 파서(인덱싱할 키워드를 분리해 내는 작업)도 플러그인 형태로 개발해서 사용할 수 있고, 사용자 인증을 위한 Native Caching SHA-2 Authentication 등 도 모두 플러그인으로 구현되어 제공된다.

 

하지만 세상 수많은 사용자 요구 조건을 만족시키기 위해 기본적으로 제공되는 스토리지 엔진 이외에 부가적인 기능을 제공하는 스토리지 엔진이 필요할 수 있으며, 이러한 요건을 기초로 개발회사나 사용자가 직접 스토리지 엔진을 개발하는 것도 가능하다.

 

MySQL 엔진과 스토리지 엔진의 처리 영역

MySQL에서 쿼리가 실행되는 과정을 사진처럼 나눈다면 거의 대부분 작업이 MySQL 엔진에서 처리되고, 마지막 데이터 읽기/쓰기 작업만 스토리지 엔진에 의해 처리된다. 따라서 만약 새로운 용도의 스토리지 엔진을 만든다 하더라도 DBMS의 전체 기능이 아닌 일부분의 기능만 수행하는 엔진을 작성하게 된다. 또한, 각 처리 영역에서 데이터 읽기/쓰기 작업은 대부분 1건의 레코드 단위로 처리된다.

 

MySQL을 사용하다 보면 핸들러(Handler)를 자주 접하게 될 것이다. MySQL엔진이 스토리지 엔진을 잘 조정할 수 있도록 Handler를 사용하게 된다. 즉, MySQL 엔진이 각 스토리지 엔진에게 데이터를 읽어오거나 저장하도록 명령하려면 반드시 핸들러를 통해야 한다. (handler_ 관련한 상태 변수는 MySQL 엔진이 각 스토리지 엔진에게 보낸 명령의 횟수를 의미하는 변수이다.)

 

MySQL에서 MyISAM이나 InnoDB와 같이 다른 스토리지 엔진을 사용하는 테이블에 대해 쿼리를 실행하더라도 MySQL의 처리 내용은 대부분 동일하며, 단순히 마지막 단계인 (스토리지의) 데이터 읽기/쓰기 영역의 처리만 차이가 있을 뿐이다. 실질적 GROUP BY, ORDER BY 등 복잡한 처리는 스토리지 엔진 영역이 아니라 MySQL 엔진의 처리 영역인 쿼리 실행기에서 처리된다.

 

- MyISAM이나 InnoDB 스토리지 엔진 가운데 뭘 사용하든 별 차이가 없는가?

전혀 아니다. 그 부분은 책의 뒤에서 얼마나 달라질 수 있는지 다룰 예정이고, 여기서 중요한 것은 '하나의 쿼리 작업은 여러 하위 작업으로 나뉘는데, 각 하위 작업이 MySQL 엔진 영역에서 처리되는지 아니면 스토리지 엔진 영역에서 처리되었는지 구분할 줄 알아야 한다'는 것이다.

 

실제 MySQL 서버에서 지원되는 스토리지 엔진은 SHOW ENGINES;를 통해 확인할 수 있다. Support 컬럼에 표시될 값은 YES, DEFAULT, NO, DISABLED 가 있고, 포함되지 않은 것을 사용하려면 MySQL서버를 다시 빌드(컴파일) 해야 한다. 서버가 적절히 준비 됐다면, 플러그인 형태로 빌드된 스토리지 엔진 라이브러리를 다운로드해서 끼워 넣기만 하면 사용할 수 있고, 손쉽게 업그레이드도 가능하다.

모든 플러그인 내용은 SHOW PLUGINS; 명령어를 통해 확인할 수 있다.

 

4.1.5 컴포넌트

MySQL 8.0부터는 기존의 플러그인 아키텍처를 대체하기 위해 컴포넌트 아키텍처가 지원된다. MySQL 서버의 플러그인은 다음과 같은 몇 가지 단점이 있는데, 컴포넌트는 이러한 단점을 보완해서 구현됐다.

• 플러그인은 오직 MySQL 서버와 인터페이스 할 수 있고, 플러그인끼리는 통신할 수 없음
• 플러그인은 MySQL 서버의 변수나 함수를 직접 호출하기 때문에 안전하지 않음(캡슐화 안 됨)
• 플러그인은 상호 의존 관계를 설정할 수 없어서 초기화가 어려움

 

4.1.6 쿼리 실행 구조

 

쿼리 실행 구조

4.1.6.1 쿼리 파서

쿼리 파서는 사용자 요청으로 들어온 문장을 토큰(MySQL이 인식할 수 있는 최소 단위의 어휘나 기호)으로 분리해 트리 형태의 구조로 만들어 내는 작업을 의미한다. 쿼리 문장의 기본 문법 오류는 이 과정에서 발견되고, 사용자에게 오류 메시지를 전한다.

 

4.1.6.2 전처리기

파서 과정에서 만들어진 파서 트리를 기반으로 쿼리 문장에 구조적인 문제점이 있는지 확인한다. 각 토큰을 테이블 이름, 칼럼 이름, 내장 함수와 같은 개체를 매핑해 해당 객체의 존재 여부와 객체의 접근 권한 등을 확인하는 과정을 이 단계에서 수행한다. 실제 존재하지 않거나, 권한상 사용할 수 없는 개체의 토큰은 이 단계에서 걸러진다.

 

4.1.6.3 옵티마이저

옵티마이저란 사용자의 요청으로 들어온 쿼리 문장을 저렴한 비용으로 가장 빠르게 처리할지를 결정하는 역할을 담당하며, DBMS의 두뇌에 해당한다고 볼 수 있다. 옵티마이저의 역할은 중요하고 영향 범위도 넓다.

 

4.1.6.4 실행 엔진

실행 엔진과 핸들러는 손과 발에 비유할 수 있다. (옵티마이저는 회사 경영진이라면, 실행 엔진은 중간 관리자, 핸들러는 각 업무의 실무자에 비유할 수 있음) 쉬운 예시로 옵티마이저가 GROUP BY를 처리하기 위해 임시 테이블을 사용하기로 결정했다고 하자면,

1. 실행 엔진이 핸들러에게 임시 테이블을 만들라고 요청
2. 다시 실행 엔진은 WHERE 절에 일치하는 레코드를 읽어오라고 핸들러에게 요청
3. 읽어 온 레코드들을 1번에서 준비한 임시 테이블로 저장하라고 다시 핸들러에게 요청
4. 데이터가 준비된 임시 테이블에서 필요한 방식으로 데이터를 읽어 오라고 핸들러에게 다시 요청
5. 최종적으로 실행 엔진은 결과를 사용자나 다른 모듈로 넘김

즉 실행 엔진은 만들어진 계획대로 각 핸들러에게 요청해서 받은 결과를 또 다른 핸들러 요청의 입력으로 연결하는 역할을 수행한다.

4.1.6.5 핸들러(스토리지 엔진)

MySQL 서버 가장 밑단에서 MySQL 실행 엔진의 요청에 따라 데이터를 디스크로 저장하고 디스크로부터 읽어 오는 역할을 담당한다. 핸들러는 결국 스토리지 엔진을 의미하며, MyISAM 테이블을 조작하는 경우에는 핸들러가 MyISAM 스토리지 엔진이 되고, InnoDB 테이블을 조작하는 경우에는 핸들러가 InnoDB 스토리지 엔진이 된다.

 

4.1.7 복제

MySQL 서버에서 복제(Replication)는 매우 중요한 역할을 담당하며, 지금까지 복제는 많은 발전을 거듭해 왔다. (이후 장에서 다룸)

 

4.1.8 쿼리 캐시

MySQL 서버에서 쿼리 캐시(Query Cache)는 빠른 응답을 필요로 하는 웹 기반의 응용 프로그램에서 매우 중요한 역할을 담당했다. 쿼리 캐시는 SQL의 실행 결과를 메모리에 캐시 하고, 동일 SQL 쿼리가 실행되면 테이블을 읽지 않고 즉시 결과를 반환하기 때문에 매우 빠른 성능을 보였다. 하지만 쿼리 캐시는 테이블의 데이터가 변경되면 캐시에 저장된 결과 중에서 변경된 테이블과 관련된 것들은 모두 삭제(Invalidate)해야 하기 때문에 심각한 동시 처리 성능 저하를 유발한다. 또한, MySQL 서버가 발전하면서 성능이 개선되는 과정에서 쿼리 캐시는 계속된 동시 처리 성능 저하와 많은 버그의 원인이 되기도 한다.

결국 MySQL 8.0으로 올라오면서 쿼리 캐시는 MySQL 서버의 기능에서 완전히 제거되고, 관련된 시스템 변수도 모두 제거됐다. 데이터 변경이 없는 서비스에서는 아주 좋은 기능이지만 요즘은 이런 서비스가 거의 없어서 오히려 도움은 없고, 버그의 원인으로 지목되는 경우가 많았다.

 

4.1.9 스레드 풀

MySQL 서버 엔터프라이즈 에디션은 스레드 풀(Thread Pool) 기능을 제공하지만 MySQL 커뮤니티 에디션은 이 기능을 지원하지 않는다. 따라서, 엔터프라이즈 에디션 대신 Percona Server에서 제공하는 스레드 풀 기능을 살펴보려 한다.

MySQL 엔터프라이즈 스레드 풀 기능은 MySQL 서버 프로그램에 내장되어 있다. 하지만 Percona Server의 스레드 풀은 플러그인 형태로 작동하게 구현돼 있다. (따라서 설치해서 사용하면 됨)

 

스레드 풀은 내부적으로 사용자의 요청을 처리하는 스레드 개수를 줄여서 동시 처리되는 요청이 많다 하더라도 MySQL 서버의 CPU가 제한된 개수의 스레드 처리에만 집중할 수 있게 해서 서버의 자원 소모를 줄이는 것이 목적이다. 많은 사람들이 MySQL 서버에서 스레드 풀만 설치하면 그냥 성능이 좋아질 줄 알지만, 실제로 서비스에서 눈에 띄는 성능 향상을 보여주는 경우는 드물다. 또한, 스레드 풀은 동시에 실행 중인 스레드들을 CPU가 최대한 잘 처리해 낼 수 있는 수준으로 줄여서 빨리 처리하게 하는 기능이기 때문에 스케줄링 과정에서 CPU 시간을 제대로 확보하지 못하는 경우엔 쿼리 처리가 더 느려질 수도 있으니 주의하자. 물론 제한된 수의 스레드만으로 CPU가 처리하도록 적절히 유도한다면 CPU의 프로세스 친화도(Processor affinity)도 높이고 운영체제 입장에서는 불필요한 컨텍스트 스위치(Context switch)를 줄여서 오버헤드를 낮출 수 있다.

 

(-> 스레드 풀은 요청을 병렬로 무작정 다 실행하지 않고, CPU가 소화할 수 있을 만큼만 실행하도록 줄 세우는 장치이다. 덕분에 CPU 낭비를 줄이고 효율을 높일 수 있지만, 상황에 따라 성능이 더 느려질 수도 있다.)

 

Percona Server의 스레드 풀은 기본적으로 CPU 코어의 개수만큼 스레드 그룹을 생성한다. 일반적으로는 CPU 코어의 개수와 맞추는 것이 CPU 프로세서 친화도를 높이는 데 좋다. (thread_pool_size로 변경 가능)

 

MySQL 서버가 처리해야 할 요청이 생기면 스레드 풀로 처리를 이관하는데, 만약 스레드 풀이 처리 중인 작업이 있는 경우에는 thread_pool_oversubscribe 변수에 설정된 개수만큼 추가로 더 받아들여 처리한다. 이 값이 너무 크면 스케줄링해야 할 스레드가 많아져서 스레드 풀이 비효율적으로 작동할 수 있다. 

스레드 그룹의 모든 스레드가 일을 처리하고 있다면, 스레드 풀은 해당 스레드 그룹에 새로운 작업 스레드(Worker thread)를 추가할지, 아니면 기존 작업 스레드가 처리를 완료할 때까지 기다릴지 여부를 판단해야 한다. 스레드 풀의 타이머 스레드는 주기적으로 스레드 그룹의 상태를 체크해서 thread_pool_stall_limit 변수에 정의된 밀리초만큼 작업 스레드가 지금 처리 중인 작업을 끝내지 못하면 새로운 스레드를 생성해서 스레드 그룹에 추가한다. 이때 전체 풀에 있는 스레드의 개수는 thread_pool_max_threads를 넘어서지 못한다.

즉, 모든 스레드 그룹의 스레드가 각자 작업을 처리하고 있는 상태에서 새로운 쿼리 요청이 들어오더라도 스레드 풀은 thread_pool_stall_limit 시간 동안 기다려야만 새로 들어온 요청을 처리할 수 있다. 따라서 응답 시간에 민감한 서비스의 경우 저 변수를 적절히 낮춰서 설정해야 한다. 하지만 그렇다고 해당 변수를 0에 가깝게 설정할 경우 스레드 풀을 사용하지 않는 편이 나을 수도 있다.

 

Percona Server의 스레드 풀 플러그인은 선순위 큐와 후순위 큐를 이용해 특정 트랜잭션이나 쿼리를 우선적으로 처리할 수 있는 기능도 있다. 이렇게 먼저 시작된 트랜잭션 내에 속한 SQL을 빨리 처리해 주면 해당 트랜잭션을 가지고 있던 잠금이 빨리 해제되고, 잠금 경합을 낮춰서 전체적으로 처리 성능을 향상시킬 수 있다.

Percona server 선순위 후순위 큐로 재배치된 순서

 

4.1.10 트랜잭션 지원 메타데이터

데이터베이스 서버에서 테이블의 구조 정보와 스토어드 프로그램 등의 정보를 데이터 딕셔너리 또는 메타데이터라고 한다. 이는 5.7까지 테이블 구조를 FRM 파일에 저장하고 일부 스토어드 프로그램 또한 파일 기반으로 관리했다. 하지만 파일 기반의 메타데이터는 생성 및 변경 작업이 트랜잭션을 지원하지 않기 때문에 생성, 변경 도중에 MySQL 서버가 비정상적으로 종료되면 일관되지 않은 상태로 남는 문제가 있었다. (= 데이터베이스나 테이블이 깨졌다라고 한다.)

 

8.0부터는 이런 문제럼을 해결하기 위해 테이블의 구조 정보나 스토어드 프로그램의 코드 관련 정보를 모두 InnoDB의 테이블에 저장되도록 개선됐다. MySQL 서버가 작동하는 데 기본적으로 필요한 테이블들을 묶어서 시스템 테이블이라고 하는데, 대표적으로 사용자의 인증과 권한에 관련된 테이블들이 있다. 8.0부터는 이런 시스템 테이블을 모두 InnoDB 스토리지 엔진을 사용하도록 개선했으며, 시스템 테이블과 데이터 딕셔너리 정보를 모두 모아서 mysql DB에 저장하고 있다. 이는 mysql.ibd라는 이름의 테이블스페이스에 저장된다. 그래서 MySQL 서버의 데이터 디렉터리에 존재하는 mysql.ibd 파일은 다른 *.ibd 파일과 함께 주의해야 한다.

 

참고) mysql DB에 데이터 딕셔너리를 저장하는 테이블이 저장된다고 했는데, 실제 mysql DB에서 테이블의 목록을 살펴보면 실제 테이블의 구조가 저장된 테이블은 보이지 않는다. 하지만 사용자가 임의로 수정하지 못하게 화면에 보여주지만 않고, 실제론 존재한다. 대신 information_schema DB를 통해 조회할 수 있다. (실제 information_schema에서 TABLES의 구조를 보면 뷰로 만들어져 있고, mysql DB의 tables를 참조하고 있다.)

 

MySQL 8.0 버전부터 데이터 딕셔너리와 시스템 테이블이 모두 트랜잭션 기반의 InnoDB 스토리지 엔진에 저장되도록 개선하면서 스키마 변경 작업 중간에 MySQL 서버가 비정상적으로 종료되더라도 스키마 변경이 완전한 성공, 실패로 정리된다. 

이처럼 MySQL 서버에서 InnoDB 스토리지 엔진을 사용하는 테이블은 메타 정보가 InnoDB 테이블 기반의 딕셔너리에 저장되지만 MyISAM이나 CSV 등의 스토리지 엔진의 메타 정보는 여전히 저장할 공간이 필요하다. 따라서 MySQL 서버는  InnoDB 스토리지 엔진 이외의 스토리지 엔진을 사용하는 테이블들을 위해 SDI(Serialized Dictionary information) 파일을 사용한다. *.sdi 파일이 존재하며, 이는 이전의 *.ibd와 동일한 역할을 한다. SDI는 이름 그대로 직렬화를 위한 포맷이므로 InnoDB 테이블들의 구조도 SDI 파일로 변환할 수 있다.

 

 

마무리

여기까지가 4.1 MySQL 엔진 아키텍처의 주요 내용이었다. 이번 장을 통해 MySQL 서버 구조가 크게 MySQL 엔진(Engine)과 스토리지 엔진(Storage Engine)으로 나뉜다는 점을 알 수 있었다.

• MySQL 엔진: 클라이언트 요청을 받아 쿼리를 파싱하고, 전처리 및 최적화를 거쳐 실행 계획을 만드는 두뇌 역할을 한다.
• 스토리지 엔진: 실제 데이터를 디스크에 저장하거나 읽어오는 손발 역할을 담당한다.
• 핸들러 API: 엔진과 스토리지 엔진을 연결해, 엔진이 스토리지 엔진에 작업을 지시할 수 있도록 돕는 통신 통로이다.

이 구분을 먼저 이해해야 하는 이유는, 스토리지 엔진마다 내부 구조와 동작 방식이 다르기 때문이다. MySQL은 다른 RDBMS와 달리 여러 스토리지 엔진을 동시에 사용할 수 있는 독특한 구조를 가지고 있다. 따라서 이후 학습은 엔진의 큰 틀을 바탕으로, 구체적인 스토리지 엔진과 운영 요소들을 살펴보게 된다.

 

• 4.2에서는 MySQL에서 가장 핵심이자 기본 스토리지 엔진으로 자리 잡은 InnoDB 아키텍처를,
• 4.3에서는 한때 기본 엔진이었던 MyISAM 아키텍처를,
• 4.4에서는 MySQL 서버 운영에 필수적인 로그 파일 구조를 각각 다룬다.

즉, 4.1에서 “MySQL 서버는 엔진과 스토리지 엔진으로 나뉜다”라는 큰 그림을 이해했으니, 이제부터는 각 스토리지 엔진의 특성과 로그 시스템을 통해 실제 데이터 관리가 어떻게 이루어지는지를 차례로 살펴보는 것이다.

 

정리하자면, 엔진은 쿼리를 어떻게 처리할지 결정하고, 스토리지 엔진은 그 결과를 실제 데이터로 옮긴다는 부분이 제일 중요할 것 같다. 이제 이어지는 4.2에서는 그중에서도 가장 널리 쓰이는 InnoDB 스토리지 엔진 아키텍처를 다룬 것 같다. 이어서 정리해 볼 예정이다..^_^