[DB][SQL][NoSQL][ACID][트랜젝션]

학습 목표

• SQL 주요 문법을 이해할 수 있다.

SQL이란?

    Structured Query Language > 구조화된 Query 언어

    데이터베이스 용 프로그래밍 언어

    데이터베이스에 query를 보내 원하는 데이터만 뽑아올 수 있다.

 

    

Query 란?

   직역을 하면 "질의문"

   가장 친숙한 예시로 검색창에 적는 검색어도 Query의 일종

   저장되어있는 정보를 필터하기 위한 질문

 

데이터베이스가 필요한 이유

    In-memory : 끄면 데이터가 사라짐

    File I/O : 원하는 데이터만 가져올 수 없고 항상 모든 데이터를 가져온 뒤 서버에서 필터링 필요

    Database : 필터링 외에도 File I/O로 구현이 힘든 관리를 위한 여러 기능들을 가지고 있는 데이터에 특화된 서버

 

데이터베이스는 엑셀과 비슷함

데이터베이스는 인터페이스가 따로 없고 문구로 필터링을 지시하게 되는게 그 지시하는 문구가 쿼리임

 

 

데이터베이스의 필요성

1.인메모리

먼저 자바스크립트에서 데이터를 다룰 때에는 프로그램이 실행될 때에만 존재하는 데이터가 있다 자바스크립트에서 변수를 만들어 저장한 경우, 프로그램이 종료될 때 해당 프로그램이 사용하던 데이터도 사라진다 이 말은 변수 등에 저장한 데이터가 프로그램의 실행에 의존한다는 말이다 예기치 못한 상호 아으로부터 데이터를 보호할 수 없고, 프로그램이 종료된 상태라면 데이터를 원하는 시간에 받아올 수 없으며 데이터의 수명이 프로그램의 수명에 의존하게 된다.

2. 파일 I/O

파일을 읽는 방식으로 작동하는 형태를 말한다 엑셀 시트나 CSV 같은 파일의 형태는 In-Memory에 비해 데이터를 저장하는 방식으로 적절해 보인다. 그러나 한계가 존재한다

데이터가 필요할 때마다 전체 파일을 매번 읽어야 한다. 파일의 크기가 커질수록 이 작업은 버거워지고 비효율적이다

파일이 손상되거나 여러 개의 파일들을 동시에 다뤄야 하는 등 복잡하고 데이터량이 많아질수록 데이터를 불어 들이는 작업이 점점 힘들어진다.

반면 관계형 데이터베이스는 하나의 CSV 파일이나 엑셀 시트를 한 개의 테이블로 저장할 수 있다. 한 번에 여러 개의 테이블을 가질 수 있길 대문에 SQL을 활용해 데이터를 불러오기 수월하다 또한, 엑셀 시트와 CSV 파일 등처럼 특정 형태의 파일은 대용량의 데이터를 저장하기 위한 목적이 아니다.

 

하나의 언어인 Structured Query language는 데이터베이스 언어로 주로 관계형 데이터베이스에서 사용한다 예를 들어 MySQL, Oracle, SQLite, ProstgreSQL 등 다양한 데이터베이스에서 SQL 구문을 사용할 수 있다 SQL은 구조화된 쿼리 언어이다.

 

쿼리란?

쿼리는 질의문이라는 뜻을 가지고 있다 예를 들면 검색을 할 때 입력하는 검색어가 일종의 쿼리이다 검색을 할 때 기존에 존재하는 데이터를 검색어로 필터링한다 따라서 쿼리는 저장되어 있는 데이터를 필터 하기 위한 질의문으로 볼 수 있다.

SQL이란 데이터베이스용 프로그래밍 언어입니다 데이터베이스에 쿼리를 보내 원하는 데이터를 가져오거나 삽입할 수 있다 그리고 이름에서 유추할 수 있듯이, SQL은 (relation이라고 불리는) 데이터가 구조화된 (structured) 테이블을 사용하는 데이터베이스에서 활용할 수 있다.

SQL을 사용할 수 있는 데이터베이스와 달리, 데이터의 구조가 고정되어 있지 않은 데이터베이스를 NoSQL이라고 한다 관계형 데이터베이스와 달리 테이블을 사용하지 않고 데이터를 다른 형태로 저장한다 NoSQL의 대표적인 예시는 MongoDB와 같은 문서 지향 데이터베이스이다

이처럼 데이터베이스 세계에서 SQL은 데이터베이스 종류를 SQL이라는 언어 단위로 분류할 정도로 중요한 자리를 차지하고 있다 그리고 SQL을 사용하기 위해 데이터 구조가 고정되어있어야 한다.

 

SQL(구조화 쿼리 언어) vs NoSQL(비구조화 쿼리 언어)

데이터베이스는 크게 관계형 데이터베이스와 비관계형 데이터베이스로 구분한다 관계형 데이터베이스는 SQL을 기반으로 하고 비관계형 데이터베이스는 NoSQL로 데이터를 다룬다 SQL과 NoSQL은 만들어진 방식, 저장하는 정보의 종류, 그리고 저장하는 방법 등에 차이가 있다.

SQL관계형 데이터베이스는 테이블의 구조와 데이터 타입 등을 사전에 정의하고, 테이블에 정의된 내용에 알맞은 형태의 데이터만 삽입할 수 있다. 관계형 데이터베이스는 행과 열로 구성된 테이블에 데이터를 저장한다. 각 열은 하나의 속성에 대한 정보를 저장하고, 행에는 각 열의 데이터 형식에 맞는 데이터가 저장된다. 특정한 형식을 지키기 때문에 데이터를 정확히 입력했다면 데이터를 사용할 때에는 매우 수월하다 관계형 데이터베이스에서는 SQL을 활용해 원하는 정보를 쿼리 할 수 있다 이 말은 관계형 데이터베이스에서는 스키마가 뚜렷하게 보인다는 말과 같다 즉 관계형 데이터베이스에서는 테이블 간의 관계를 직관적으로 파악할 수 있다.

 

NoSQL은 주로 데이터가 고정되어있지 않은 데이터베이스를 가리킨다. 스키마가 없는 것은 아니고 관계형 데이터베이스에서는 데이터를 입력할 때 스키마에 맞게 입력하는 반면 NoSQL은 데이터를 읽어올 때 스키마에 따라 데이터를 읽어 온다. 이런 방식을 'schema on read'라고도 한다 읽어올 때에만 데이터 스키마가 사용된다 하여, 데이터를 쓸 때 정해진 방식이 없다는 의미는 아니다 데이터를 입력하는 방식에 따라 데이터를 읽어올 때 영향을 미친다

 

NoSQL

NoSQL 기반의 비 관계형 데이터베이스의 구성

-Key-Value타입 : 속성을 Key-Value의 쌍으로 나타내는 데이터를 배열의 형태로 저장한다 여기서 Key는 속성 이름을 뜻하고, Value는 속성에 연결된 데이터 값을 의미한다 Redis, Dynamo 등이 대표적인 키 밸류 형식의 데이터베이스이다.

-문서형 데이터베이스 : 데이터를 테이블이 아닌 문서처럼 저장하는 데이터베이스를 의미한다 많은 문서형 데이터베이스에서 JSON과 유사한 형식의 데이터를 문서화하여 저장한다. 각각의 문서는 하나의 속성에 대한 데이터를 가지고 있고, 컬렉션이라고 하는 그룹으로 묶어서 관리한다. 대표적인 문서형 데이터베이스에는 MongoDB가 있다

-Wide-Column데이터베이스 : 데이터베이스의 열에 대한 데이터를 집중적으로 관리하는 데이터베이스이다 각 열에는 key-value형식으로 데이터가 저장되고, 컬럼 패밀리(column families)라고 하는 열의 집합체 단위로 데이터를 처리할 수 있습니다. 하나의 행에 많은 열을 포함할 수 있어서 유연성이 높다. 데이터 처리에 필요한 열을 유연하게 선택할 수 있다는 점에서 규모가 큰 데이터 분석에 주로 사용되는 데이터베이스 형식이다 대표적인  wide-column데이터베이스에는 Cassandra, HBase가 있다

-그래프(Graph) 데이터베이스 : 자료구조의 그래프와 비슷한 형식으로 데이터 간의 관계를 구성하는 데이터베이스이다. 노드에 속성별로 데이터를 저장한다 각 노드 간 관계는 선으로 표현한다 대표적인 그래프 데이터베이스는 Neo4 J, InfiniteGraph가 있다.

 

SQL과 NoSQL 차이점

• 데이터 저장(Storage)

NoSQL은 Key-value, Document, Wide-column, graph 등의 방식으로 데이터를 저장한다

관계형 데이터베이스는 SQL을 이용해서 데이터를 테이블에 저장한다. 미리 작성된 스키마를 기반으로 정해진 형식에 맞게 데이터를 저장해야 한다.

• 스키마(Schema)

-SQL을 사용하려면 고정된 형식의 스키마가 필요하다, 처리하려는 데이터 속성별로 컬럼에 대한 정보를 미리 정해두어야 한다 스키마는 나중에 변경할 수 있지만 이 경우 데이터베이스 전체를 수정하거나 오프라인(down-time)으로 전환할 필요가 있다

-NoSQL은 관계형 데이터베이스보다 동적으로 스키마의 형태를 관리할 수 있다 행을 추가할 때 즉시 새로운 열을 추가할 수 있고, 개별 속성에 대해서 모든 열에 대한 데이터를 반드시 입력하지 않아도 된다.

• 쿼리(Querying)

-쿼리는 데이터베이스에 대해서 정보를 요청하는 질의문이다 관계형 데이터베이스는 테이블의 형식과 테이블 간의 관계에 맞춰 데이터를 요청해야 한다 그래서 정보를 요청할 때 SQL과 같이 구조화된 쿼리 언어를 사용한다

-NoSQL 데이터베이스의 쿼리는 데이터 그룹 자체를 조회하는 것에 초점을 두고 있다. 그래서 구조화되지 않은 쿼리 언어로도 데이터 요청이 가능하다. UnQL(UnStructured Query Language)이라고 말하기도 한다.

• 확장성(Scalability)

-SQL 데이터베이스는 수직적으로 확장한다 높은 메모리, CPU를 사용하는 확장이라고 사용한다 데이터베이스가 구축된 하드웨어의 성능을 많이 이용하기 때문에 비용도 많이 든다. 여러 서버에 걸쳐서 데이터베이스의 관계를 정의할 수 있지만 복잡하고 시간이 많이 소모된다.

-NoSQL 데이터베이스는 수평적으로 확장한다 보다 값싼 서버 증설, 또는 클라우드 서비스 이용하는 확장이라고도 한다 NoSQL 데이터베이스를 위한 서버를 추가적으로 구축하면, 많은 트래픽을 보다 편리하게 처리할 수 있다 그리고 저렴한 범용 하드웨어나 클라우드 기반의 인스턴스에 NoSQL 데이터베이스를 호스팅 할 수 있어 수직적 확장보다 상대적으로 비용이 저렴하다.

• 어떤 걸 사용해야 하나?

많은 개발자들은 유저의 요구를 충족하기 위해 관계형, 비 관계형 데이터베이스를 모두 사용하여 서비스에 맞게 설계하고있다. NoSQL기반의 비관계형 데이터베이스가 확장성이나 속도면에서 더 뛰어나지만 고차원으로 구조화된 SQL 데이터베이스가 더 좋은 성능을 보여주는 서비스도 있다. 비용적인 면이나 아직 체계가 잡혀있지 않은 스타트업의 경우 NoSQL을 사용하고 그 외엔 SQL을 사용하는 걸로 생각하고 있다.

 

SQL 데이터베이스를 사용하는 케이스

1. 데이터베이스의 ACID성질을 준수해야 하는 경우

데이터베이스에서 실행되는 하나의 트랜잭션에 의한 상태변화를 수행하는 과정에서 안전성을 보장하기 위해 필요한 성질이다 SQL을 사용하면 데이터베이스와 상호작용 방식을 정확하게 규정할 수 있기 때문에 데이터베이스에서 데이터를 처리할 때 발생할 수 있는 예외적인 상황을 줄이고, 데이터베이스의 무결성을 보호할 수 있다.

전자 상거래를 비롯한 모든 금융 서비스를 위한 소프트웨어 개발에서는 반드시 데이터베이스의 ACID 성질을 준수해야 한다 그래서 이러한 경우 SQL 데이터베이스를 사용한다.

2. 소프트웨어에 사용되는 데이터가 구조적이고 일관적인 경우

소프트웨어(프로젝트)의 규모가 많은 서버를 필요로 하지 않고 일관된 데이터를 사용하는 경우, 관계형 데이터베이스를 사용하는 경우가 많다 다양한 데이터 유형과 높은 트래픽을 지원하도록 설계된 NoSQL 데이터베이스를 사용해야만 하는 이유가 없기 때문이다.

 

NoSQL 데이터베이스를 사용하는 케이스

1. 데이터 구조가 거의 또는 전혀 없는 대용량의 데이터를 저장하는 경우

대부분의 NoSQL 데이터베이스는 저장할 수 있는 데이터의 유형엔 제한이 없다. 필요에 따라, 언제든지 데이터의 새 유형을 추가할 수 있다 소프트웨어 개발에 정형화되지 않은 많은 양의 데이터가 필요한 경우, NoSQL을 정용하는 것이 더 효율적이다.

2. 클라우드 컴퓨팅 및 저장공간을 최대한 활용하는 경우

클라우드 기반으로 데이터베이스 저장소를 구축하면 저렴한 비용의 설루션을 제공받을 수 있다 소프트웨어에 데이터베이스의 확장성이 중요하다면 별다른 번거로움 없이 확장할 수 있는 NoSQL 데이터베이스를 사용하는 것이 좋다.

3. 빠르게 서비스를 구축하는 과정에서 데이터 구조를 자주 업데이트하는 경우

NoSQL 데이터베이스의 경우 스키마를 미리 준비할 필요가 없기 때문에 빠르게 개발하는 과정에 매우 유리하다 시장에 빠르게 프로토 타입을 출시해야 하는 경우 이에 해당한다 또한 소프트웨어 버전별로 많은 다운타임(데이터베이스 서버를 오프라인으로 전환하여 데이터 처리를 진행하는 작업 시간) 없이 데이터 구조를 자주 업데이트해야 하는 경우, 스키마를 매번 수정해야 하는 관계형 데이터베이스보다 NoSQL 기반의 비 관계형 데이터베이스를 사용하는 게 더 적합하다

 

 

ACID(Atomicity Consistency Isolation Durability)

데이터베이스에서 트랜젝션이 발생할 때, 그 안정성을 보장할 수 있는 성질

Atomicity(원자성) : 하나의 트랜젝션 내에서는 모든 연산이 성공하거나 모두 실패해야 한다. 실패 시 롤백을 함

Consistency(일관성) :하나의 트랜젝션 전후에 데이터베이스의 일관된 상태가 유지되어야 한다.

Isolation(고립성) : 각각의 트랜젝션은 독립적. 서로의 연산을 확인받거나 영향을 줄 수 없다.

Durability(지속성) : 하나의 성공된 트랜잭션에 대한 로그가 기록되고 영구적으로 남는다.

트랜잭션이란? 

데이터베이스의 상태를 변환시키는 논리적 기능을 수행하기 위해 행해지는 하나 이상의 쿼리를 모아 놓은 하나의 작업 단위, 만약 하나의 트랜젝션에 속해있는 여러 작업 중에서 단 하나의 작업이라도 실패하면 이 트랜잭션에 속한 모든 작업은 실패한 것으로 판단한다.

예를 들어 계좌이체를 한다고 가정했을 때 내가 친구에게 100만 원을 계좌 이체한다면, 내 계좌에선 100만 원이 빠지고 친구계좌에선 100만원이 입금되는 종합적인 처리를 하는 것을 말한다 만약 여기서 100만원이 인출이 된 기록이 있지만 친구 계좌에 100만원이 입금이 안 된 경우 돈은 사라지게 되며 이러한 일이 일어나지 않게 막고 안전성을 높이기 위해 필요한 것이 ACID이다