Hybrid Database System for Big data storage and management

Hybrid Database System for Big data storage and management

Thành Viên Nhóm 4

Võ Thanh Nghị

La Văn Khánh

Trần Đình Minh

Hybrid database system là gì ?

1.Hybrid database system là gì ?

Hybrid database system là một hệ thống cơ sở dữ liệu hỗ trợ và sử dụng các dữ liệu được lưu trữ trên đĩa và trong bộ nhớ trong một công cụ tích hợp duy nhất. Do đó, dữ liệu có thể được lưu trữ và vận hành chỉ trong bộ nhớ chính hoặc trên đĩa hoặc kết hợp cả hai.

Vậy tại sao chúng ta cần sử dụng nó ?

2.Vậy tại sao chúng ta cần sử dụng nó ?

Hybrid database được sử dụng khi hệ thống cần hiệu suất cao với năng lượng ít mà chỉ cần bộ nhớ của hệ thống cơ sở dữ liệu cung cấp. Điều này cung mang đến các lợi ích về độ bền và chi phí thấp của các hệ thống cơ sở dữ liệu dựa trên đĩa. Nói tóm lại, hệ thống sử dụng đĩa cứng để lưu và giữ lai dữ liệu, tuy nhiên nó vẫn tận dụng bộ nhớ cho các dữ liệu đang được sử dụng động để tăng hiệu suất.

Lợi ích của việc sử dụng Hybrid Database

3. Lợi ích của việc sử dụng Hybrid Database

Hybrid database hỗ trợ cả hai loại dữ liệu, một trong những lợi ích dễ nhận thấy nhất của Hybrid database đó là tính linh hoạt. Sử dụng Hybrid DB, chúng ta có thể duy trì sự cân bằng giữa hiệu suất, chi phí và về sự bền bỉ.

Ưu điểm của Hybrid database bao gồm:

1. Performance(Hiệu suất)
2. Cost(Chi Phí)
3. Persistence(Toàn vẹn dữ liệu)
4. Flexibility(Tính linh hoạt)
5. Rows and Columns(Hàng và Cột)
6. Deployment(Triển khai)

Performance(Hiệu suất)

Việc sắp xếp, lưu trữ và truy xuất dữ liệu thường xuyên truy cập hoàn toàn diễn ra trong bộ nhớ thay vì từ đĩa. Điều này thực sự làm cho hybrid database hoạt động nhanh. Ngoài ra, Hybrid database kết hợp sử dụng các trình tối ưu hóa để tự động chọn kế hoạch thực hiện tốt nhất trên cơ sở thống kê và các phụ lục có sẵn nhằm cải thiện tổng hiệu suất bất kể vị trí của dữ liệu.

Cost(Chi Phí)

Đĩa cứng rẻ hơn RAM. Do đó, số tiền tiết kiệm được có thể được sử dụng để bổ sung thêm bộ nhớ nhằm tăng hiệu suất.

Persistence(Toàn vẹn dữ liệu)

Vì các chip RAM không thể đạt được mật độ lưu trữ của đĩa vật lý cho nên các ổ đĩa cứng vẫn được sử dụng để lưu trữ dữ liệu cần thiết cho lần sử dụng sau. Điều này đảm bảo rằng dữ liệu không bị mất trong trường hợp mất điện.

Flexibility(Tính linh hoạt)

Hybrid databases khả năng thực hiện song song khối lượng công việc giao dịch (OLTP) và phân tích (OLAP). Điều này được gọi là HTAP(Hybrid Transactional and Analytical Processing). HTAP cung cấp tính linh hoạt tốt hơn cho các nhà phát triển trong khi cập nhật phần mềm hiện có hoặc xây dựng phần mềm mới. Điều này làm hybrid databases rất phù hợp với các ứng dụng theo hướng dữ liệu, thời gian thực.

Rows and Columns(Hàng và Cột)

Hybrid Database cho phép lưu trữ cả theo hàng và theo cột. Điều này giúp tối ưu hóa cả các truy vấn giao dịch và phân tích, do đó giúp tìm kiếm và báo cáo nhanh hơn. Kế hoạch lưu trữ kết hợp trong cơ sở dữ liệu hợp nhất mang lại nền tảng có tính hiệu quả cao, với tất cả dữ liệu được lưu trữ theo cách tối ưu hóa nhiệm vụ hiện tại.

Deployment(Triển khai)

Hybrid Database cho phép triển khai dựa trên cả cloud và trong server của mình. Triển khai dựa trên cloud loại bỏ sự cần thiết phải quản lý liên tục cơ sở dữ liệu và công nghệ bởi tài nguyên IT nội bộ. trong khi đó, triển khai trong server của mình giúp kiểm soát tốt hơn khi cần thiết. Điều này thực sự giúp các doanh nghiệp sử dụng nguồn lực và nhân viên của họ một cách hiệu quả hơn.

Hạn chế của Hybrid database system

1. Khả năng tập hợp dữ liệu thấp
2. Tính độc lập của dữ liệu cao
3. Sự tương thích giữa các giữ liệu còn bị hạn chế
4. Tính bảo mật của từng thành phần dữ liệu thấp

Vậy Hybrid database hoạt động như thế nào ?

4. Vậy Hybrid database hoạt động như thế nào ?

Đối với các hệ thống hiệu năng cao và hạn chế về tài nguyên, hybrid database được tạo ra bằng cách kết hợp giữa hai hệ thống đó là cơ sở dữ liệu dùng bộ nhớ và cơ sở dữ liệu trên đĩa. Nó cho phép nhà phát triển tham gia cả hai mô hình cơ sở dữ liệu, tức là vừa trong bộ nhớ và trên đĩa cùng trong một phiên bản DB duy nhất.

4. Vậy Hybrid database hoạt động như thế nào ?

Biểu hiện một cơ sở dữ liệu làm tạm thời ( được quản lý trong bộ nhớ), trong khi chọn lưu trữ trên đĩa cho các phần còn lại của các loại bản ghi, cần một khai báo lược đồ cơ sở dữ liệu đơn giản. Cơ sở dữ liệu kết quả duy trì tiềm năng trong bộ nhớ (tốc độ, dung lượng cơ sở dữ liệu nhỏ, API gốc trực quan, v.v.), đồng thời có thể kiểm soát việc tiết kiệm chi phí và tính ổn định tích hợp của cơ sở dữ liệu trên đĩa.

4. Vậy Hybrid database hoạt động như thế nào ?

Hoạt động cơ bản của cơ sở dữ liệu kết hợp dựa trên chức năng HTAP (Xử lý phân tích và giao dịch kết hợp). Để lưu trữ dữ liệu trên cả hai loại phương tiện đó là trong bộ nhớ và trên đĩa đều có sẵn trong một ứng dụng. Điều này cho phép khách hàng quản lý sự đánh đổi giữa độ trễ, chi phí và các tùy chọn bảo quản bộ nhớ.

4. Vậy Hybrid database hoạt động như thế nào ?

Hybrid database sử dụng trình tối ưu hóa để tự động chọn kế hoạch thực hiện phù hợp nhất dựa trên số liệu thống kê và phụ lục có sẵn để cải thiện hiệu suất tổng thể bất kể vị trí của dữ liệu

4. Vậy Hybrid database hoạt động như thế nào ?

Hybrid database tối ưu hóa các truy vấn giao dịch và phân tích bằng cách hỗ trợ cả Lưu trữ dựa trên hàng (đối với truy vấn giao dịch) và Lưu trữ dựa trên cột (đối với truy vấn phân tích) trong một phiên bản CSDL duy nhất. Tất cả dữ liệu được lưu giữ theo cách tối ưu hóa hoạt động hiện tại.

Sự khác biệt giữa Relational Database, NoSQL và Hybrid Database

5. Sự khác biệt giữa Relational Database, NoSQL và Hybrid Database

Trong Relational Database, dữ liệu tồn tại ở dạng quan hệ (thiết lập bảng) và có thể được tìm bằng SQL hoặc các lệnh ngôn ngữ có cấu trúc khác.

5. Sự khác biệt giữa Relational Database, NoSQL và Hybrid Database

Mặt khác, cơ sở dữ liệu NoSQL không sử dụng bảng để lưu trữ dữ liệu. Nó lưu trữ dữ liệu theo một số cách khác bao gồm lưu trữ khóa-giá trị, lưu trữ tài liệu, đồ thị, phương thức lưu trữ đối tượng, v.v. Điều này giúp các hệ thống phức tạp và phân tán truy cập thông tin cơ sở dữ liệu trở nên đơn giản hơn.

5. Sự khác biệt giữa Relational Database, NoSQL và Hybrid Database

Tuy nhiên, một số cơ sở dữ liệu NoSQL có thể liên tục mất dữ liệu. Như bạn đã hiểu rằng Hybrid database là sự kết hợp giữa Relational Database và NoSQL, cho nên điều quan trọng đối với chúng ta là nên tìm hiểu sâu về sự khác biệt giữa Relational Database và NoSQL Database.

Hãy phân biệt chúng trên các tham số sau:

Khả năng mở rộng và Hiệu suất

Ngôn ngữ truy vấn

Quản lý dữ liệu – Lưu trữ và truy cập

Tính linh hoạt

Bảo mật

1) Khả năng mở rộng và Hiệu suất

Cơ sở dữ liệu Relational và SQL sử dụng khả năng mở rộng theo chiều dọc. Điều đó có nghĩa là khi lượng dữ liệu được tăng lên, nó đòi hỏi phải mở rộng dung lượng lưu trữ và sức mạnh xử lý của nút hiện có. Chẳng hạn, dung lượng của CPU, RAM và thiết bị lưu trữ giai đoạn (SSD) của máy chủ DB. Khả năng mở rộng theo chiều dọc này rất tốn kém do chi phí phần cứng cơ bản.

1) Khả năng mở rộng và Hiệu suất

Ngược lại, cơ sở dữ liệu NoSQL sử dụng khả năng mở rộng theo chiều ngang, tức là khi lượng dữ liệu tăng lên, hệ thống được mở rộng bằng cách thêm các nút chế độ để lưu trữ dữ liệu và sức mạnh tính toán, chẳng hạn như thêm máy chủ vào cơ sở hạ tầng NoSQL DB. Đây là một giải pháp rẻ hơn khi so sánh với khả năng mở rộng theo chiều dọc.

1) Khả năng mở rộng và Hiệu suất

Nói chung, cơ sở dữ liệu NoSQL cũng có các tính năng tự động phân mảnh để phân phối dữ liệu trên các máy chủ khác nhau nhằm tăng hiệu suất.

1) Khả năng mở rộng và Hiệu suất

Mục đích chính của Relational Database là đáp ứng nghiêm ngặt các thuộc tính ACID(Atomicity, Consistency, Isolation, and Durability), đây là một loại nhiệm vụ không khả thi đối với cơ sở dữ liệu NoSQL. Do đó, tính toàn vẹn và độ tin cậy của Relational Database chắc chắn hơn cơ sở dữ liệu NoSQL..

1) Khả năng mở rộng và Hiệu suất

Đối với cơ sở dữ liệu NoSQL, việc duy trì các thuộc tính ACID rất khó khăn vì chúng sử dụng tỷ lệ ngang. Chúng dựa trên các nguyên tắc BASE(Basically Available, Soft state, Eventually consistent) và do đó linh hoạt hơn cơ sở dữ liệu Quan hệ.

2) Tính linh hoạt

Cơ sở dữ liệu SQL có lược đồ tĩnh và được xác định trước trong khi cơ sở dữ liệu NoSQL có lược đồ động không bắt buộc phải được xác định trước. Việc sửa đổi lược đồ trong cơ sở dữ liệu SQL rất phức tạp và dễ xảy ra lỗi trong khi nó dễ dàng điều chỉnh các thay đổi trong cấu trúc dữ liệu trong trường hợp đó là NoSQL Databases.

2) Tính linh hoạt

Đây là lý do tại sao cơ sở dữ liệu NoSQL được ưu tiên trong các môi trường linh hoạt và có thể mở rộng. Ngoài ra, cơ sở dữ liệu SQL chỉ xử lý dữ liệu có cấu trúc, trong khi cơ sở dữ liệu NoSQL có thể xử lý dữ liệu có cấu trúc, phi cấu trúc và bán cấu trúc.

3) Ngôn ngữ truy vấn

Relational Databases sử dụng SQL (Ngôn ngữ truy vấn có cấu trúc). SQL là ngôn ngữ truy vấn mạnh mẽ và có thể quản lý các truy vấn phức tạp thông qua giao diện được tiêu chuẩn hóa. Ngược lại, cơ sở dữ liệu NoSQL không có bất kỳ ngôn ngữ chuẩn hóa nào để truy vấn dữ liệu. Họ sử dụng ngôn ngữ truy vấn riêng do nhà cung cấp tương ứng cung cấp. Chúng thường thiếu khả năng xử lý các truy vấn phức tạp như tổng hợp, liên kết, v.v.

3) Ngôn ngữ truy vấn

Do đó, SQL chắc chắn là một lợi thế đối với Relational Databases, trong khi đối với cơ sở dữ liệu NoSQL, cần phải phát triển một ngôn ngữ truy vấn được tiêu chuẩn hóa.

4) Bảo mật

Relational databases rất an toàn trong kiến trúc của chúng. Tuy nhiên, trong trường hợp cơ sở dữ liệu NoSQL, vì chúng cung cấp tính năng phân đoạn dữ liệu và dữ liệu được phân phối nên việc quản lý tính bảo mật, quyền riêng tư và bảo mật là một phần khó khăn. Trong cơ sở dữ liệu NoSQL, việc ủy quyền, xác thực và kiểm tra được yêu cầu phải được thực hiện thông qua các phương thức bên ngoài tùy thuộc vào việc sử dụng NoSQL DB nào.

5) Quản lý dữ liệu – Lưu trữ và truy cập

Ngược lại, NoSQL DB lưu trữ dữ liệu trong các bộ sưu tập có mối quan hệ logic và liên quan đến mức độ chuẩn hóa thấp hơn. Do đó, chúng chứa dự phòng dữ liệu. Bản sao giúp cải thiện tính khả dụng của dữ liệu trong cơ sở dữ liệu NoSQL và phòng ngừa việc mất dữ liệu. Đây là tất cả về sự khác biệt chính giữa cơ sở dữ liệu SQL và NoSQL.

Demo

Mô hình hybrid của orientdb

Màn hình chính

màn hình quản lý các shecma là một namespace dùng để gom nhóm các table có chung một đặc điểm nào đó đễ dễ dàng quản lý. Nếu bạn không sử dụng schema trong CSDL thì nó sẽ lấy schema mặc định là dbo.

màn hình quản lý an ninh của csdl bao gồm việc thêm sửa xóa và quản lý các tài khoản và các quyền của tài khoản

màn hìn truy vấn trả dữ liệu của dữ liệu dạng document

truy vấn dữ liệu thông tin khách hàng

truy vấn nhiều bảng hiện kết quả cùng lúc

OrientDB là NoSQL DBMS mã nguồn mở đa mô hình đầu tiên kết hợp sức mạnh của đồ thị và tính linh hoạt của tài liệu vào một cơ sở dữ liệu hoạt động hiệu suất cao có thể mở rộng.

thêm dữ liệu vào db dạng document

hiển thị profile dạng graph (đồ thị) từ dữ liệu mới được thêm

câu lệnh update name với surname của khách hàng

sau ki update dữ liệu thành công

KẾT LUẬN VÀ KHUYẾN NGHỊ

7.KẾT LUẬN VÀ KHUYẾN NGHỊ

Tóm lại, chúng tôi đã đề xuất một phương pháp kết hợp cơ sở dữ liệu SQL thuộc nhóm hệ thống cơ sở dữ liệu quan hệ và MongoDB là cơ sở dữ liệu NoSQL để lưu trữ và quản lý dữ liệu lớn. Với kết quả thu được, có thể hiểu được rằng hệ thống của chúng tôi có thể được sử dụng để lưu trữ và quản lý lớn loại bỏ các điểm yếu trong cả hai cơ sở dữ liệu.

THANKS!

Lorem ipsum dolor