Hive Là Gì

Thuật ngữ Big Data được thực hiện cho các cỗ tập tài liệu to con bao gồm cân nặng phệ, vận tốc cao cùng nhiều một số loại dữ liệu vẫn tăng thêm từng ngày. Sử dụng các khối hệ thống cai quản dữ liệu truyền thống lịch sử, hết sức khó nhằm xử trí Big data. Do đó, Quỹ phần mềm Apabịt (Apađậy Software Foundation) sẽ giới thiệu một framework thương hiệu là Hadoop để xử lý những thách thức thống trị cùng cách xử trí Big data.

Bạn đang xem: Hive là gì

Hadoop

Hadoop là một trong những framework open-source nhằm tàng trữ với giải pháp xử lý Big data trong môi trường thiên nhiên phân tán. Nó đựng hai mô-đun, một là MapReduce cùng một mô-đun không giống là Hệ thống tệp phân tán Hadoop (Hadoop Distributed File System - HDFS).

MapReduce: Đây là mô hình lập trình sẵn tuy nhiên tuy vậy nhằm giải pháp xử lý một lượng mập tài liệu có cấu tạo, buôn bán cấu trúc và ko cấu trúc trên các cụm lớn của Hartware thương thơm mại (commodity hardware).HDFS: Hệ thống tệp phân tán Hadoop là một trong những phần của framework Hadoop, được áp dụng nhằm tàng trữ và cách xử trí các bộ dữ liệu. Nó hỗ trợ một hệ thống tập tin Chịu lỗi nhằm điều khiển xe trên Hartware thương mại.

Hệ sinh thái xanh Hadoop cất các sub-project (tool) khác biệt nlỗi Sqoop, Pig và Hive được thực hiện để hỗ trợ các mô-đun Hadoop.

Sqoop: Nó được sử dụng để nhập với xuất dữ liệu mang đến và đi giữa HDFS cùng RDBMS.Pig: Đây là một trong những nền tảng ngữ điệu giấy tờ thủ tục được sử dụng để cách tân và phát triển tập lệnh cho những buổi giao lưu của MapReduce.

Xem thêm: Hướng Dẫn Chi Tiết Cách Kiếm Bitcoin Miễn Phí, An Toàn, Uy Tín Hằng Ngày

Hive: Đây là một trong những căn nguyên được thực hiện nhằm trở nên tân tiến những tập lệnh các loại Squốc lộ để tiến hành các chuyển động MapReduce.

Chú ý: Có nhiều phương pháp khác nhau nhằm triển khai những chuyển động MapReduce:

Cách tiếp cận truyền thống lâu đời áp dụng chương trình Java MapReduce mang lại dữ liệu tất cả cấu tạo, bán cấu trúc cùng không cấu tạo.Cách tiếp cận cần sử dụng câu lệnh đến MapReduce nhằm cách xử trí tài liệu gồm cấu trúc và buôn bán cấu trúc bằng Pig.Ngôn ngữ truy hỏi vấn Hive sầu (Hivequốc lộ hoặc HQL) đến MapReduce nhằm cách xử trí tài liệu gồm cấu tạo bởi Hive sầu.Hive là gì?

Hive sầu là một cơ chế cơ sở hạ tầng kho dữ liệu nhằm giải pháp xử lý dữ liệu tất cả cấu tạo trong Hadoop. Nó nằm trong đỉnh Hadoop nhằm nắm tắt Dữ liệu béo với giúp tróc nã vấn và so với thuận lợi.

Ban đầu Hive được trở nên tân tiến do Facebook, tiếp nối Quỹ Phần mượt Apađậy đã lấy và trở nên tân tiến nó thành một mối cung cấp mở dưới thương hiệu Apabịt Hive. Nó được sử dụng vì chưng những công ty khác nhau. Ví dụ: Amazon thực hiện nó vào Amazon Elastic MapReduce.

Hive chưa hẳn là:Một DataBase quan hệMột thiết kế nhằm cách xử lý thanh toán giao dịch Online (OnLine Transaction Processing - OLTP)Một ngôn từ cho các tróc nã vấn thời hạn thực cùng update cấp hàngdị biệt của HiveNó lưu trữ lược đồ vật trong đại lý tài liệu cùng cách xử trí dữ liệu vào HDFS.Nó có thiết kế cho OLAP..Nó cung cấp ngôn từ loại Squốc lộ nhằm truy vấn vấn được hotline là HiveQL hoặc Hquốc lộ.Nó là quen thuộc, nhanh lẹ, có khả năng mở rộng.Kiến trúc của Hive

Sơ vật dụng tiếp sau đây biểu thị phong cách xây dựng của Hive:

Sơ trang bị thành phần này cất những đơn vị chức năng không giống nhau.

User Interface: Hive là một phần mượt cơ sở hạ tầng kho dữ liệu rất có thể tạo nên sự ảnh hưởng giữa người tiêu dùng với HDFS. Các đồ họa người dùng nhưng Hive sầu cung cấp là Hive Web UI, Hive sầu command line và Hive sầu HD Insight (Trong máy chủ Windows).Meta Store: Hive sầu lựa chọn những sever các đại lý dữ liệu tương ứng để lưu trữ lược đồ hoặc metadata của các bảng, cơ sở dữ liệu, các cột vào một bảng, các nhiều loại dữ liệu của bọn chúng với ánh xạ HDFS.Hivequốc lộ Process Engine: Hivequốc lộ giống như nlỗi Squốc lộ nhằm tầm nã vấn thông báo lược trang bị trên Metastore. Đây là 1 trong những thay thế của phương thức truyền thống đến chương trình MapReduce. Thay vì viết công tác MapReduce bằng Java, chúng ta cũng có thể viết một tầm nã vấn mang đến công việc MapReduce và xử trí nó.Execution Engine: Phần phối kết hợp của giải pháp cách xử trí HiveQL với MapReduce là Công rứa xúc tiến Hive (Hive Execution Engine). Công thế tiến hành cách xử trí tầm nã vấn và sinh sản tác dụng giống hệt như hiệu quả MapReduce.HDFS hoặc HBASE: Hệ thống tệp phân tán Hadoop hoặc HBASE là các kỹ thuật tàng trữ tài liệu để tàng trữ tài liệu vào hệ thống tệp.Cách thao tác làm việc của Hive

Sơ thứ sau miêu tả quy trình thao tác thân Hive sầu với Hadoop.

Cách Hive sầu địa chỉ cùng với framework Hadoop:

Thực thi query: Giao diện Hive như Commvà line hoặc Giao diện người tiêu dùng website gửi tróc nã vấn đến Trình điều khiển và tinh chỉnh (bất kỳ trình tinh chỉnh các đại lý tài liệu làm sao như JDBC, ODBC, v.v.) để thực thi.Nhận kế hoạch: Trình điều khiển và tinh chỉnh tất cả sự trợ giúp của trình biên dịch truy tìm vấn để so với cú pháp truy vấn vấn nhằm chất vấn cú pháp với chiến lược truy vấn hoặc trải đời của truy nã vấn.Nhận metadata: Trình biên dịch gửi tận hưởng metadata mang lại Metastore (bất kỳ các đại lý dữ liệu nào).Gửi metadata: Metastore gửi metadata nlỗi một bình luận đến trình biên dịch.Gửi kế hoạch: Trình biên dịch bình chọn trải nghiệm cùng gửi lại kế hoạch cho trình điều khiển. Đến đây, vấn đề phân tích cú pháp với biên dịch một tróc nã vấn sẽ hoàn toàn.Kế hoạch thực hiện: Trình điều khiển gửi kế hoạch triển khai mang đến nguyên tắc tiến hành.Thực kiến thiết việc: Trong nội cỗ, quy trình triển khai quá trình là một trong những công việc MapReduce. Công ráng thực hiện gửi quá trình mang lại JobTracker, vào node Name với nó gán các bước này mang lại TaskTracker, vào node Data. Ở trên đây, truy nã vấn tiến hành các bước MapReduce.

Xem thêm: Cu Màu Gì - Cu(Oh)2 Là Kết Tủa Màu Gì

Hoạt rượu cồn metadata: Trong khi tiến hành, lao lý thực thi rất có thể triển khai những chuyển động metadata với Metastore.Lấy kết quả: Công ráng tiến hành dấn công dụng từ bỏ các node Data.Gửi kết quả: Công chũm thực hiện gửi những cực hiếm công dụng kia mang lại trình điều khiển.Gửi kết quả: Trình điều khiển và tinh chỉnh gửi kết quả mang đến Giao diện Hive.