Hotmail nhận được một Hệ thống lưu trữ mới - làm cho nó vẫn nhanh hơn!

Hotmail nhận được một Hệ thống lưu trữ mới - làm cho nó vẫn nhanh hơn!
Hotmail nhận được một Hệ thống lưu trữ mới - làm cho nó vẫn nhanh hơn!

Video: Hotmail nhận được một Hệ thống lưu trữ mới - làm cho nó vẫn nhanh hơn!

Video: Hotmail nhận được một Hệ thống lưu trữ mới - làm cho nó vẫn nhanh hơn!
Video: P1: Bắt đầu | HƯỚNG DẪN ĐẦU TƯ CHỨNG KHOÁN CƠ BẢN, A-BỜ-CỜ ( TỪ A-Z ) - YouTube 2024, Tháng mười một
Anonim

Hotmail nhận được hàng tỷ email mỗi ngày và các thư này phải được lưu trữ an toàn và phải được tạo sẵn một cách hiệu quả. Hệ thống lưu trữ dựa trên đám mây của Hotmail hỗ trợ hơn một tỷ hộp thư và hàng trăm petabyte dữ liệu (một petabyte là một triệu gigabyte). Và để xử lý hàng trăm ngàn giao dịch đồng thời hiệu quả ở quy mô này là một thách thức kỹ thuật. Hệ thống lưu trữ được xây dựng bằng công nghệ của Microsoft, bao gồm Windows Server và Microsoft SQL Server.

Microsoft đã tiến hành nâng cấp lớn cho hệ thống lưu trữ này. Kể từ đầu năm nay, một hệ thống mới dựa trên các công nghệ phát triển tại Hotmail đã chạy trên một cụm thí điểm sử dụng các tài khoản cá nhân của nhân viên Microsoft. Và sau khi kiểm tra nghiêm ngặt hệ thống mới đã được chứng nhận cung cấp độ tin cậy tốt hơn với mức giá thấp hơn đáng kể.

Chúng ta hãy xem một số công nghệ mới được Hotmail sử dụng.

Thực hiện JBOD thay thế RAID:

“RAID (mảng dư thừa của đĩa không đắt tiền) là công nghệ cho phép một số ổ đĩa cứng được gắn vào một bảng điều khiển duy nhất, làm cho chúng trông giống như một ổ cứng lớn hơn và đáng tin cậy hơn nhiều (đôi khi được gọi là“Đơn vị logic”) phần mềm chạy hệ thống lưu trữ.”

Hotmail đã sử dụng RAID trong một thời gian dài. Email được lưu giữ trên nhiều nhóm RAID sao cho ngay cả khi toàn bộ RAID bị lỗi, tin nhắn có thể được khôi phục. Hotmail đã nghiên cứu quan điểm độ tin cậy của các ổ đĩa có dung lượng lớn hơn 1 terabyte và thấy rằng nó không phải là giá trị của tiền bạc từ quan điểm đáng tin cậy. Khi hệ thống RAID dễ dàng xử lý các vấn đề ảnh hưởng đến hệ thống đơn lẻ nhưng không phải khi toàn bộ máy hoặc bộ điều khiển RAID gặp sự cố. Hotmail thấy rằng có bản sao trên một máy khác không chia sẻ bộ điều khiển không chỉ đáng tin cậy hơn mà chi phí khôn ngoan cũng rẻ hơn cấu hình RAID.
Hotmail đã sử dụng RAID trong một thời gian dài. Email được lưu giữ trên nhiều nhóm RAID sao cho ngay cả khi toàn bộ RAID bị lỗi, tin nhắn có thể được khôi phục. Hotmail đã nghiên cứu quan điểm độ tin cậy của các ổ đĩa có dung lượng lớn hơn 1 terabyte và thấy rằng nó không phải là giá trị của tiền bạc từ quan điểm đáng tin cậy. Khi hệ thống RAID dễ dàng xử lý các vấn đề ảnh hưởng đến hệ thống đơn lẻ nhưng không phải khi toàn bộ máy hoặc bộ điều khiển RAID gặp sự cố. Hotmail thấy rằng có bản sao trên một máy khác không chia sẻ bộ điều khiển không chỉ đáng tin cậy hơn mà chi phí khôn ngoan cũng rẻ hơn cấu hình RAID.

Vì vậy, họ đã phát triển JBOD (Chỉ một Bunch Of Disks), nơi các bản sao dữ liệu nằm trên các ổ đĩa cứng độc lập, các bộ điều khiển và các máy. Vì vậy, làm cho bộ điều khiển ổ cứng gần như hoàn toàn ra khỏi con đường và đưa nó vào phần mềm để kiểm soát. Phần mềm hệ thống JBOD này được phát triển bởi Hotmail.

Phần mềm JBOD này liên tục theo dõi những thất bại và làm tăng cảnh báo khi tìm thấy do đó kích hoạt quá trình sửa chữa. Quá trình sửa chữa này có thể khởi động lại máy hoặc khởi động lại quy trình, để sửa lỗi dữ liệu hoặc thậm chí liên quan đến can thiệp của con người nếu cần. Ưu điểm chính của việc sử dụng Phần mềm là nó có thể duy trì các bản sao tốt của thư ưu tiên hành động sửa chữa nếu nó tìm thấy ít bản sao hơn. Sử dụng phần mềm này, bản sao đã được đơn giản hóa
Phần mềm JBOD này liên tục theo dõi những thất bại và làm tăng cảnh báo khi tìm thấy do đó kích hoạt quá trình sửa chữa. Quá trình sửa chữa này có thể khởi động lại máy hoặc khởi động lại quy trình, để sửa lỗi dữ liệu hoặc thậm chí liên quan đến can thiệp của con người nếu cần. Ưu điểm chính của việc sử dụng Phần mềm là nó có thể duy trì các bản sao tốt của thư ưu tiên hành động sửa chữa nếu nó tìm thấy ít bản sao hơn. Sử dụng phần mềm này, bản sao đã được đơn giản hóa

“The storage system consists of a set of machines, each of which has its copy of an email message and a journal recording messages that have arrived, organized by arrival date. The machines talk to each other from time to time, compare their journals, and copy any messages that they realize haven’t been copied to all machines.“

Triển khai Ổ đĩa trạng thái rắn (SSD) thay vì Ổ đĩa cứng.

Chúng tôi biết SSD nhanh hơn nhiều so với ổ cứng. Ổ đĩa cứng mặc dù lớn hơn và rẻ hơn là chậm trong việc xử lý tỷ lệ yêu cầu.

“A normal hard drive can perform a little more than one hundred read/write operations per second, whereas some of the fastest SSDs can do over one hundred thousand operations per second.”

Mặc dù tốc độ này có giá cao hơn nhiều so với ổ cứng.

SSD xử lý tải thay đổi hiệu quả. Điều này có thể được giải thích vì Hotmail không chỉ lưu trữ email mà còn theo dõi các siêu dữ liệu thay đổi liên tục khác nhau như danh sách thư trong hộp thư đến, trạng thái đọc / chưa đọc của thư, luồng hội thoại, v.v. đặt tải tối đa trên ổ đĩa cứng do tính chất luôn thay đổi. Vì vậy, việc sử dụng SSD để lưu trữ siêu dữ liệu và đĩa cứng cho tin nhắn sẽ giúp kết hợp tốt hơn và hiệu quả hơn.

Ngoài những cải tiến này, Hotmail sẽ tiết lộ nhiều hơn nữa trong các bài viết sau này. Việc triển khai hệ thống lưu trữ mới đã bắt đầu và các cụm mới sẽ dựa trên JBOD. Đã có 30 triệu người dùng đang sử dụng JBOD trong khi 100 triệu người khác sẽ di chuyển trong thời gian.
Ngoài những cải tiến này, Hotmail sẽ tiết lộ nhiều hơn nữa trong các bài viết sau này. Việc triển khai hệ thống lưu trữ mới đã bắt đầu và các cụm mới sẽ dựa trên JBOD. Đã có 30 triệu người dùng đang sử dụng JBOD trong khi 100 triệu người khác sẽ di chuyển trong thời gian.

Nếu bạn đã nhận thấy, Hotmail đã trở nên rất nhanh. Nếu bạn chưa - hãy thử ngay bây giờ.

Đề xuất: