[SCALE] Phần cứng SCALE - Phần 2 - Kích thước thiết bị lưu trữ

Kích thước thiết bị lưu trữ

    Bố cục nhóm (tổ chức LUN và ổ đĩa, theo cách nói của TrueNAS/ZFS) nằm ngoài phạm vị của hướng dẫn này. Việc có sẵn các ổ đĩa terabyte hai chữ số đặt ra một câu hỏi mà người dùng TrueNAS hiện có thể thoải mái đặt ra: Tôi nên sử dụng bao nhiêu để đạt dược dung lượng mong muốn? Bạn có thể sao chép hai ổ đĩa 16 TB để đạt được dung lượng khả dụng là 16 TB, nhưng điều đó không có nghĩa là bạn nên làm như vậy. Sao chép hai ổ đĩa lớn mang lại lợi thế về tính dự phòng và cân bằng các lần đọc ghi giữa hai thiết bị, có thể giảm mức tiêu thụ điện năng, nhưng không có nhiều tác dụng khác. Hiệu suất ghi của hai ổ đĩa lớn tương tự như của một ổ đĩa đơn. Ngược lại, một mảng gồm tám ổ 4 TB cung cấp nhiều cấu hình khác nhau để tối ưu hóa hiệu suất và tính dự phòng với chi phí thấp hơn. Nếu được định cấu hình dưới dạng sao chép theo dải, tám ổ đĩa có thể mang lại hiệu suất ghi cao hơn bốn lần với tổng dung lượng tương tự. Bạn cũn có thể cân nhắc thêm một ổ đĩa dự phòng nóng với bất kỳ cấu hình nhóm nào, cho phép nhóm tự động xây dựng lại nếu một trong các ổ đĩa chính của nó bị lỗi.

Thiết bị lưu trữ Burn-In

    Ổ cứng đĩa quay có các bộ phận chuyển động rất nhạy cảm với va đập và rung và bị mòn khi sử dụng. Cân nhắc chuẩn bị trước mọi thiết bị lưu trữ trước khi đưa vào sản xuất, đặc biệt:

    Bắt đầu tự kiểm tra ổ cứng (). Sau khi kiểm tra hoàn tất (có thể mất 12+ giờ): smartctl -t long /dev/

• Kiểm tra kết quả (smartctl -a /dev/)
• Kiểm tra phân bổ lại khu vực đang chờ xử lý (smartctl -a /dev/ | grep Current_Pending_Sector)
• Kiểm tra số lượng khu vực được phân bổ lại (smartctl -a /dev/ | grep Reallocated_Sector_Ct)
• Kiểm tra lỗi UDMA CRC (smart -a /dev/ | grep UDMA_CRC_Error_Count)
• Kiểm tra tính nhất quán của độ trễ ghi HDD và SSD (đối với các hệ thống TrueNAS dựa trên FreeBSD hoặc dựa trên Linux) Chỉ ổ đĩa chưa được định dạng! diskinfo -ws iostat fio
• Kiểm tra giờ HDD và SSD (smartctl -a /dev/ | grep Power_On_Hours)
• Kiểm tra NVMe percentage đã sử dụng (nvmecontrol logpage -p 2 nvme0 | grep "Percentage used")

    Hãy dành thời gian để tạo một pool trước khi triển khai hệ thống. Đặt nó càng gần với khối lượng công việc trong thế giới thực càng tốt để tiết lộ các vấn đề về ổ đĩa riêng lẻ và giúp xác định xem bố cục nhóm thay thế có phù hợp hơn với khối lượng công việc đó hay không. Hãy thận trọng với các ổ đĩa đã qua sử dụng, vì các nhà cung cấp có thể không trung thực hoặc không được thông báo về tuổi tác và sức khỏe của họ. Xác minh các nhà cung cấp chưa chứng nhận lại ổ đĩa bằng cách kiểm tra số giờ sử dụng cho tất cả các ổ đĩa mới. Nhà cung cấp ổ đĩa cũng có thể không tính giờ lái xe trong quá trình chứng nhận lại, che giấu tuổi của ổ đĩa. Nhóm TrueNAS kiểm tra các thiết bị lưu trữ mà họ bán trong ít nhất 48 giờ trước khi giao hàng. smartctl(8)

Bộ điều khiển lưu trữ

    Các bộ điều khiển lưu trữ phổ biến nhất được sử dụng với TrueNAS là bộ điều hợp bus máy chủ SAS (HBA) 6 và 12 Gbps (gigabit mỗi giây, đôi khi được biểu thị bằng Gb/s) Broadcom (trước đây là Avago, trước đây là LSI). Bộ điều khiển được nhúng trên một số bo mạch chủ nhưng thường là thẻ PCIe có bốn cổng SATA/SAS bên trong hoặc bên ngoài trở lên. LSI 9211 6 Gbps và các anh chị em được đổi thương hiệu với chip LSI SAS2008, chẳng hạn như IBM M1015 và Dell H200, là huyền thoại trong số những người dùng TrueNAS xây dựng hệ thống sử dụng các bộ phận từ thị trường cũ. Flash sử dụng chương trình cơ sở CNTT hoặc Chế độ mục tiêu mới nhất để tắt chức năng RAID tùy chọn được tìm thấy trong chương trình cơ sở IR trên bộ điều khiển Broadcom. Đối với những người có ngân sách, các mẫu mới hơn như dòng Broadcom 9300/9400 cung cấp khả năng SAS 12 Gbps và thậm chí cả khả năng dịch NVMe sang SAS với dòng 9400. TrueNAS bao gồm các lệnh, và để flash hoặc thực hiện các thao tác flash lại trên các thẻ sê-ri 9200, 9300 và 9400. sas2flash sas3flash storcli

    Bộ điều khiển SATA tích hợp phổ biến với các bản dựng nhỏ hơn, nhưng các nhà cung cấp bo mạch chủ phục vụ tốt hơn nhu cầu của người dùng NAS bằng cách bao gồm nhiều hơn bốn giao diện SATA truyền thống. Lưu ý rằng nhiều bo mạch chủ được cung cấp kết hợp giao diện SATA tích hợp 3 Gbps và 6 Gbps và việc chọn sai giao diện có thể ảnh hưởng đến hiệu suất. Nếu bo mạch chủ bao gồm chức năng RAID phần cứng, không sử dụng hoặc định cấu hình nó, nhưng lưu ý rằng việc tắt nó trong BIOS có thể loại bỏ một số chức năng SATA, tùy thuộc vào bo mạch chủ. Hầu hết các vấn đề liên quan đến khả năng tương thích SATA đều rõ ràng ngay lập tức.

    Có vô số cảnh báo chống lại việc sử dụng thẻ RAID phần cứng với TrueNAS. ZFS và TrueNAS cung cấp RAID tích hợp giúp bảo vệ dữ liệu của bạn tốt hơn bất kỳ thẻ RAID phần cứng nào. Bạn có thể sử dụng thẻ RAID phần cứng nếu đó là tất cả những gì bạn có, nhưng có những hạn chế. Đầu tiên và quan trọng nhất, không sử dụng cơ sở RAID của họ nếu thẻ RAID phần cứng của bạn hỗ trợ chế độ HBA, còn được gọi là chế độ truyền qua hoặc JBOD (có một lưu ý trong dánh ách gạch đầu dòng bên dưới). Khi được sử dụng, nó cho phép nó hoạt động không thể phân biệt được với HBA tiêu chuẩn. Nếu thẻ RAID của bạn không có chế độ này, bạn có thể định cấu hình RAID0 cho mọi đĩa trong hệ thống của mình. Mặc dù không phải là thiết lập lý tưởng, nhưng nó hoạt động trong tình huống khẩn cấp. Nếu tái sử dụng thẻ RAID phần cứng với TrueNAS, hãy lưu ý rằng một số thẻ RAID phần cứng có thể:

• Mặt nạ số sê-ri đĩa và thông tin sức khỏe SMART
• Thực hiện chậm hơn so với HBA tương đương
• Gây mất dữ liệu nếu sử dụng bộ nhớ đệm ghi với bộ dự phòng pin chết (BBU)

Bộ mở rộng SAS

    Một hệ thống gắn trực tiếp, trong đó mọi đĩa kết nối với một giao diện trên thẻ điều khiển, là tối ưu nhưng không phải lúc nào cũng có thể. Bộ mở rộng SAS (bộ nhân hoặc bộ chia cổng) cho phép mỗi cổng SAS trên thẻ điều khiển phục vụ nhiều đĩa. Bạn chỉ tìm thấy các bộ mở rộng SAS trên bảng nối đa năng ổ đĩa của máy chủ hoặc JBOD có hơn mười hai khoang ổ đĩa. Ví dụ: TrueNAS JBOD làm lu mờ 90 ổ đĩa chỉ trong bốn đơn vị không gian giá đỡ là không thể thực hiện được nếu không có bộ mở rộng SAS. Hãy tưởng tượng bạn cần bao nhiêu HBA tám cổng để truy cập 90 ổ đĩa mà không cần bộ mở rộng SAS.

    Mặc dù các bộ mở rộng SAS được thiết kế cho đĩa SAS, thường có thể hỗ trợ đĩa SATA thông qua Giao thức đường hầm SATA hoặc STP, nhưng chúng tôi vẫn thích đĩa SAS vì những lý do được đề cập ở trên trong phần NL-SAS(đĩa SATA hoạt động trên bảng nối đa năng dựa trên SAS). Hãy nhớ rằng bạn không thể sử dụng ổ SAS trong cổng được thiết kế cho ổ SATA.

Làm mát thiết bị lưu trữ

    Một nghiên cứu được trích dẫn nhiều trôi nổi trên internet khẳng định rằng nhiệt độ ổ đĩa có ít tác động đến độ tin cậy của ổ đĩa. Nghiên cứu tạo nên một tiêu đề hoặc khởi đầu cuộc trò chuyện tuyệt vời, nhưng đọc kỹ báo cáo cho thấy rằng họ đã thử nghiệm các ổ đĩa trong điều kiện môi trường tối ưu. Nhiệt độ trung bình mà đĩa cứng quay được làm mát tốt đạt được trong quá trình sản xuất là khoảng 28°C và một nghiên cứu cho thấy đĩa trải qua gấp đôi số lần hỏng hóc cho mỗi khi nhiệt độ tăng 12°C. Trước khi thêm làm mát ổ đĩa thường đi kèm với tiếng ồn (đặc biệt là trên các hệ thống cũ hơn), hãy biết rằng bạn có nguy cơ vứt tiền bằng cách chạy máy chủ trong trung tâm dữ liệu hoặc tủ quần áo mà không nhận thấy rằng quạt làm mát bên trong đang ở mức thấp nhất. Chú ý đến nhiệt độ ổ đĩa trong bất kỳ khung máy nào hỗ trợ 16 ổ đĩa trở lên, đặc biệt nếu chúng là thiết kế kỳ lạ, mật độ cao. Mỗi khung gần đều có một số khu vực ấm hơn vì bất kỳ lý do gì. Theo dõi lỗi quạt và xu hướng một số mẫu ổ đĩa 8TB chạy nóng hơn các dung lượng ổ đĩa khác. Nói chung, hãy cố gắng giữ nhiệt độ ổ đĩa dưới thông số kỹ thuật của ổ đĩa do nhà cung cấp cung cấp.