Tính tổng kiểm tra CRC32

Tổng kiểm tra CRC32 là gì

Kiểm tra dư thừa vòng (cyclic redundancy check, CRC) coi dữ liệu đầu vào như một đa thức nhị phân rất dài, chia nó cho một đa thức sinh cố định và giữ lại phần dư. Với CRC-32, phần dư dài 32 bit, thường được viết thành 8 chữ số hex hoặc một số không dấu từ 0 đến 4.294.967.295. Gần như mọi thay đổi trên dữ liệu đều làm phần dư thay đổi.

CRC được thiết kế cho những lỗi mà cáp, sóng vô tuyến và ổ đĩa ngoài thực tế gây ra. CRC-32 phát hiện mọi chuỗi bit lỗi liên tiếp (burst) dài tới 32 bit, và một lỗi ngẫu nhiên chỉ lọt qua khoảng một lần trong 4,3 tỷ trường hợp. CRC-32 cũng được tính rất nhanh, đó là lý do nó được tích hợp sẵn trong ZIP, gzip, PNG và khung Ethernet.

CRC-32 và CRC-32C

Cả hai đều bắt đầu từ 0xFFFFFFFF, xử lý các bit của mỗi byte từ bit có trọng số thấp nhất trước và đảo tất cả các bit của giá trị cuối cùng; chỉ có đa thức là khác nhau, nên cùng một dữ liệu sẽ cho ra hai kết quả không liên quan gì đến nhau. Biến thể thứ nhất là thứ mà hầu hết các công cụ gọi là "CRC32" và được ghi trong danh mục với tên CRC-32/ISO-HDLC. CRC-32C về sau được các giao thức lưu trữ và mạng áp dụng nhờ khả năng phát hiện lỗi tốt hơn. Google Cloud Storage báo cáo CRC-32C, còn Amazon S3 báo cáo một trong hai biến thể, ở dạng Base64 của bốn byte theo thứ tự big-endian, đúng như những gì đầu ra Base64 hiển thị.

Tổng kiểm tra, không phải biện pháp bảo mật

CRC bảo vệ trước sự cố ngẫu nhiên, không phải trước tấn công. Đây là một hàm tuyến tính, nên bất kỳ ai cũng có thể sửa một tệp rồi điều chỉnh bốn byte để giữ nguyên CRC-32 của nó. Vì vậy, CRC khớp không chứng minh được điều gì về việc dữ liệu có bị cố ý can thiệp hay không. Để kiểm tra tệp tải về, hãy so sánh mã băm SHA-256 lấy từ nguồn đáng tin cậy; để chứng minh ai đã gửi một thông điệp, hãy dùng HMAC.

32 bit cũng quá ít để định danh dữ liệu. Chỉ trong khoảng 77.000 tệp ngẫu nhiên, xác suất có hai tệp trùng CRC-32 đã lên tới 50%, vì vậy đừng dùng nó làm ID duy nhất hay làm khóa để loại bỏ trùng lặp. Ở những nơi không có kẻ tấn công, MD5 hoặc SHA-256 là dấu vân tay tốt hơn nhiều.

CRC32 trong mã nguồn

# Python: zlib.crc32 trả về số không dấu trong Python 3;
# "& 0xffffffff" chỉ cần cho Python 2
import zlib
format(zlib.crc32(b'123456789'), '08x')    # 'cbf43926'

// Node.js 20.15+ và 22.2+
require('zlib').crc32('123456789').toString(16).padStart(8, '0')   // 'cbf43926'

// Go (import "hash/crc32")
crc32.ChecksumIEEE(data)                                   // CRC-32
crc32.Checksum(data, crc32.MakeTable(crc32.Castagnoli))    // CRC-32C

// Java: java.util.zip.CRC32, và java.util.zip.CRC32C từ Java 9

// PHP
sprintf('%08x', crc32('123456789'));   // 'cbf43926'
hash('crc32b', '123456789');           // 'cbf43926', cùng là CRC-32
hash('crc32c', '123456789');           // 'e3069283'
hash('crc32', '123456789');            // '181989fc', một CRC khác

Hãy chú ý tên gọi trong PHP: thuật toán băm có tên crc32 không phải là tổng kiểm tra của ZIP mà là CRC của bzip2, được in theo thứ tự byte đảo ngược. Hãy dùng crc32b hoặc hàm crc32() để khớp với ZIP, gzip và công cụ này. Lệnh Unix cksum lại dùng thêm một biến thể khác nữa, có trộn cả độ dài tệp vào, nên con số của nó cũng không khớp với hai biến thể trên.