MD5的全稱是Message-Digest Algorithm 5,在90年代初由MIT的計算機科學實驗室和RSA Data Security Inc 發明,由 MD2/MD3/MD4 發展而來的。MD5的實際應用是對壹段Message(字節串)產生fingerprint(指紋),可以防止被“篡改”。舉個例子,天天安全網提供下載的MD5校驗值軟件WinMD5.zip,其MD5值是1e07ab3591d25583eff5129293dc98d2,但妳下載該軟件後計算MD5 發現其值卻是81395f50b94bb4891a4ce4ffb6ccf64b,那說明該ZIP已經被他人修改過,那還用不用該軟件那妳可自己琢磨著看啦。
MD5廣泛用於加密和解密技術上,在很多操作系統中,用戶的密碼是以MD5值(或類似的其它算法)的方式保存的,用戶Login的時候,系統是把用戶輸入的密碼計算成MD5值,然後再去和系統中保存的MD5值進行比較,來驗證該用戶的合法性。
MD5校驗值軟件WinMD5.zip漢化版,使用極其簡單,運行該軟件後,把需要計算MD5值的文件用鼠標拖到正在處理的框裏邊,下面將直接顯示其MD5值以及所測試的文件名稱,可以保留多個文件測試的MD5值,選定所需要復制的MD5值,用CTRL+C就可以復制到其它地方了。
參考資料:
/question/3933661.htmlCRC算法原理及C語言實現 -來自(我愛單片機)
摘 要 本文從理論上推導出CRC算法實現原理,給出三種分別適應不同計算機或微控制器硬件環境的C語言程序。讀者更能根據本算法原理,用不同的語言編寫出獨特風格更加實用的CRC計算程序。
關鍵詞 CRC 算法 C語言
1 引言
循環冗余碼CRC檢驗技術廣泛應用於測控及通信領域。CRC計算可以靠專用的硬件來實現,但是對於低成本的微控制器系統,在沒有硬件支持下實現CRC檢驗,關鍵的問題就是如何通過軟件來完成CRC計算,也就是CRC算法的問題。
這裏將提供三種算法,它們稍有不同,壹種適用於程序空間十分苛刻但CRC計算速度要求不高的微控制器系統,另壹種適用於程序空間較大且CRC計算速度要求較高的計算機或微控制器系統,最後壹種是適用於程序空間不太大,且CRC計算速度又不可以太慢的微控制器系統。
2 CRC簡介
CRC 校驗的基本思想是利用線性編碼理論,在發送端根據要傳送的k位二進制碼序列,以壹定的規則產生壹個校驗用的監督碼(既CRC碼)r位,並附在信息後邊,構成壹個新的二進制碼序列數***(k+r)位,最後發送出去。在接收端,則根據信息碼和CRC碼之間所遵循的規則進行檢驗,以確定傳送中是否出錯。
16位的CRC碼產生的規則是先將要發送的二進制序列數左移16位(既乘以 )後,再除以壹個多項式,最後所得到的余數既是CRC碼,如式(2-1)式所示,其中B(X)表示n位的二進制序列數,G(X)為多項式,Q(X)為整數,R(X)是余數(既CRC碼)。
(2-1)
求CRC 碼所采用模2加減運算法則,既是不帶進位和借位的按位加減,這種加減運算實際上就是邏輯上的異或運算,加法和減法等價,乘法和除法運算與普通代數式的乘除法運算是壹樣,符合同樣的規律。生成CRC碼的多項式如下,其中CRC-16和CRC-CCITT產生16位的CRC碼,而CRC-32則產生的是32位的CRC碼。本文不討論32位的CRC算法,有興趣的朋友可以根據本文的思路自己去推導計算方法。
CRC-16:(美國二進制同步系統中采用)
CRC-CCITT:(由歐洲CCITT推薦)
CRC-32:
接收方將接收到的二進制序列數(包括信息碼和CRC碼)除以多項式,如果余數為0,則說明傳輸中無錯誤發生,否則說明傳輸有誤,關於其原理這裏不再多述。用軟件計算CRC碼時,接收方可以將接收到的信息碼求CRC碼,比較結果和接收到的CRC碼是否相同。
3 按位計算CRC
對於壹個二進制序列數可以表示為式(3-1):
(3-1)
求此二進制序列數的CRC碼時,先乘以 後(既左移16位),再除以多項式G(X),所得的余數既是所要求的CRC碼。如式(3-2)所示:
(3-2)
可以設: (3-3)
其中 為整數, 為16位二進制余數。將式(3-3)代入式(3-2)得:
(3-4)
再設: (3-5)
其中 為整數, 為16位二進制余數,將式(3-5)代入式(3-4),如上類推,最後得到:
(3-6)
根據CRC的定義,很顯然,十六位二進制數 既是我們要求的CRC碼。
式(3 -5)是編程計算CRC的關鍵,它說明計算本位後的CRC碼等於上壹位CRC碼乘以2後除以多項式,所得的余數再加上本位值除以多項式所得的余數。由此不難理解下面求CRC碼的C語言程序。*ptr指向發送緩沖區的首字節,len是要發送的總字節數,0x1021與多項式有關。
[code]
unsigned int cal_crc(unsigned char *ptr, unsigned char len) {
unsigned char i;
unsigned int crc=0;
while(len--!=0) {
for(i=0x80; i!=0; i/=2) {
if((crc&0x8000)!=0) {crc*=2; crc^=0x1021;} /* 余式CRC乘以2再求CRC */
else crc*=2;
if((*ptr&i)!=0) crc^=0x1021; /* 再加上本位的CRC */
}
ptr++;
}
return(crc);
}
[code]
按位計算CRC雖然代碼簡單,所占用的內存比較少,但其最大的缺點就是壹位壹位地計算會占用很多的處理器處理時間,尤其在高速通訊的場合,這個缺點更是不可容忍。因此下面再介紹壹種按字節查表快速計算CRC的方法。
4 按字節計算CRC
不難理解,對於壹個二進制序列數可以按字節表示為式(4-1),其中 為壹個字節(***8位)。
(4-1)
求此二進制序列數的CRC碼時,先乘以 後(既左移16位),再除以多項式G(X),所得的余數既是所要求的CRC碼。如式(4-2)所示:
(4-2)
可以設: (4-3)
其中 為整數, 為16位二進制余數。將式(4-3)代入式(4-2)得:
(4-4)
因為:
(4-5)
其中 是 的高八位, 是 的低八位。將式(4-5)代入式(4-4),經整理後得:
(4-6)
再設: (4-7)
其中 為整數, 為16位二進制余數。將式(4-7)代入式(4-6),如上類推,最後得:
(4-
很顯然,十六位二進制數 既是我們要求的CRC碼。
式(4 -7)是編寫按字節計算CRC程序的關鍵,它說明計算本字節後的CRC碼等於上壹字節余式CRC碼的低8位左移8位後,再加上上壹字節CRC右移8位(也既取高8位)和本字節之和後所求得的CRC碼,如果我們把8位二進制序列數的CRC全部計算出來,放如壹個表裏,采用查表法,可以大大提高計算速度。由此不難理解下面按字節求CRC碼的C語言程序。*ptr指向發送緩沖區的首字節,len是要發送的總字節數,CRC余式表是按0x11021多項式求出的。
[code]
unsigned int cal_crc(unsigned char *ptr, unsigned char len) {
unsigned int crc;
unsigned char da;
unsigned int crc_ta[256]={ /* CRC余式表 */
0x0000, 0x1021, 0x2042, 0x3063, 0x4084, 0x50a5, 0x60c6, 0x70e7,
0x8108, 0x9129, 0xa14a, 0xb16b, 0xc18c, 0xd1ad, 0xe1ce, 0xf1ef,
0x 1231, 0x0210, 0x3273, 0x2252, 0x52b5, 0x4294, 0x72f7, 0x62d6,
0x9339, 0x8318, 0xb37b, 0xa35a, 0xd3bd, 0xc39c, 0xf3ff, 0xe3de,
0x2462, 0x3443, 0x0420, 0x1401, 0x64e6, 0x74c7, 0x44a4, 0x5485,
0xa56a, 0xb54b, 0x8528, 0x9509, 0xe5ee, 0xf5cf, 0xc5ac, 0xd58d,
0x3653, 0x2672, 0x1611, 0x0630, 0x76d7, 0x66f6, 0x5695, 0x46b4,
0xb75b, 0xa77a, 0x9719, 0x8738, 0xf7df, 0xe7fe, 0xd79d, 0xc7bc,
0x48c4, 0x58e5, 0x6886, 0x78a7, 0x0840, 0x1861, 0x2802, 0x3823,
0xc9cc, 0xd9ed, 0xe98e, 0xf9af, 0x8948, 0x9969, 0xa90a, 0xb92b,
0x5af5, 0x4ad4, 0x7ab7, 0x6a96, 0x1a71, 050, 0x3a33, 0x2a12,
0xdbfd, 0xcbdc, 0xfbbf, 0xeb9e, 0x9b79, 0x8b58, 0xbb3b, 0xab1a,
0x6ca6, 0x7c87, 0x4ce4, 0x5cc5, 0x2c22, 0x3c03, 0x0c60, 0x1c41,
0xedae, 0xfd8f, 0xcdec, 0xddcd, 0xad2a, 0xbd0b, 0x8d68, 0x9d49,
0x7e97, 0x6eb6, 0x5ed5, 0x4ef4, 0x3e13, 0x2e32, 0x1e51, 0x0e70,
0xff9f, 0xefbe, 0xdfdd, 0xcffc, 0xbf1b, 0xaf3a, 0x9f59, 0x8f78,
0x9188, 0x81a9, 0xb1ca, 0xa1eb, 0xd10c, 0xc12d, 0xf14e, 0xe16f,
0x1080, 0x00a1, 0x30c2, 0x20e3, 0x5004, 0x4025, 0x7046, 0x6067,
0x83b9, 0x9398, 0xa3fb, 0xb3da, 0xc33d, 0xd31c, 0xe37f, 0xf35e,
0x02b1, 0x1290, 0x22f3, 0x32d2, 0x4235, 0x5214, 0x6277, 0x7256,
0xb5ea, 0xa5cb, 0x95a8, 0x8589, 0xf56e, 0xe54f, 0xd52c, 0xc50d,
0x34e2, 0x24c3, 0x14a0, 0x0481, 0x7466, 0x6447, 0x5424, 0x4405,
0xa7db, 0xb7fa, 0x8799, 0x97b8, 0xe75f, 0xf77e, 0xc71d, 0xd73c,
0x26d3, 0x36f2, 0x0691, 0x16b0, 0x6657, 0x7676, 0x4615, 0x5634,
0xd94c, 0xc96d, 0xf90e, 0xe92f, 0x99c8, 0x89e9, 0xb98a, 0xa9ab,
0x5844, 0x4865, 0x7806, 0x6827, 0x18c0, 0x08e1, 0x3882, 0x28a3,
0xcb7d, 0xdb5c, 0xeb3f, 0xfb1e, 0x8bf9, 0x9bd8, 0xabbb, 0xbb9a,
0x4a75, 0x5a54, 0x6a37, 0x7a16, 0f1, 0x1ad0, 0x2ab3, 0x3a92,
0xfd2e, 0xed0f, 0xdd6c, 0xcd4d, 0xbdaa, 0xad8b, 0x9de8, 0x8dc9,
0x7c26, 0x6c07, 0x5c64, 0x4c45, 0x3ca2, 0x2c83, 0x1ce0, 0x0cc1,
0xef1f, 0xff3e, 0xcf5d, 0xdf7c, 0xaf9b, 0xbfba, 0x8fd9, 0x9ff8,
0x6e17, 0x7e36, 0x4e55, 0x5e74, 0x2e93, 0x3eb2, 0x0ed1, 0x1ef0
};
crc=0;
while(len--!=0) {
da=(uchar) (crc/256); /* 以8位二進制數的形式暫存CRC的高8位 */
crc<<=8; /* 左移8位,相當於CRC的低8位乘以 */
crc^=crc_ta[da^*ptr]; /* 高8位和當前字節相加後再查表求CRC ,再加上以前的CRC */
ptr++;
}
return(crc);
}
很顯然,按字節求CRC時,由於采用了查表法,大大提高了計算速度。但對於廣泛運用的8位微處理器,代碼空間有限,對於要求256個CRC余式表(***512字節的內存)已經顯得捉襟見肘了,但CRC的計算速度又不可以太慢,因此再介紹下面壹種按半字節求CRC的算法。
5 按半字節計算CRC
同樣道理,對於壹個二進制序列數可以按字節表示為式(5-1),其中 為半個字節(***4位)。
(5-1)
求此二進制序列數的CRC碼時,先乘以 後(既左移16位),再除以多項式G(X),所得的余數既是所要求的CRC碼。如式(4-2)所示:
(5-2)
可以設: (5-3)
其中 為整數, 為16位二進制余數。將式(5-3)代入式(5-2)得:
(5-4)
因為:
(5-5)
其中 是 的高4位, 是 的低12位。將式(5-5)代入式(5-4),經整理後得:
(5-6)
再設: (5-7)
其中 為整數, 為16位二進制余數。將式(5-7)代入式(5-6),如上類推,最後得:
(5-
很顯然,十六位二進制數 既是我們要求的CRC碼。
式(5 -7)是編寫按字節計算CRC程序的關鍵,它說明計算本字節後的CRC碼等於上壹字節CRC碼的低12位左移4位後,再加上上壹字節余式CRC右移4位(也既取高4位)和本字節之和後所求得的CRC碼,如果我們把4位二進制序列數的CRC全部計算出來,放在壹個表裏,采用查表法,每個字節算兩次(半字節算壹次),可以在速度和內存空間取得均衡。由此不難理解下面按半字節求CRC碼的C語言程序。*ptr指向發送緩沖區的首字節,len是要發送的總字節數,CRC余式表是按0x11021多項式求出的。
unsigned cal_crc(unsigned char *ptr, unsigned char len) {
unsigned int crc;
unsigned char da;
unsigned int crc_ta[16]={ /* CRC余式表 */
0x0000,0x1021,0x2042,0x3063,0x4084,0x50a5,0x60c6,0x70e7,
0x8108,0x9129,0xa14a,0xb16b,0xc18c,0xd1ad,0xe1ce,0xf1ef,
}
crc=0;
while(len--!=0) {
da=((uchar)(crc/256))/16; /* 暫存CRC的高四位 */
crc<<=4; /* CRC右移4位,相當於取CRC的低12位)*/
crc^=crc_ta[da^(*ptr/16)]; /* CRC的高4位和本字節的前半字節相加後查表計算CRC,
然後加上上壹次CRC的余數 */
da=((uchar)(crc/256))/16; /* 暫存CRC的高4位 */
crc<<=4; /* CRC右移4位, 相當於CRC的低12位) */
crc^=crc_ta[da^(*ptr&0x0f)]; /* CRC的高4位和本字節的後半字節相加後查表計算CRC,
然後再加上上壹次CRC的余數 */
ptr++;
}
return(crc);
}
[code]
5 結束語
以上介紹的三種求CRC的程序,按位求法速度較慢,但占用最小的內存空間;按字節查表求CRC的方法速度較快,但占用較大的內存;按半字節查表求CRC的方法是前兩者的均衡,即不會占用太多的內存,同時速度又不至於太慢,比較適合8位小內存的單片機的應用場合。以上所給的C程序可以根據各微處理器編譯器的特點作相應的改變,比如把CRC余式表放到程序存儲區內等。[/code]
hjzgq 回復於:2003-05-15 14:12:51
CRC32算法學習筆記以及如何用java實現 出自:csdn bootcool 2002年10月19日 23:11 CRC32算法學習筆記以及如何用java實現
CRC32算法學習筆記以及如何用java實現
壹:說明
論壇上關於CRC32校驗算法的詳細介紹不多。前幾天偶爾看到Ross N. Williams的文章,總算把CRC32算法的來龍去脈搞清楚了。本來想把原文翻譯出來,但是時間參促,只好把自己的壹些學習心得寫出。這樣大家可以更快的了解CRC32的主要思想。由於水平有限,還懇請大家指正。原文可以訪問:]
三: 如何用軟件實現CRC算法
現在我們主要問題就是如何實現CRC校驗,編碼和解碼。用硬件實現目前是不可能的,我們主要考慮用軟件實現的方法。
以下是對作者的原文的翻譯:
我們假設有壹個4 bits的寄存器,通過反復的移位和進行CRC的除法,最終該寄存器中的值就是我們所要求的余數。
3 2 1 0 Bits
+---+---+---+---+
Pop <-- | | | | | <----- Augmented message(已加0擴張的原始數據)
+---+---+---+---+
1 0 1 1 1 = The Poly
(註意: The augmented message is the message followed by W zero bits.)
依據這個模型,我們得到了壹個最最簡單的算法:
把register中的值置0.
把原始的數據後添加r個0.
While (還有剩余沒有處理的數據)
Begin
把register中的值左移壹位,讀入壹個新的數據並置於register的0 bit的位置。
If (如果上壹步的左移操作中的移出的壹位是1)
register = register XOR Poly.
End
現在的register中的值就是我們要求的crc余數。
我的學習筆記:
可為什麽要這樣作呢?我們從下面的實例來說明:
1100001010
_______________
10011 11010110110000
10011,,.,,....
-----,,.,,....
-》 10011,.,,....
10011,.,,....
-----,.,,....
-》 00001.,,....
00000.,,....
-----.,,....
00010,,....
00000,,....
-----,,....
00101,....
00000,....
我們知道G(x)的最高位壹定是1,而商1還是商0是由被除數的最高位決定的。而我們並不關心商究竟是多少,我們關心的是余數。例如上例中的G(x)有5 位。我們可以看到每壹步作除法運算所得的余數其實就是被除數的最高位後的四位於G(x)的後四位XOR而得到的。那被除數的最高位有什麽用呢?我們從打記號的兩個不同的余數就知道原因了。當被除數的最高位是1時,商1然後把最高位以後的四位於G(x)的後四位XOR得到余數;如果最高位是0,商0然後把被除數的最高位以後的四位於G(x)的後四位XOR得到余數,而我們發現其實這個余數就是原來被除數最高位以後的四位的值。也就是說如果最高位是0就不需要作XOR的運算了。到這我們總算知道了為什麽先前要這樣建立模型,而算法的原理也就清楚了。
以下是對作者的原文的翻譯:
可是這樣實現的算法卻是非常的低效。為了加快它的速度,我們使它壹次能處理大於4 bit的數據。也就是我們想要實現的32 bit的CRC校驗。我們還是假設有和原來壹樣的壹個4 "bit"的register。不過它的每壹位是壹個8 bit的字節。
3 2 1 0 Bytes
+----+----+----+----+
Pop <-- | | | | | <----- Augmented message
+----+----+----+----+
1<------32 bits------> (暗含了壹個最高位的“1”)
根據同樣的原理我們可以得到如下的算法:
While (還有剩余沒有處理的數據)
Begin
檢查register頭字節,並取得它的值
求不同偏移處多項式的和
register左移壹個字節,最右處存入新讀入的壹個字節
把register的值和多項式的和進行XOR運算
End
我的學習筆記:
可是為什麽要這樣作呢? 同樣我們還是以壹個簡單的例子說明問題:
假設有這樣的壹些值:
當前register中的值: 01001101
4 bit應該被移出的值:1011
生成多項式為: 101011100
Top Register
---- --------
1011 01001101
1010 11100 + (CRC XOR)
-------------
0001 10101101
首4 bits 不為0說明沒有除盡,要繼續除:
0001 10101101
1 01011100 + (CRC XOR)
-------------
0000 11110001
^^^^
首4 bits 全0說明不用繼續除了。
那按照算法的意思作又會有什麽樣的結果呢?
1010 11100
1 01011100+
-------------
1011 10111100
1011 10111100
1011 01001101+
-------------
0000 11110001
現在我們看到了這樣壹個事實,那就是這樣作的結果和上面的結果是壹致的。這也說明了算法中為什麽要先把多項式的值按不同的偏移值求和,然後在和 register進行異或運算的原因了。另外我們也可以看到,每壹個頭字節對應壹個值。比如上例中:1011,對應01001101。那麽對於 32 bits 的CRC 頭字節,依據我們的模型。頭8 bit就該有 2^8個,即有256個值與它對應。於是我們可以預先建立壹個表然後,編碼時只要取出輸入數據的頭壹個字節然後從表中查找對應的值即可。這樣就可以大大提高編碼的速度了。
+----+----+----+----+
+-----< | | | | | <----- Augmented message
| +----+----+----+----+
| ^
| |
| XOR
| |
| 0+----+----+----+----+
v +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
+-----> +----+----+----+----+
+----+----+----+----+
+----+----+----+----+
+----+----+----+----+
+----+----+----+----+
255+----+----+----+----+
以下是對作者的原文的翻譯:
上面的算法可以進壹步優化為:
1:register左移壹個字節,從原始數據中讀入壹個新的字節.
2:利用剛從register移出的字節作為下標定位 table 中的壹個32位的值
3:把這個值XOR到register中。
4:如果還有未處理的數據則回到第壹步繼續執行。
用C可以寫成這樣:
r=0;
while (len--)
r = ((r << | p*++) ^ t[(r >> 24) & 0xFF];
可是這壹算法是針對已經用0擴展了的原始數據而言的。所以最後還要加入這樣的壹個循環,把W個0加入原始數據。
我的學習筆記:
註意不是在預處理時先加入W個0,而是在上面算法描述的循環後加入這樣的處理。
for (i=0; i<W/4; i++)
r = (r << ^ t[(r >> 24) & 0xFF];
所以是W/4是因為若有W個0,因為我們以字節(8位)為單位的,所以是W/4個0 字節。註意不是循環w/8次
以下是對作者的原文的翻譯:
1:對於尾部的w/4個0字節,事實上它們的作用只是確保所有的原始數據都已被送入register,並且被算法處理。
2:如果register中的初始值是0,那麽開始的4次循環,作用只是把原始數據的頭4個字節送入寄存器。(這要結合table表的生成來看)。就算 register的初始值不是0,開始的4次循環也只是把原始數據的頭4個字節把它們和register的壹些常量XOR,然後送入register中。
3A xor B) xor C = A xor (B xor C)
總上所述,原來的算法可以改為:
+-----<Message (non augmented)
|
v 3 2 1 0 Bytes
| +----+----+----+----+
XOR----<| | | | |
| +----+----+----+----+
| ^
| |
| XOR
| |
| 0+----+----+----+----+
v +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
| +----+----+----+----+
+----->+----+----+----+----+
+----+----+----+----+
+----+----+----+----+
+----+----+----+----+
+----+----+----+----+
255+----+----+----+----+
算法:
1:register左移壹個字節,從原始數據中讀入壹個新的字節.
2:利用剛從register移出的字節和讀入的新字節XOR從而產生定位下標,從table中取得相應的值。
3:把該值XOR到register中
4:如果還有未處理的數據則回到第壹步繼續執行。
我的學習筆記:
對這壹算法我還是不太清楚,或許和XOR的性質有關,懇請大家指出為什麽?
謝謝。
到這,我們對CRC32的算法原理和思想已經基本搞清了。下章,我想著重根據算法思想用java語言實現。
hjzgq 回復於:2003-05-15 14:14:51
數學算法壹向都是密碼加密的核心,但在壹般的軟路加密中,它似乎並不太為人們所關心,因為大多數時候軟體加密本身實現的都是壹種編程上的技巧。但近幾年來隨著序列號加密程序的普及,數學算法在軟體加密中的比重似乎是越來越大了。
我們先來看看在網路上大行其道的序列號加密的工作原理。當用戶從網路上下載某個Shareware -- ***享軟體後,壹般都有使用時間上的限制,當過了***享軟體的試用期後,妳必須到這個軟體的公司去註冊後方能繼續使用。註冊過程壹般是用戶把自己的私人信息(壹般主要指名字)連同信用卡號碼告訴給軟體公司,軟體公司會根據用戶的信息計算出壹個序列碼出來,在用戶得到這個序列碼後,按照註冊需要的步驟在軟體中輸入註冊信息和註冊碼,其註冊信息的合法性由軟體驗證通過後,軟體就會取消掉本身的各種限制。這種加密實現起來比較簡單,不需要額外的成本,用戶購買也非常方便,在網上的軟體80%都是以這種方式來保護的。
我們可以註意到軟體驗證序列號的合法性過程,其實就是驗證用戶名與序列號之間的換算關系是否正確的過程。其驗證最基本的有兩種,壹種是按用戶輸入的姓名來生成註冊碼,再同用戶輸入的註冊碼相比較,公式表示如下:
序列號 = F(用戶名稱)