主要的話有兩個原因，主要來源是兩個傳說。壹個是女人讓男人帶綠帽子外出，讓女人的情人知道，然後情人就可以和女人私會了。還有個說法是男子帶青頭巾表示自己和妓女有染，所以後來被稱為對妻子不忠的男人。
第壹個傳說，在古時候有壹對夫妻。妻子她是壹位家庭主婦，雖年紀不小，但是風韻猶存，平時在家裏做點針線活，因生得貌美，很多的人對她垂涎已久。她丈夫是壹個生意人，要經常到外地去做生意。兩口子的日子過得也富裕，在丈夫外出的日子裏，妻子就會有點寂寞難耐。終於有壹天，妻子忍不住跟街市壹個賣布的好上了，在丈夫外出做生意的時候，他們就巫山雲雨地在壹起廝混。有壹次，丈夫回家後三個月都沒有外出，那個賣布的急死了。壹天，丈夫騎著馬到城外打獵去了，經過街市時那賣布的見了非常高興，以為他又要外出做生意，當晚就迫不及待地竄進了妻子的臥室，準備和相好幽會。當晚丈夫回來了，差點把他逮了個正著。
那件事後，妻子就向那賣布的要了壹塊綠色的布料，做了壹頂帽子給丈夫，還和那賣布的約定，只要看到她丈夫帶上綠帽子就可以來了。過了幾天，丈夫又要外出做生意了，妻子立刻拿出那頂綠帽子對丈夫說：“外面的風沙大，戴上就不會弄臟頭發。而且這顏色讓妳看起來很俊，以後妳每次外出我都為妳做壹頂，就像我跟在妳身邊壹樣，妳就不用牽掛我了。”丈夫聽了很開心，然後就高高興興戴上那頂綠帽子，騎著馬得意洋洋穿過街市，到外地做生意去了。當晚，他妻子就和那賣布的睡在他的床上。以後，那個賣布的凡見了那丈夫戴著綠帽子外出時，就去和少婦私會。久而久之，綠帽子的說法就這樣傳下來了。
當時娼妓之家長和親屬男子裹著青頭巾。由此“青頭巾”就與娼妓之男性親屬有了聯系。而且由於青、綠二色又屬於賤色，所以說人們習慣於說“綠頭巾”。而且由於綠色與娼妓有關，所以後來“綠頭巾”專用來指妻子有不貞行為的男人，從而演變成了“綠帽子”。