1958年前後，廣州人民食品廠的前身——廣州制冰廠開始利用技術、設備上的優勢生產雪糕，這是廣州歷史上大機器工業化生產雪糕的開始。最初幾年，制冰廠生產的雪糕只有廠家名稱而無品牌。
五羊雪糕，因為年代的久遠，其問世時間至少存在兩種說法：根據《廣州市誌》的記載進行推測，五羊雪糕的創立應該不會早於1969年；但原廣州市人民食品廠的老員工則堅定地認為，五羊雪糕在文化大革命前就有了，20世紀60年代初應該是五羊雪糕的問世時間。在當時，私人冰室雪糕因為成本較高，當時價位從幾角錢壹直賣到壹塊五，而五羊雪糕的甜筒零售單價則是三角四分，價錢有較大競爭力。當年，工廠的科技人員和工人師傅選擇蛋卷來承載雪糕，都是全人工親手制成。
60年代前期，五羊雪糕的市場需求與日俱增，食品廠職工在資金匱乏的情況下，自己動手解決冷源緊缺的問題，曾先後自行研制、生產了4臺生產能力達到20萬大卡的冷凍機。
文化大革命時期，五羊雪糕因為“五羊”品牌被政府認為具有“封建意識”而被勒令改名，文革結束後才恢復。 1986年2月，廣州人民食品廠與廣東國際食品有限公司、香港牛奶（廣州冰琪淋）有限公司（現牛奶國際）三方簽訂了合資合同，籌備成立廣州冰凍食品有限公司，坐落在東華南路。當時“五羊牌雪糕”及“Five Rams Ice Cream”的字體和顏色，甚至底下的藍色間條都與香港牛奶公司非常相似，包裝的樣式也很接近。
1988年，五羊雪糕獲得首屆中國食品博覽會冷飲類唯壹金獎。五羊雪糕產品曾獲得廣東省、廣州市優質產品稱號***30多項。
1995年6月，瑞士雀巢牛奶控股有限公司和廣州人民食品廠合資成立“廣州雀巢牛奶有限公司”，投資總額及註冊資金均為3229萬美元，經營期限50年。
1997年9月，香港牛奶公司以4000萬美元出售49%的股權給雀巢公司，從而退出雪糕和冷凍產品制造業。由於“牛奶公司”的品牌深入民心，故香港雀巢牛奶繼續使用“牛奶公司”壹詞，並加上“雀巢”以資識別。
因原合資方香港牛奶公司已將雪糕制造業務售予雀巢公司，1999年5月17日，廣州人民食品廠通過股權轉讓，與雀巢有限公司合作經營廣州冰凍食品有限公司，成為雀巢有限公司在中國投資的營運公廠之壹，股份占97%，行政上隸屬雀巢（中國）有限公司，由雀巢中國獨家管理，收購後“五羊牌雪糕”品牌獲保留，與雀巢雪糕系列壹起生產。Ronald Houston（郝思進）擔任廣州冷凍食品有限公司廠區經理，2005年12月起任廣州冷凍食品有限公司總經理、廣州雀巢牛奶有限公司總經理。
雀巢合資五羊後, 每年都有新產品推出，而五羊的商標也和雀巢雪糕的商標趨向壹致：紅色的“五羊牌”三個字­外面有壹個藍橢圓圈住，而雀巢也是紅色字，外面是淺藍色梯形；部分產品的名稱和設計也與香港雀巢非常接近，淇趣系列的包裝更保持香港牛奶公司時的漫畫設計式樣。相比起雀巢系列雪糕，五羊系列的價錢較為大眾化，價格壹直維持在低水平。公司也引進先進生產線，如生產雀巢核心戰略產品花心筒的Big Drum生產線，建立新的產品開發實驗室，促進新產品開發。
2006年的市場數據顯示，2005年五羊牌雪糕較往年增長23%，雀巢牌雪糕增長30%。雀巢、五羊牌雪糕產品保持了市場的領先地位。
2008年，五羊雪糕廠搬至永和開發區，舊廠房壹直空置至2010年。雪糕廠舊址所在的東華南路，80年代前屬於市中心外（附近是原廣九火車站），因城市發展，附近已被民宅和商鋪包圍。因雪糕廠生產的化工設備對附近民居有安全隱患，故公司決定在08年搬遷，只在舊廠房對面保留辦事處。
2010年8月，五羊雪糕舊廠房副樓被拆卸，主樓已售予新業主廣州輕工工貿集團，開始被改建為酒店。11年9月完工。
2011年7月，五羊雪糕全線產品升價，20多年來售賣1元人民幣的紅豆雪糕也加到了1.5元。
另外，雀巢公司壹直沒有為五羊雪糕設立官方網站。