1939年4月8日出生於西安，衡陽耒陽市南門外松茂堂人。父親為中***中央軍委秘書長、中國紅軍電臺的奠基人、紅軍無線電通訊事業的創始人伍雲甫，母親為全國政協常務委員、民政部顧問熊天荊。
1940年2月，隨母親熊天荊到延安。
1944年，在延安第壹完小學習。
1946年，秋轉入延安保育院小學，同年冬，加入兒童團。
1947年3月，隨延安保育院小學轉移，參加二千裏行軍到達太行，被評為行軍模範，入讀西柏坡村機關小學。
1949年，加入中國少年先鋒隊。
1951年，畢業於北京育才小學。
1951年-1957年，在北京101中學讀書，不僅德智體得到全面發展，多次被評為三好學生，而且幾乎是全班最瘦小的他居然在壹次班級的100公尺比賽中獲得第壹名。
1955年4月，加入中國***產主義青年團，多次被評為市、校級“三好學生”，畢業時獲得北京市教育局頒發的銀質獎章。
1957年8月，以優異的成績考進了清華大學工程物理系，攻讀理論核物理專業。
1958年12月，加入中國***產黨。
1959年4月，擔任清華大學工程物理系體協主席。
1960年上半年，在刻苦學習的同時，關心國家大事，積極投身青年工作，當選為清華大學工程物理系學生會副主席，9月成為清華大學工程物理系學生會主席、分團委委員，開始半脫產學習。由於校學生會所有半脫產幹部因為身體不好，於是在1961年9月，被調到清華大學學生會任秘書長，主持學生會的全面工作，配合學校黨委、團委，團結全體同學***同度過困難時期。
1962年4月，清華大學第15屆學生代表大會上，被選為清華大學學生會副主席。1960年9月─1962年9月擔任系學生會和校學生會半脫產幹部。由於擔任了兩年政治輔導員，學習延長壹年。
1964年7月本科畢業，考取清華大學理論核物理專業研究生。
1965年1月，當選第18屆全國學聯主席（1965年—1972年）、第4屆全國青聯常委，同年4月中止學習，調到***青團中央國際聯絡部。
1969年5月，由於文化大革命，開始在河南***青團中央機關“五七”幹校勞動三年並經受“審查”，在***青團的工作崗位上，團結帶領廣大團員青年，認真貫徹黨的路線方針政策，為黨的學生工作和青年工作作出了重要貢獻。
1972年4月，調入國務院辦公室擔任國務院副總理王震秘書，協助王震做好分管國務院的業務工作，與“四人幫”進行了堅決鬥爭。
1975年7月-1982年7月，歷任中國人民解放軍國防科學技術委員會司令部二局參謀、科技部二局副科長、副局長，其間，1979年1月-12月，借調至團中央機關工作，同年5月任第5屆全國青聯副主席、第19屆全國學聯主席（1979年-1981年）。
1982年7月起，任新組建的中國人民解放軍（國務院）國防科學技術工業委員會（現中國人民解放軍總裝備部）副主任、黨委副書記，為當時最年輕的副大軍區正級幹部。
1985年，任國防科學技術工業委員會政治委員、黨委書記兼紀委書記，中國新時代集團第二任董事長。
1988年10月，被中央軍委授予少將軍銜。先後參與和主持我國國防科技工業的領導工作，積極創新，開拓進取，尊重知識，尊重人才，註重加強國防科研試驗部隊政治工作，弘揚“兩彈壹星精神”，為國防科技培養了大批人才。認真貫徹黨的改革開放政策，積極推動國防科技工業的改革、開放和對外合作交流，引進、消化和吸收國外先進技術。在領導和主管核工業的工作中，認真貫徹了中央關於“軍民結合、平戰結合”的方針，積極推進我國核技術、核工業的轉型與發展。在領導國防科技工業的崗位上殫精竭慮，作出了突出貢獻。
1988年12月底，任國家體育運動委員會主任、黨組書記。
1989年12月─1992年7月，在北京體育大學研究生部在職學習碩士學位課程結業。
1990年，領導舉辦第十壹屆亞運會獲得成功。深知體育科技在未來國際體壇極端重要，采取“科技興體”的戰略，在巴塞羅那奧運會中產生第壹批“金牌效應”。中國體操、乒乓球、女子競走、女子遊泳等運動，依靠科技解決技術難點、弱點，收到良好效果，奪得金牌。
1995年-1999年，兼任中國奧林匹克委員會主席。
1996年被美國國立波爾大學授予名譽法學博士。
1999年4月，國家體育總局局長、中國奧委會主席伍紹祖與北京市市長劉淇飛赴瑞士洛桑，向國際奧委會主席薩馬蘭奇呈交了北京市2008年夏季奧運會的申辦書。
1996年、1997年、1999年先後被聘為武漢體育學院、清華大學、南京體育學院客座教授。
1996年，率團參加亞特蘭大奧運會，任中國奧運代表團團長。先後率團出征巴塞羅那奧運會和亞特蘭大奧運會，取得驕人戰績，贏得了國內外的廣泛贊譽。
1998年3月，國務院機構改革，國家體委改為國家體育總局，與中華體育總會壹個機構兩塊牌子，任國家體育總局局長、黨組書記，中國奧委會主席、中華全國體育總會主席和中央精神文明建設指導委員會委員，並兼任北京2000年奧運會申辦委員會執行主席。伍紹祖堅持體育工作正確的政治方向，以民族振興為目標，緊緊圍繞黨的中心工作，改革創新，開創了中國體育事業的新局面。
在國家體委、國家體育總局工作期間，還兼任中國奧委會主席、國際氣功科學聯合會主席和國際武術聯合會主席、榮譽主席等職，為我國的體育事業和申辦奧運做出了貢獻。伍紹祖高度重視全民健身事業，組織制定並實施了“全民健身計劃”。高度重視體育法制建設，為《中華人民***和國體育法》的制定實施作出了重要貢獻。積極推動體育科學研究和科學技術的運用，大力推進體育事業改革和體育產業開發，積極促成體育彩票的發行，使我國體育事業在社會主義市場經濟條件下得到全面、持續、健康的發展。
2000年5月起任中***中央直屬機關工作委員會副書記。
2002年，任中***中央直屬機關工作委員會常務副書記、中直機關黨建研究會會長。主持制定並組織實施了中直機關黨的建設五年規劃，及時向中央黨建工作領導小組匯報工作，為加強中直機關黨的思想、組織、作風、反腐倡廉和制度建設作出了突出貢獻。
2003年3月，成為第十屆全國政協委員，並當選第十屆全國政協常務委員。
2004年4月27日，中直機關僑聯成立，當選為中直機關僑聯第壹屆委員會主席。
2005年3月，當選為全國政協社會和法制委員會副主任，多次帶領調研組赴全國各地考察、調研，提出了許多關系國計民生的提案和調研報告，多次得到中央領導同誌的重要批示。還對人民政協理論進行了深入研究和探索，為貫徹落實中央《關於加強人民政協工作的意見》，推動人民政協制度的發展發揮了重要作用。
2005年1月，任中直機關僑聯主席、中國延安精神研究會常務副會長、中華健康快車基金會副理事長、中國關心下壹代健康體育基金會名譽理事長等職務。深入研究黨史資料，撰寫了大量理論文章，宣傳、弘揚延安精神，為黨的建設提供了寶貴的精神財富。經常深入市縣農村，組織“健康快車火車醫院”為白內障患者免費手術，使12萬多患者重見光明，為全國21個省167所農村學校建成了太陽能浴室，對中國公益慈善事業作出了積極的貢獻。
2012年9月18日15時，因病逝世，享年73歲 。
中***第十二、十三、十四、十五屆中央委員，第三、四屆全國人大代表，第十八、十九屆全國學聯主席，第五屆全國青聯主席，中國核學會第二屆副理事長。