談荔孫的祖父談靜山先在山陽縣作幕僚，後入川任知府，卸任後歸裏定居。談靜山目睹清朝官場的爾虞我詐，貪汙腐敗，對仕途心灰意冷，壹再叮囑子孫“不入仕途”，又感於日本明治維新後的飛速發展，期望子孫專註實業，並在山陽縣捐資創辦談氏東文學堂，教授近代科技文化知識，延聘日籍教師授課。談荔孫1892年入祖父創辦的學堂學習。東鄰的巨變，與中國的積貧積弱，備受列強淩辱欺侮，形成巨大反差，深深刺激著少年談荔孫，使他從小樹立起為民富國強而發憤努力的遠大誌向。1898年，他考入南京江南高等學堂學習，畢業後被兩江總督端方以官費旅往日本留學。他遵循“不入仕途”的祖訓，挑選了日本東京高等商業學校（今日本東京商科大學），攻讀銀行經濟專科，決心學成回國後從事金融事業，發展經濟，服務社會。
1908年4月，談荔孫接受張 的聘請，回國就任江南高、中兩等商業學堂教務長兼銀行學教習。教學中，他開辦銀行實踐室，讓學生在實踐中學習知識，掌握技能，培養了壹批國內最早的銀行會計人才。是年8月，他以優等成績考取清政府商科舉人，被授予度支部（管理財政的機構）主事，後改任清銀行稽核。辛亥革命爆發後，他供職於中華民國臨時政府財政部，主管軍用鈔票 事宜。1912年，大清銀行改組為中國銀行，他任該行計算局局長，積極在全國推行新式會計制度，被廣泛采用。後轉任中國銀行國庫局長，親自擬定了國庫管理制度。1914年，他赴南京籌建中國銀行分行，兼任行長。後又在漢口、九江、安慶等地設立了分支銀行。1916年，京津地區發生擠兌中國銀行、交通銀行兩家銀行發行紙幣的風潮，並波及長江流域。為維持中國銀行信譽，他力排眾議，主張無限制兌換紙幣，並得到北洋政府副總統、江蘇督軍馮國璋支持，以省庫財力為後盾，使長江流域的擠兌風潮很快平息。次年，他被馮國璋任命為北京中國銀行行長。