張樹聲，字振軒，於道光四年（1824年）出生於肥西張老圩（今屬紫蓬山管委會）。張氏家族是當地壹個大家族，據家譜記載：張氏為清河郡，百忍堂。先世自江西遷合肥之南鄉；明季有鏊公者，再由南鄉遷西鄉，世居周公山下。至張樹聲壹代，已傳衍十壹世。張樹聲的父親名張蔭榖，是壹位取得郡庠生 名號的讀書人。張樹聲自幼生長於壹個書香門第，其父治學以實行為先，沈潛經史，貫通大義，尤其側重於經世濟時之務，不屑於凡夫俗儒、記誦詞藻的風氣。
張蔭榖學業勤勉，但科場卻始終不順，三應秋試皆未能中式。由於家口眾多，食指浩繁，生計日漸蹙迫。無奈之下，他只得放棄舉業，為生計衣食奔忙。每晚便教諸子讀書，授解課文，剖析意旨，講解不倦。同時還要他們臨帖習字，眾子在嚴父訓導下，不敢懈怠，也能旦夕勉勵，學識皆日漸精進，為以後事業的發展打下了良好的文化基礎。
張樹聲兄弟九人，他排行居長，二弟樹珊、三弟樹槐、五弟樹屏，後來皆為淮軍將領。樹聲受到家學薰陶，誌向高遠。少年時期，他刻苦用功，績學勵行，除重點攻讀“四書”“五經”外，於天文、歷算，地理、兵法等都有著濃厚的興趣，在同時學友中甚為傑出，深得學界耆宿的贊賞，預言此子日後必成大器。不久，樹聲即以博學冠群，錄取為縣學廩膳生員（簡稱為廩生），就是可以獲得朝廷錢糧資助的優秀生員。正常途徑壹般都是經過科舉考試，考中者可以依次升為國子監學生（貢生）、舉人、進士，取得功名，然後進入仕途，平步青雲。
張樹聲平日憑窗苦讀，但卻無意於功名。每有客至，愛談天下形勢，“國家興亡、匹夫有責”的信念深植在他的心中。離家不遠就是周公山，傳說為三國風雲人物周瑜年輕時讀書的地方，張樹聲幼時就特別崇拜周瑜，常和夥伴們登山遊玩，來到山頂周公廟、周公洗硯池等處，憑吊這位古代文武兼備的英雄。他曾寫有壹首《過周公瑾墓》的詩中，就有“鼎足功收壹炬紅”，“半壁江山效死忠”之句，抒發了立誌報國的情思。 清代鹹豐年間，社會矛盾激烈，內憂外患，天下大亂。太平天國起義席卷大半個中國，撚軍在淮河流域與之遙相相應，江淮地區到處土匪、盜賊猖獗橫行。合肥西鄉民眾惶恐不安，父老鄉親經常聚集在士紳張蔭榖家中，磋商應對之策。當時，各地有辦理團練以自保之舉，曾國藩就是在籍辦理團練而創建湘軍的。於是，張蔭榖挺身而出，率先捐出家中存糧數百石，並動員富裕人家出資，貧窮之戶合力，招募青年壯勇，親率樹聲、樹珊、樹屏、樹槐數子，在周公山下殷家畈築堡壘寨（後擴建為今天的張老圩），創辦團練，以圖自保。團練初成，張蔭榖便制定了條約紀律，定期集訓，使得鄉民同心，西鄉局勢得以基本穩定。他們還與周圍不遠處的大潛山劉銘傳、紫蓬山周盛波、周盛傳等部團練互相呼應，號為“三山”團練，聲勢較大。
當時西鄉團練聲勢之盛，“百裏之內，互為聲援；賊來則戰，去則耕；賊近則守，遠則出擊。” 不但地方官奉為上賓，時相招請出戰；團練之間則是“寇至則相助，寇去則相攻，視為故常。” 據說，葉誌超為謝先亮團練練勇時，途遇壹女，強行搶奪過來。後來，卻知此女竟是張氏兄弟的中表妹。其中有實力者如劉銘傳，更思“乘時糾集團眾，獨樹壹幟，為異軍之突起” 。據說，肥西幾路團練壹度準備加入太平軍，會盟定議時，忽然大風刮斷旗桿，劉銘傳軍師劉盛藻以為“天不助也”，遂未成行。
鹹豐二年（1852年）十二月太平軍攻克武漢後，沿江而下，很快席卷皖省。攻占安慶後，繼續北進，所到之處，清軍望風而逃，不戰棄城。曾先後數圍廬州，鹹豐八年（1858年）還取得著名的“三河大捷”。在此期間，張家團練多次受清朝官府之命，受道員李元華指揮，在本縣及六安、霍山、無為等地參與抵抗太平軍的戰鬥。後來，又為李鴻章父刑部郎中李文安所招，在廬州壹帶圍攻太平軍。李文安去世後，張樹聲率部又回到李元華部下，曾外出至無為、巢縣、潛山、太湖等地作戰，累功被保薦為同知。由於他和李文安、李鴻章父子相互過從的關系，為以後隨召集組建淮軍打下基礎。 同治元年（1862年），湘軍統帥曾國藩由於“三河大捷”之役湘軍大敗，主力被殲七千余眾，無力分兵援滬，命當時為其幕僚的李鴻章招募兩淮營勇，組建“淮軍”，以補湘軍力量的不足。李鴻章受命後，正躑躅間接到曾雖其父辦團練、抵禦太平軍的張樹聲派人送來的壹道稟帖。帖中張樹聲洞陳安徽形勢，表示了願意投效的意圖，還談了合肥西鄉團練的壹些情況。於是，李鴻章即將此信轉呈曾國藩，並附信寫到：
張生血性忠義，歷年辦團帶勇，現居廬六交界，結鄉民築數十寨以自衛。肥、舒賊不敢近，可謂疾風勁草矣。所陳皖事亦有體要，謹將原件附呈鈞閱……
曾國藩閱信後，對張樹聲大加稱贊：“獨立江北，真祖生也！”於是，李鴻章給張樹聲復函，要其帶劉銘傳、周氏兄弟、潘鼎新、吳長慶等人來安慶建面。張樹聲接信後，立即奔走聯絡各家團練首領，憑籍李氏父子在鄉辦團練所建立起來的關系網，各團練頭目踴躍響應，過程比較順利。同治元年（1862年）新年壹過，首批招募的樹（張樹聲）、銘（劉銘傳）、鼎（潘鼎新）、慶（吳長慶）四營陸續開到安慶集中。曾國藩對這批新招淮勇十分關註。各路團練來不久，曾國藩就在府中親自召見張樹聲、劉銘傳、潘鼎新、吳長慶等新任營官，以及準備充當營官的李鶴章、吳毓芬、吳毓蘭、張樹珊、周盛波、周盛傳等十余名將領。以張樹聲領頭，劉銘傳等人排班而入：
靖達體修碩，而劉公短小精悍，文正迎至廊下。蹀躞往來，獨步至兩小時之久，未出壹語相諮詢。自靖達 以次，肅穆寅恪，鶴立鵠候，莫敢聲咳。時壯肅 氣最盛，以文正之侮已也，揮袖磨拳，勢將用武。在此間不容發，文正遂笑迎之曰：“諸君均人傑也，今日之會，天其有意致中興乎？已飭麾下列幾筵，請與諸君聚飲，盡今日歡。”席次，暢談用兵方略，規復計劃，沆瀣相合，有如宿契。
曾國藩推重“相人術”，常常先憑對手下相面（即所謂第壹印象）作出考評。觀察下來，發現張樹聲最為沈著耐心，而劉銘傳則性格暴烈，二人尤得曾國藩之賞識。未過幾日，李鴻章正式移駐北門外新營盤，建立起獨立的指揮部，標誌“淮軍”正式建立。曾國藩親自“為定營伍之法。器械之用，薪糧之數，悉仿湘勇章程，亦用楚軍營規訓練之……” 。在淮軍組建過程中，主帥李鴻章始終身在安慶，淮軍初創時的主體部分——廬州團練，基本上都是由張樹聲聯絡邀約的；“樹聲為言劉銘傳及周氏兄弟才武，左提右摯，各建旗鼓，淮軍之興實樹聲之倡也。” 由於李鴻章在廬州團練的各種關系和基礎，也由於張樹聲的奔波勸說和積極倡導，淮軍的組建、招募才得以比較順利。因此，完全可以認為張樹聲是淮軍的實際組建者或聯絡召集者。 淮軍成軍後不久，就在李鴻章帶領下，自安慶乘輪沿江直赴上海。張樹聲帶所部“樹”字營，與劉銘傳“銘”字營、潘鼎新“鼎”字營等13營，***約6500人壹道前往攻打太平軍。剛到上海時，當地官紳看到這些來自江淮鄉間的士卒布巾裹頭，衣衫襤縷，兵器形制雜陳、簡陋不堪，“皆笑指為丐”。李鴻章則激勵大家：“軍貴能戰，非徒飾觀美，待吾破敵懾之，笑未晚也。”不久，淮軍果然打了幾場惡戰，成功守滬，頓時令中外人士刮目相看。
在和太平軍對壘中，張樹聲所率“樹”字營，先後參加多次激戰，雖多次損失慘重，但也立下不少軍功，受到褒獎。其中如四江口之戰、無錫蕩口之戰、攻克江陰之戰、蘇州之戰，等等，或為主攻，或為伏援，或為突襲。其弟張樹珊更是勇猛善戰，屢立戰功。其他如董鳳高、王孝祺等都是樹軍猛將。在蘇州之戰中，李鴻章用招降之計，騙得太平軍守軍八王投降獻城，得手後又背信棄義殺掉八王，導致牽線招降的洋人常勝軍首領戈登與之翻臉。但城池已得，其奈我何！
隨後，在李鴻章的率領下，張樹聲與劉銘傳、周盛波等人率部又參加圍攻常州之役，攻占常州，擒殺太平軍護王陳坤書、佐王黃和錦等，劉銘傳還在護王府中無意得到國寶“虢季子白盤”。同治三年（1864年）7月，湘軍曾國荃攻破天京，太平天國終被鎮壓。此間，張樹聲前後數十戰，因功從道員升至以按察使記名，獲卓勇巴圖魯名號。
毋庸諱言，淮軍在歷次作戰中，也是大肆殺戮、掠奪。初期，淮軍本無軍餉，全靠掠奪維持。據記載天京被曾國荃湘軍攻破後，湘軍入城多大肆搶掠，“各勇留營者皆去搜括，……擔負相屬於道。”湘軍將領蕭某“搶天王府金銀，舉火壹焚以滅跡。”曾國藩向稱治軍嚴正，尚且這樣，可知淮軍也大體相似。淮軍將領戰後個個發財，家資巨萬，難說與此無關。
不久，撚軍又起，張樹聲再次率“樹”軍隨從曾國藩剿撚。次年，受曾上奏保薦，實授直隸按察使，“樹”軍將交由其弟樹珊統領。在湖北德安壹次剿撚戰鬥中，張樹珊因輕敵冒進，被大批撚軍馬隊圍困被殺。據說當時受傷倒地未死，撚軍在查看時，發現他外著軍服，內襯湖綢短襖，知非普通士兵，於是補上壹刀身亡的。張樹聲得到弟弟死訊後，迅即趕來收攏殘部，繼續參加剿撚作戰。後來，在李鴻章的指揮下，用劉銘傳的“設圍追剿”之策，終於同治七年（1868年）將撚軍東、西兩部先後鎮壓下去。撚軍既滅，淮軍各部處“銘”、“盛”等部外，其他大部裁革。樹軍也相應裁撤，後來，五弟張樹屏就任太原鎮總兵後，曾奉命招募6營，稱為“樹”字新軍。 兩江總督曾國藩對張樹聲的才幹十分賞識，同治四年（1865年）五月即上奏任命他為徐海道，協助其處理地方事務，在本地幾位同為團練出身、同時走出的淮軍將領中，相對來說是較早的。吳汝綸後來評價：“樹聲以諸生值世亂，受知國藩，……在軍、在官決事有程，暇輒不廢記覽，於淮軍中最為儒將，其從行間入官及擢任疆吏，亦於淮軍諸將最為先達。”
曾國藩調任直隸總督後，於同治八年（1869年）奏調張樹聲擔任直隸按察使，這是壹個專管司法、監察、刑名的職務，也簡稱“臬司”。張樹聲到任後，立即著手清理積案。由於連年戰亂，直隸壹省的訴訟案件積壓萬余件。各級官吏為之疲於奔命，民生之困均由於此。曾國藩與張樹聲首先籌劃清理辦法，形成《清訟事宜限期功過章程》。然後，張樹聲實力奉行，不長時間將積案全數處理完畢。由於政績卓著，張樹聲於調補山西按察使、布政使，不久再升至護理山西巡撫。同治十年（1870年），張樹聲升為漕運總督，此後又擔任過江蘇巡撫、署兩江總督等職。
張樹聲在淮軍諸將中，是除李鴻章之外最早得任督撫壹品大員要職的，壹直官運亨通。清代官制以文制武，非文途出身者難至督撫，武途出身積功壹般只至提鎮，難以再往上升至節制壹方的總督、巡撫之位。劉銘傳軍功卓著，但因武將出身，官至提督後壹直未能上升，最後清廷因迫於其保衛臺灣，且逢臺灣建省，才得以授其臺灣巡撫之職的，這已是光緒十年（1884年）了。淮軍將領中進士出身的劉秉璋 、潘鼎新 後來均出任督撫。有清壹代，武員而至督撫者寥寥無幾。
張樹聲任官期間能夠勤奮努力、廉潔奉公，也取得壹些值得稱道的政績。例如：漕運總督時根據實際情況，上奏朝廷，提出改河運為海運。原先漕運經由運河，但由於年久失修，節節淺阻，加之“黃水日益泛濫，運河愈形淤塞，……水落砂停，幾成平陸。”因此，他力請將長江以北河運改為海運，保證了漕運暢通；在擔任江蘇巡撫及署兩江總督時，張樹聲積極組織進行太湖流域水利興修。太湖流域歷經戰亂之後，水道淤塞，洪災不斷。上奏朝廷後，他組織人員疏浚河港、修建橋梁水竇（涵洞）等等，“使入湖之水分出各港，暢流達海，不致下壅上溢。”並以蘇、滬二厘局厘捐銀二十九萬五千余兩，用於開支，不加重地方負擔，當地百姓得到受益。
張樹聲還針對吏治腐敗加以整治。當時為了籌餉，允許人員捐資補缺，江蘇壹省“各班捐省人員，分發到省道、府以至未入流，現計不下二千余員”，實在無缺可補。這些捐資者大多是抱著“壹年清知府，十萬雪花銀”的想法，任職之後難保不貪腐。因此，需要加以改正。但是，捐資補缺的做法“事關籌餉全局，何敢率議更張”，只能奏請朝廷，暫停江蘇分撥，對吏治加以整治。
光緒元年（1875年），張樹聲丁母憂去職回鄉。在故鄉期間，他曾聯合劉銘傳等人在離故居張老圩不遠處，創辦“聚星書院”，請李鴻章、左宗棠等人題寫匾額、門聯，培養故鄉人才；還曾應主持修復巢湖姥山文峰塔的吳毓芬之請，題寫 “勢如湧出”四個蒼勁有力的大字，至今石刻塔匾仍高懸塔中。光緒四年（1878年）起復後，張樹聲歷任貴州巡撫、廣西巡撫。其間，著力剿平黔、桂等地李揚才、蒙老忿等匪亂。光緒四年（1878年）進京覲見，受到當政的慈禧太後召見。召見中，慈禧詢問了壹些辦理洋務、國家自強之策及地方民情的問題，張樹聲壹壹作答，並闡述自己的見解和主張。
光緒五年（1879年），張樹聲升任兩廣總督，成為權傾朝野的重臣。任上，張樹聲重視辦理南疆海防、陸防，也順應洋務自強的時勢，開辦了壹些造船、辦學、架築電線、修建炮臺等洋務，收到壹些成效。值得稱道的還有“禁闈姓”、“洋藥土煙稅釐”等項。所謂“闈姓”，實為壹種類似於今天彩票的賭博方式，當地雖然屢經申禁，仍是愈演愈烈，“賭日盛而民日貧”。因此，他堅決反對有人提出的“開禁抽捐”之議，從嚴加以禁止。洋藥、土煙實即鴉片。鴉片戰爭國門被西方列強打開之後，吸食鴉片實已無法禁止，但鴉片毒害尤深。張樹聲上奏朝廷，采取加徵稅釐的辦法加以控制，以期逐步減少民眾吸食，在當時不失為壹種無奈之舉。 光緒八年（1882年）四月，李鴻章因丁憂回藉，奏由張樹聲署理直隸總督兼北洋大臣。張樹聲接任不久，就遇到朝鮮發生內亂。以朝鮮國王之父李罡應為首的保守派，因不滿國王李熙、王妃閔氏推行新政，以克扣兵餉為由聚集亂兵生事，沖擊王宮，燒毀日本使館，殺死日本練兵教頭崛本等7人。日本領事花房義質連忙逃回國內搬兵。朝鮮國王、閔妃亦不知所蹤，國內亂作壹團。日本早有侵略日本之心，趁此事件正欲借端發事。當年農歷是壬午年，所以史稱“壬午事變”。
數日後，在中國天津的領選使金允植、魚允中，向清廷稟報事實真相，請求宗主國出兵靖難。朝鮮古有“箕子之國”稱謂，明清以來，向為中國的宗藩國。張樹聲接到報告後，壹面上報總理衙門請示辦法，壹面致電李鴻章磋商意見。由於擔心日本借機介入，而軍機不可延誤，張樹聲立即派北洋水師提督丁汝昌，持自己親筆信函，去山東登州見到“慶”軍主將、官任廣東水師提督的吳長慶，並約吳長慶至天津面商對策。吳長慶接信後聞變即行，立即趕赴天津。剛住進事前安排好的公館後，張樹聲即帶著壹名隨員，“微行至該公館，密商派兵東征”。因為知道當時“日本在北京、天津都有間諜”，非得如此才能保密。
張、吳商定對日采取強硬外交政策的方針後，吳長慶立即趕回軍營，發出緊急命令，預備開拔。數日內，由海軍提督丁汝昌率“威遠”軍艦，及招商局“鎮東”、“日新”、“拱北”等輪船，將吳長慶部五營近三千人馬東渡朝鮮。登陸後，吳長慶、丁汝昌以及隨行馬建忠、袁世凱等人查明情況，采取迅速果斷措施，緝拿主要兇手，設計扣押肇事主謀大院君李罡應並立即乘軍艦解付中國，使事態迅速平息下來。日本領事花房義質搬兵來遲壹步，剛到朝鮮港口，已見多艘中國軍船停泊，“日本大將海軍卿屯兵海口，相顧錯愕，狡謀不敢發。” 最後被迫接受簽約撤兵。這次軍事行動運籌得非常成功，使中國在朝鮮問題上，與日本交涉中處於極其有利的位置，朝鮮轉危為安，也使中國避免了唇亡齒寒的不利局面。
正是由於張樹聲能夠及時果斷、迅速調派淮軍吳長慶部自山東渡海入朝，平息朝鮮內亂，杜絕日人覬覦，才較為順利地使事件基本圓滿解決。這次事件，是晚清時期中日三次糾葛 中，第二次取得勝利。事後，有人評價這壹次如果還是李鴻章的話，以他壹貫優柔寡斷的作風，斷不至如此迅速。張樹聲果斷指揮成功處置事變後，清廷下旨：“此次朝鮮亂軍生變，張樹聲相機調度，督率有方，著賞加太子少保銜”。 張樹聲前後兩次任職兩廣總督。作為守護中國南疆的鎮守大員，竭盡全力辦理南疆海防、陸防，雖因時勢所限、朝廷戰和不定、官員相互掣肘，經歷戰敗，飲恨終身。但其加強南疆海防、陸防思想的種種舉措，還是取得重要作用，為後來中法越南戰爭“鎮南關大捷”取得勝利奠定了基礎。
光緒五年（1879年）十壹月，張樹聲就任兩廣總督不久，就對南疆海陸防問題作了實地察看和部署。兩廣東接福建，西連雲南，有著千裏海疆和越南邊境。當時，法國已侵入越南南部，時時準備北侵。越南原為中國藩屬之國，越南不保則中國邊境不寧。對於法國蓄謀侵占越南、進謀兩廣的戰略意圖，張樹聲早有察覺和防備。當其還在廣西巡撫任上，就命令統領左江防營的記名提督黃桂蘭以出境剿匪名義，進入越南境內的諒山、高甲等地安插勇營，擇要駐防，壹邊剿匪，壹邊加強防守準備。
鴉片戰爭之後，中國南海邊防日漸廢弛。張樹聲看到原有虎門、長洲等處炮臺或年久失修，或無人值守，壹旦作戰不堪壹擊；輪船壹項更是空白。
光緒九年（1883）秋，法國開始侵略越南北方，越南國王請援，形勢非常嚴峻。當時，張樹聲正在病休，聞訊立即奏請督師抗擊，朝廷猶觀望不決，來允。不久，戰事轉緊，清廷於是令其回任備戰，張樹聲聞令即行，購帶槍炮，奏調吳宏洛淮勇五營同往。同時，購帶了部分當時較為先進的哈乞開司、毛瑟各兵槍和克虜伯過山炮。到粵後，立即派遣將領募兵訓練，分布駐守各處要塞；並致電國外，訂購克虜伯大炮二十余尊、毛瑟精槍數千桿，及水雷、電線、炸藥、棉藥等戰備物資，刻期運到。
1884年（光緒十年）二月，中法越南戰爭正式爆發。駐越法軍進攻越南北圻，清軍陳得貴、徐延旭、黃桂蘭等部不敵敗退；不久，又失守重鎮北寧。清軍未能及時組織反攻，提督黃桂蘭竟然因敗感憤自殺。與此同時，駐紮越南的黑旗軍劉永福率部英勇抗法，卻數戰皆捷。四月，朝廷以戰敗並應張樹聲自請，開其兩廣總督之缺，專門治軍；不久又予革職留任處分，仍辦理廣東防務。五月初，清軍潘鼎新、王德榜部在觀音橋擊敗法軍進攻，取得勝利。但此時朝廷卻戰和不定，忽而談判，忽而開戰，寄空想於外交調停。不久，法軍轉向進攻臺灣，挑起第二階段戰爭，突襲福建馬尾船廠，南洋水師全軍覆沒。這時，清廷才被迫正式下詔對法宣戰。
雖然張樹聲壹心抗擊法軍入侵，但他此時已經重病纏身，“肝風旋動”，臥床不起了。只能依靠淮軍舊將潘鼎新、吳宏洛，以及原屬樹字營的將領王孝祺、董履高等人在前線指揮作戰了。後來，清軍老將馮子材率蘇元春、王孝祺、董履高等人，取得“鎮南關大捷”，大敗法軍，收復涼山，終於打退了法軍侵略的囂張氣焰。廣西戰場上的勝利，有力支持了劉銘傳的抗法保臺。 光緒十年（1884年）四月，張樹聲因病請開去總督缺後，專治軍事。他親駐黃埔行營，督率諸將備戰。每日登山涉海相度形勢，布置安排“攔河、阻船、安雷、發電、截擊、援應”等各項軍事準備措施。由於“炎暑郁蒸，海風尤厲，病體不支。……終以積勞過甚，受病已深，服藥亦不效。”此時，張樹聲已經“蕭然布被，伏枕支離，流涕嗚咽……，昏瞀譫語，率皆部勒防勞，語或大呼開炮擊賊。”最後，張樹聲因病勢加劇，於九月初八日（10月26日）病逝於軍中。
張樹聲是淮軍將官中很有政治卓識的人。他臨終前，冒著遭受譴責的風險，以“鳥死鳴哀，……垂死涕泣，不知所雲，謹伏枕口授《遺折》”，委托繼任兩廣總督張之洞、兵部尚書彭玉麟等人代為轉呈清廷。他在《遺折》中痛陳國事，請及時變法以奠國家長治久安。他首先分析了當時大清王朝面臨的國際形勢：
泰西之人，負英鷙之性……挾其輪船槍炮之堅利，以與我中國從事。數十年來，俄羅斯侵軼於北方，日本窺伺於東海，英吉利由印度、緬甸以規滇、藏，法蘭西據西貢、海防而謀滇、粵，雎盱怪狀，日益難制。
當時，西方列強自北向南，有俄羅斯、日本、英、法各國環伺左右，但是，“中國蹈常習故，衣冠而救焚，揖讓而拯溺，其何以濟耶？”他希望皇上和朝廷能“斷自宸衷，通籌全局，……中外臣工同心圖治，勿以遊移而誤事，勿以浮議而隳功，盡窮變通久之宜，以奠國家靈長之業，則微臣雖死之日，猶生之年也。”這是自己“終夜感憤，與世長辭，終難瞑目者也。”
這是壹篇具有歷史價值的文獻。張樹聲看清楚西洋立國具有本末，育才於學堂，論政於議院，君民壹體，上下壹心為其體，輪船大炮、洋槍、水雷、鐵路、電線為其用。今中國遺其體面而求其用，必無功效。所以他奏請清帝宸衷立斷，毅然采西人之體以行其用。換句話說，就是必須變法維新，方足以圖自強。李鴻章等人所徘徊瞻顧不敢奏陳的意見，都由張樹聲以臨死的哀鳴，披瀝痛陳於清帝之前。其言雖未被采納，而後來戊戌變法維新運動，張樹聲已樹其先聲了。
張樹聲病逝後，朝廷於十月二十三日下達諭旨：“張樹聲才識優長，勤能練達，戰功卓著，由道員洊擢封圻，於吏治、營伍、馭遠、籌防諸務，均能實心規畫。……留辦廣東防務，正資倚畀。茲聞溘逝，悼惜殊深。加恩著照總督例賜恤。並將事跡宣付史館立傳。任內壹切處分，悉予開復。”同時予謚“靖達”。
張樹聲病故後，靈柩運回故鄉肥西縣，安葬於周公山西麓。張樹聲的遺著有《張靖達公奏議》八卷，為其幕僚何嗣焜將其歷年奏疏143篇，編為八卷，於光緒二十五年（1899年）刊印成書。此書記載張樹聲從政後的壹些決策舉措，及其自強維新思想的發展過程，具有較高史料價值。另外，還有收錄張樹聲書信、奏對等篇的《張靖達公雜著》壹卷傳世。