太行山北高南低，大部分海拔在1200米以上。2000米以上的高峰有河北的小五臺山、靈山、東靈山，山西的太白山、南索山、陽曲山、白石山等。北端最高峰為小五臺山，高2882米；南端高峰為陵川的佛子山、板山，海拔分別為1745米、1791米。
太行山山勢東陡西緩，西翼連接山西高原，東翼由中山、低山、丘陵過渡到平原。山中多雄關，著名的有位於河北的紫荊關，山西的娘子關、虹梯關、壺關、天井關等。山西高原的河流經太行山流入華北平原，流曲深澈，峽谷毗連，多瀑布湍流。河谷及山前地帶多泉水，以娘子關泉為最大。河谷兩崖有多層溶洞，著名的有陵川的黃圍洞、晉城的黃龍油、黎城的黃崖洞和北京房山的雲水洞等。在太行山深山區河北贊皇縣，有世界最大的天然回音壁。
太行山的自然植被被垂直溫差面異，如小五臺山南坡，1000米以下為灌叢；1000米以上偶有雲極或落葉松。北坡1600米以下是夏綠林，1600～2500米是高亞草原。礦藏，從北到南，煤炭資源豐富，還有鐵、銅、鉬、金、鎢等。
太行山中多東西向橫谷（陘），著名的有軍都陘、薄陽陘、飛狐陘、井陘、滏口陘、白陘、太行陘、幟關陘等，古稱太行八陘，為穿越太行山脈的8條通道。
太行山形勢險峻，歷來被視為兵要之地。從春秋戰國直到明、清，兩千多年間烽火不息。公元前650年，齊伐晉，入孟門、登太行。齊桓公曾懸車束馬窬太行。前263年，秦伐韓，在太行山“決羊腸之險”，壹舉奪韓滎陽。前204年，劉邦被困於滎陽、成臯之間，他采納酈食其的建議，北扼飛狐之口，南守白馬（今河南滑縣東北）之津，終於轉危為安。東漢元初元年（114），漢安帝為防外敵侵犯洛陽，下詔在太行南端36處要沖屯兵。曹操圍臨漳，袁尚輕易率軍東出太行，結果大敗於曹軍。晉太元十九年（394），後燕慕容垂進伐西燕，屯軍於臨漳西南。西燕慕容永令全部人馬前去堵塞太行山口，慕容垂引兵自滏口進入，滅了西燕。隋末，李世民與竇建德相爭，李世民進據虎牢，使竇不能越過太行，李乘機占領上黨，盡收河東之地。元至元十八年（1281），劉福通率起義軍越過太行，火燒上黨。元將察罕粘木兒塞井陘、杜太行，遏止起義軍向北發展。
抗日戰爭時期，八路軍壹二九師在劉伯承、鄧小平的領導和指揮下，創建了太行區（晉冀豫邊區）。發軔於太行山的遊擊戰，迅速發展到西起同薄、汾河，東至渤海，南靠黃河，北沿正太、滄石路的廣大地區，先後形成許多重要戰略區。