前秦苻堅與苻融登上壽陽城觀望，只見東晉的軍隊布陣嚴整，又望見了八公山上的草木，也以為都是東晉的士兵，苻堅茫然若失地對苻融說：“這明明就是強敵，怎么能說他們軟弱了。”一絲恐懼浮上了他的心頭（草木皆兵）。
前秦的軍隊緊逼著淝水布陣，東晉的軍隊無法渡過，謝玄派使者對苻融說“請求你們移動兵陣后撤，讓我們的軍隊得以渡河，然后一決勝負。”
前秦眾將都反對，苻堅說：“我們只需要稍微后退一點，趁他們渡河渡到一半時，我們再出動鐵甲騎兵奮起攻擊，肯定能擊敗他們。”苻融也認為可以，于是就揮舞戰旗，指揮兵眾后退。
當前秦軍隊開始后移時，朱序和他的心腹在秦軍陣后大叫：“秦軍敗了！”后方的秦軍不知道發生了什么，一退而不可收拾。謝玄、謝琰、桓伊等率領八千精兵渡河攻擊他們，苻融想控制亂局，結果在亂軍中被東晉的士兵殺掉，前秦的軍隊頓時就崩潰了，朱序乘機與張天錫、徐元喜都來投奔東晉。敗逃的前秦軍隊慌不擇路，自相踐踏，聽到風聲和鶴鳴都以為是晉軍追來了（風聲鶴唳），死亡的人數十有七八，淝水都因此而堵塞了。
謝安接到了驛站傳遞的書信，知道前秦的軍隊已經失敗，當時他正與客人玩圍棋，他看完捷報，便放在座位旁，不動聲色地繼續下棋。客人問他是什么事，他慢條斯理地說：“沒什么，孩子們已經打敗了敵寇了。”
直到下完了棋，客人告辭以后，謝安才抑制不住內心的狂喜，手舞足蹈地跳進房里，把木屐上的屐齒碰斷了都沒有發覺。
淝水之戰后，謝氏一門四人同日封公，鼎貴無比，奠定了謝氏家族的一流門閥地位。后來南朝梁武帝時期，侯景曾向梁武帝請求和王謝兩族聯姻，梁武帝蕭衍不答應，說“王謝門高非偶，可于朱張以下訪之。”侯景很生氣，后來娶了蕭衍的女兒，可見當時即使是皇族以門第論也是比不上王謝兩族的。
淝水之戰后，北方重新陷入混戰的局面，東晉乘勝北伐。鷹揚將軍劉牢之攻克了前秦的譙城；桓沖也派遣郭寶攻克了前秦的魏興、上庸、新城三個郡；將軍楊期占據了成固，趕跑了前秦梁州刺史潘猛；趙統攻打襄陽，前秦荊州刺史都貴逃奔魯陽。
緊接著，前秦洛州刺史張五虎占據豐陽向東晉投降。東晉將軍劉春攻打魯陽，都貴逃回了長安。東晉梁州刺史楊亮率五萬伐蜀，收回了被前秦占據的巴蜀地區。
謝安已經晉封為太保，他上表請求乘著北方苻氏失敗之機，開拓中原地區，任命徐、兗二州刺史謝玄為前鋒都督，率領豫州刺史桓石虔討伐前秦。謝玄抵達下邳后，前秦徐州刺史趙遷放棄彭城逃走，謝玄進軍占據了彭城。
謝玄讓劉牢之攻打前秦兗州刺史張崇，張崇放棄了鄄城投奔后燕，劉牢之占據了鄄城，河南城邑村堡里的人全都前來歸附東晉。
謝安的女婿王國寶，是王坦之的兒子，謝安討厭他的為人，總是壓制著他而不加以任用，只讓他擔任尚書郎。王國寶自認為出身于名門望族，按慣例只在吏部供職，其他官署一概不干，因此對于任命固執地辭讓，不予就任，并因而怨恨謝安。
王國寶的表妹是孝武帝的弟弟會稽王司馬道子的妃子，司馬道子和孝武帝是皇室血緣最近的一支，在當時被委以大任。孝武帝和司馬道子兩兄弟都喜歡喝酒，互相親昵邪媚，王國寶于是就向司馬道子說謝安的壞話，讓司馬道子挑撥謝安與孝武帝的關系。謝安的功名已經非常顯赫，然而那些行為邪惡，追求晉升的人，卻大都詆毀謝安，于是孝武帝從此開始疏遠猜忌謝安。
北方形勢一片大好，加上皇上的猜忌，謝安為了避禍，于是上疏請求親自出征北伐，朝廷便讓謝安擔任都督十五州諸軍事，并授予他黃鉞。
桓沖在淝水之戰后不久去世，謝安沒有讓謝玄去出任荊、江兩州刺史，又擔心桓氏失去荊、江二州的職權會不服，又考慮到桓石虔驍勇善戰，如果讓他具有險勝之地，恐怕難以控制，便任命桓石民為荊州刺史，桓伊改鎮江州，桓石虔鎮守豫州，使三桓統轄三州，彼此沒有怨言各得其所，為接下來的大規模北伐穩定了后方。謝安執政，總是從長遠考慮，使部屬之間無爭無斗。
謝玄率領的北府軍自廣陵北上，攻打苻堅的侄子苻朗，軍隊抵達瑯琊，苻朗前來投降。接著又平定了兗、青、司、豫各州，于是謝玄被任命為都督七州諸軍事。中路和西路的桓氏則出兵攻克了魯陽和洛陽，并收復了梁州和益州。
至此，淝水之戰前秦、東晉以淮河-漢水-長江一線為界的局面改成了以黃河為界，整個黃河以南重新歸入了東晉的版圖。
會稽王司馬道子喜好專權，又被奸邪諂媚者所挑撥煽動，漸漸使孝武帝與太保謝安之間的隔閡越來越深。一天，孝武帝召桓伊宴飲，謝安陪坐。桓伊最擅長的是吹笛，有“笛圣”之稱，孝武帝命桓伊吹笛，桓伊神色自若地吹了一曲，一曲奏罷，滿座稱善。桓伊放下笛子說：“雖然臣對于箏的技藝不如笛子，但請允許臣奏箏歌唱，并請求來一個吹笛人為臣伴奏。”
孝武帝知道他在音樂方面特別有才能，就允許他召家奴來。家奴吹起笛子，桓伊就撫箏唱起了曹植的《怨歌行》：
為君既不易，為臣良獨難。忠信事不顯，乃有見遺患。
周公佐成王，金縢功不刊。推心輔王室，二叔反流言。
……
吾欲竟此曲，此曲悲且長。今日樂相樂，別后莫相忘。
曹植才高八斗學富五車，銷魂絕代佳公子，卻在胞兄曹丕的猜疑迫害中了卻殘生。《怨歌行》中曹植慨嘆當皇上的難，做臣子的也難，皇上看不到忠臣的心，反而要加以猜忌。
桓伊撫箏而歌，箏聲清揚，笛聲婉轉，他的歌聲慷慨激昂，聽者無不動容，那個年輕時縱情歌酒堅不出仕，淝水之戰百萬秦軍壓境尚且面不改色優游自若的謝安亦為之落淚，眼淚打濕了衣襟，一曲終了，謝安離席來到桓伊身邊，捋著自己的胡須說：“使君注定了不平凡。”孝武帝亦面露愧色。
恰好前秦王苻堅前來求救，謝安就請求親自率兵去救援苻堅，主動交出了手上的權力，離開了朝廷去鎮守廣陵的步丘，并住在這里。
不久之后，謝安因病請求回到建康，朝廷下詔同意了，壯志未酬的謝安回到建康養病，沒多久，就去世了。朝廷下令，按照非常規的禮儀安葬他，然后任命司馬道子監揚州刺史，都督中外諸軍事，任命謝石為衛將軍。
在謝安死后不久，東晉就停下了北伐的腳步。
