孔子于是去到了衛國，寄住在子路的妻子的兄長顏濁鄒家。衛靈公問孔子:"你在魯國得到的是俸祿多少?"孔子回答說:"糧食六萬（按照古代的計算方法，一斗大約稱重15斤糧食，六萬斗就是九萬斤，一斤粟大約能打出七兩的小米，也就是說孔子的年薪一年最少也有六萬多斤糧食。）。"衛國人也致送糧食六萬。過了不多久，有人向衛靈公說孔子的壞話。衛靈公派大夫公孫余假用兵仗監視孔子的出入?？鬃雍ε略谶@么獲罪，居住了十個月，就離開了衛國。

孔子打算前往陳國，經過匡城（匡城是衛國的領土，當年魯國陽貨叛亂從魯國逃出，路過匡地的時候是殺人放火，搶劫錢財。因此匡人對陽貨是非常的痛恨。），弟子顏刻替他趕車的，用他手中的鞭子指給孔子看，說:"昔日我進入這座城，就是從那個缺口進去的。"匡人聽說來了人，誤以為是魯國的陽虎來了。陽虎曾經殘害過匡人，匡人于是就圍困孔子，孔子的模樣長得像陽虎，在匡拘留了五天。顏淵落后來趕到，(見到后)孔子說:"我還以為你死了。"顏淵說:"老師你活著，弟子當然要侍奉您左右，我怎么敢死!"匡人圍攻孔子，情況愈來愈緊急，弟子們都感到恐懼。孔子說:"周文王死后，周朝的禮樂制度不就在我們這里嗎?上天打算毀滅這周朝禮樂，我這個后來人便不應該承擔維護它的責任了。上天不想毀滅周朝的禮樂啊，匡人能把我怎么樣!"孔子派隨從子弟到衛國國都做寧武子的家臣，然后才得以離開匡地。

孔子離開匡地之后經過一個叫蒲的地方。一個多月后，又返回衛國，寄居在蘧伯玉家。衛靈公有個叫南子的夫人，靈公派人對孔子說:"各國的君子，凡是看得起我們國君，愿意與我們國君結為兄弟的，必定會來見見我們南子夫人的。我的夫人希望見到你。"孔子開始還推辭謝絕一番，最后不得已才拜見南子。夫人在細葛帷帳之中。

孔子進門，面朝北行叩頭行禮， 南子夫人在帷帳中行拜了兩次，身上佩戴的環佩玉器發出了叮鐺撞擊的清脆聲?？鬃诱f:"我本來就不想見，既然見了便還她以禮。"子路不高興?？鬃悠鹗恼f:"我如果口不應心，老天會懲罰我的!老天會懲罰我的!"在衛國居住一個多月，衛靈公和夫人南子同乘一輛車，宦官雍渠為陪侍車右，出宮游覽，讓孔子乘第二輛車跟從，大搖大擺地從市上走過。孔子說:"我沒看見過喜好德行如同愛好女色的人啊。"于是厭惡衛靈公，離開衛國，經過曹國。這一年，魯定公去世。