離開海牙之后，文森特又回到了父母身邊，現在父親被調到了紐恩南小鎮做牧師。文森特打算在紐恩南定居下來，繼續他的繪畫生活。
文森特有時去田野上畫風景，有時畫農民或者紡織工人。這個階段，出現了個叫“瑪高特”的女人，整天跟蹤著文森特出去畫畫，對他的癡迷的愛慕著。瑪高特是個快40歲的女人，大半輩子還沒有真正的談過戀愛，她一直在尋找等待著畢生摯愛，直到她等來了文森特。文森特從瑪高特身上得到了從未有過的熱情，被奮不顧身的愛所溫暖的感覺。瑪高特每天都陪著文森特外出畫畫，對他的愛有增無減，日久生情，梵高也漸漸接受了瑪高特突如其來的愛。在書中，這樣描寫梵高對瑪高特的感情：
他愛她不像愛烏蘇拉和凱那樣，他愛她甚至不像愛克里斯丁。但是，對這個那么溫順地躺在他懷里的女人，他卻懷有一種非常深切的同情。
他們決定要結婚，但是立即遭到兩個家庭的反對，反對的原因就是文森特無法自食其力，沒有穩定的收入來養活妻子和家庭。在瑪高特家人的眼中，他是個失敗者，做過畫商、教師、書商，學過神學，還當過福音傳教士，但沒一樣成功的，做什么都沒有長性，就像一個游手好閑的流浪漢到處漂流。整天畫畫在他們眼中不是什么正經事業，也不是什么才能，畫了那么久還沒有賣出去畫，更是被他們看作又一次注定的失敗。從那以后，瑪高特被家人阻止在和文森特來往，而多年抑郁生活對瑪高特本身就有影響，她的神經不強健，身體也不好，她已無力再與家人抗爭，作為一個四十歲的中年婦女，她也沒有力氣再與命運抗爭。或者說，當愛情被剝奪以后，她對生命也已是絕望。
一天下午，瑪高特逃出家里，像往常一樣陪在文森特身邊，靜靜等著他在田野里寫生。然后，瑪高特服毒自殺。書中，最后沒有交代瑪高特是否有被搶救回來，她和文森特的故事就到此結束了，特別注意到，文森特和瑪高特雖然整天呆在一起，親吻撫摸，但仍舊沒有XXOO過。
瑪高特死后，文森特去租了一間教堂旁邊的房子當做畫室，不再與父母住在一起。因為村里人大都對文森特不友好，他們不理解他的古怪行為和生活方式，在他們眼中文森特是一事無成的Looser，是個沒出息的頹廢者。文森特為了不讓村民對自己的厭惡而影響到父母的生活，所以搬出來找個僻靜的地方自己住。
每當生活再次遭遇痛苦的時候，文森特會想起韋森布魯赫對他說過的話，“我從來不想壓抑痛苦，因為正是痛苦往往才能使藝術家最有力地表現出自己的個性”。
在搬出去住的這段時間里，文森特的父親因為在臺階上摔倒去世了。弟弟文森特從巴黎趕回來參加葬禮，兄弟重聚，提奧向文森特提起了印象派，在巴黎有一群青年畫家，馬奈、雷諾阿、莫奈、西斯萊、庫爾貝、勞特雷克、高更、塞尚、修拉，他們創新出了一種獨樹一幟的繪畫風格“印象派”。提奧指出他現在的畫仿佛停留在臻于成熟的邊緣，卻很難突破。提奧邀請文森特去巴黎，那里是歐洲藝術的先鋒陣地，那里有來自全世界最有的才華的繪畫者。
文森特并沒有立即隨提奧去巴黎，因為他在這里還有未盡的事情，他還沒有創作出一幅滿意的關于農民的作品。
在這期間，他和一家姓德格魯特的農民做了朋友，一子兩女的五口之家。德格魯特一家都下地干活，他們種土豆、挖土豆、吃土豆，土豆是他們每頓飯的主食。文森特給這一家人畫素描，畫他們一家子在地里挖土豆、在屋里擺土豆、吃土豆等一系列的素描。
在這期間，德格魯特家的女兒斯蒂恩和梵高來往很多，她經常去梵高的畫室給梵高做模特，后來斯蒂恩突然懷孕了，全鎮的人又都以為這種不恥的事情是梵高干的，因為斯蒂恩和梵高經常在一起。教堂的神父也跑來把這事栽贓在文森特身上，強迫他要和斯蒂恩結婚，被下這個黑鍋。全村的人得知神父要文森特和斯蒂恩結婚，就更加確認懷孕是文森特干得了，但事實上，讓斯蒂恩懷孕的人恰恰是教堂的執事。事態繼續惡化，連教堂旁邊的房子也不能給他居住了，文森特是時候離開這個生活了2年的地方了（1883~1885年底），為了在離開前能有一幅表現農民的滿意作品，最后的十幾天他每天晚上都去德格魯特家里畫畫，等著他們一家從地里回來時他就已經支好畫架等在那里，直到他要離開前的最后一個夜晚都沒有創作出那副正確的畫，眼看在布拉邦特兩年的努力付諸東流。臨行前的這個夜晚或許他沒有睡，他發呆思索，最后突然靈光一現，憑借記憶在畫室里又創作了一幅畫，他終于把它畫出來了，他終于捕捉到了那正在消逝的事物中存在著的具有永恒意義的東西，在他的筆下，布拉邦特的農民從此獲得了不朽的生命。文森特在這幅油畫上題了《吃土豆的人》幾個字。
一個人起初努力模擬自然，結果是勞而無功，所畫得一切都不對頭，后來他平靜下來，憑借自己的調色板進行創造性的描繪，自然反而順從起來，并隨著他的畫筆出現在畫筆上。
別人以為我是臆想出來的，不對，我憑的是記憶。
出自《渴望生活》第四卷 紐恩南 8 吃土豆的人
1886年初，梵高去到巴黎是梵高10年創作生涯的分水嶺，1880~1885梵高臨摹練習，探索出自己的寫實風格，他在最貧苦的勞動人民中進行自己的藝術創作，他希望用自己的畫為這些底層人民表達，他的繪畫色調都是昏暗的，給人或陰郁或深沉的感受。但去到巴黎之后，與印象派的年輕畫家們在一起，梵高的繪畫風格受到了印象派的影響，特別是保羅高更的影響，色彩變得明亮鮮艷起來。在阿爾勒地區的幾個月里，梵高的繪畫創作進去了巔峰時期。
印象派名字的由來，是因莫奈的油畫《日出·印象》受到一位記者嘲諷而得名。
1874年有一群年輕的畫家在巴黎卡皮西納大道的一所公寓里舉辦了第一屆印象派畫展,有31位印象派畫家參展。來向官方的沙龍挑戰。包括莫奈、雷諾阿、畢沙羅、西斯萊、德加、塞尚和莫里索等在內的畫家們不僅有各異的性格和天賦，而且在某種程度上他們還具有不同的觀念和傾向，但是，他們誕生在同樣的時代，有著同樣的經歷，并且向同一的反對派斗爭過。他們欣然接受一些雜志的諷刺文章作家封給他們帶著嘲笑味道的稱號——“印象派”。
