梵·高在阿尔勒租住的旅馆，因为它的外壁涂成了黄色，故被称为“黄房子”。

用剃须刀割下耳朵后，梵·高出了很多血，但他把自己的耳朵用纸包起来，走向了他常光顾的妓院。在那里他把这只耳朵交给了一个他认识的年轻女人。在另一本关于梵·高的新书中，作者Bernadette Murphy认为那位女性并非是一个妓女，而是在那里当仆人的一位当地农民的女儿。Murphy还发现了一幅画，是一个医生在这次事件过了很久之后画的。这幅画暗示梵·高当时把整个耳朵都割下来了，而非仅仅是耳垂。不管怎样，当这个可怜的女人打开包裹时，她当场晕厥。梵·高逃跑了，人们马上叫了警察。

第二天早上，也就是圣诞节前夕，高更回到了黄房子。他发现警察站在门口，而他的艺术家朋友躺在被他的鲜血浸泡的床上。而本来希望和自己未婚妻度过第一个圣诞的提奥，在圣诞节当天去医院探望了哥哥。在被短暂地关在一个隔离间之后，梵·高于次年1月7日被释放，之后他写信给提奥：“好日子马上就要来了，我会在开满鲜花的花园里重新开始。”尽管之后他又经历了一次崩溃，并且又进了一次医院，但直到他4月离开阿尔勒前，他都在坚持画画。在这个处于人生绝望期创作的画作是梵·高本人的最爱之一。