Bobby Garfield revient dans sa ville natale de Harwich, dans le Connecticut, pour les funérailles de son ami d'enfance Sully-John. Près de cinquante ans ont passé, mais les souvenirs sont toujours présents.
En 1960, son père est décédé six années plus tôt, laissant sa mère Liz sans le sou. Celle-ci passe le plus clair de son temps avec un agent immobilier et délaisse son fils qu'elle considère comme un fardeau et un frein à ses naïves ambitions.
Un jour, Ted Brautigan, un vieil homme énigmatique, emménage dans l'appartement du haut.