Comme au générique d'un film, Villa Jasmin s'ouvre sur une vieille photographie prise à Tunis.
Un homme la regarde et se souvient. Le cliché lui suffit à faire surgir un monde englouti, coloré et joyeux, à reformer le puzzle d'une histoire familiale brisée par l'Histoire. Le narrateur, omniprésent, navigue à sa guise dans le temps et dans l'espace. Il retrouve avec ses parents les jours heureux d'avant sa naissance, l'odeur têtue du jasmin de la Tunisie du Protectorat, la nonchalance de l'avant-guerre.
C'est la douce présence de sa mère, Odette, le courage de son père, Serge, un juif, socialiste et franc-maçon. C'est l'Occupation, quand le drapeau nazi flotte sur la villa et qu'un jeune fasciste français règne cruellement sur le pays. C'est la résistance du père, déporté en Allemagne, relâché par miracle et libérateur de Paris. Dans une fresque qui mêle, des deux côtes de la Méditerranée, les collabos de Paris et les combattants antifascistes, les Allemands et leurs victimes, Villa Jasmin dévoile des aspects peu connus de la colonisation et de la Seconde Guerre mondiale.
Mais c'est aussi un chant d'amour offert par l'auteur à la mémoire de ceux, exilés du côté de la Mort, qui ne cessent de frapper à la porte des vivants, contre l'oubli.