Brambory uvaříme ve slupce, slijeme a necháme zchladnout. Poté ustrouháme na jemno. Máslo rozpustíme, mouku promícháme s kypřicím práškem. Omyté a okapané švestky rozpůlíme a vypeckujeme. Plech vymažeme máslem a vysypeme hrubou moukou. Perník ustrouháme najemno a promícháme s cukrem a chladným máslem, až se hmota drobí.
V míse promícháme brambory s moukou, cukrem, vanilkovým cukrem, máslem, rumem a přiléváme vlažné mléko, až vznikne těsto, které spadá z vařečky.
Těsto rozetřeme na plech, poklademe půlkami švestek, rovnoměrně posypeme perníkem a v troubě předehřáté na 150 °C pečeme zhruba 30 až 40 minut.
Koláč necháme vychladnout a podáváme.