S'han trobat a les coves del terme diverses restes prehistòriques que qualifiquen alguns llocs, com la cova del Filador, com uns dels jaciments de sílex mes importants del Paleolític Superior a Catalunya.

El nom de Margalef és probablement d'origen àrab, inspirant-se amb les grans quantitats de conglomerats de marga que hi ha pels voltants del poble.

És possible que fos un dels últims reductes dels àrabs, junt amb Siurana.

Al principi del segle XIII, l'any 1200, el rei Pere I donà el lloc de Margalef a Gombau de Sataoliva, bisbe de Tortosa, per repoblar-lo. Fou aleshores quan s'incorporà a la Baronia Episcopal de Cabacés. A partir d'aquell moment, la població anà augmentant demogràficament fins a la fi del segle XIX que, a causa de la fil·loxera, patí una davallada com tots els altres pobles del Priorat.