Alla foce del fiume Testene in passato c'era una baia, utilizzata dai Greci per scambi commerciali, sia prima che dopo la fondazione della vicina Poseidonia (Paestum). Sul vicino promontorio, che prese il nome di "Petra", a metà del VII secolo a.C. venne edificato un tempio dedicato ad Artemide. In epoca romana, a partire dal I secolo a.C. è attestata la presenza di un piccolo borgo marittimo, Ercula, in prossimità dell'attuale lungomare San Marco, destinato a servire da approdo anche per la vicina Paestum, il cui porto andava insabbiandosi.

In seguito alle incursioni dei Vandali nel V secolo il borgo, difficilmente difendibile, venne abbandonato dagli abitanti, che si trasferirono sul vicino promontorio. Tra il 535 e il 553, con la guerra greco-gotica i Bizantini vi collocarono una roccaforte, che prese il nome di Acropolis("città alta"). Alla fine del VI secolo vi si rifugiò il vescovo di Paestum per sfuggire ai Longobardi. Con l'arrivo di profughi bizantini dalla Lucania Agropoli si ingrandì e divenne sede di un vescovato.

Nell'882 i Bizantini furono cacciati dai Saraceni, i quali costruirono un ribàt (nuova fortificazione): da qui partivano gli attacchi ai paesi vicini fino a Salerno. Nel 915 i Saraceni furono cacciati e Agropoli tornò in mano ai vescovi, che intanto si erano stabiliti a Capaccio. I vescovi dominarono la città per tutta l'epoca medioevale, insieme ai centri di Ogliastro ed Eredita, e ai villaggi di Lucolo, Mandrolle, Pastina, San Marco di Agropoli e San Pietro di Eredita, che componevano il feudo di Agropoli.