L'abbazia è dedicata a san Fruttuoso di Tarragona, vescovo e santo catalano del III secolo, le cui ceneri sono conservate presso l'abbazia, dove sarebbero state traslate a seguito dell'invasione araba della Penisola Iberica.

L'abbazia non è raggiungibile da alcuna arteria stradale, ma vi si può accedere soltanto via mare oppure percorrendo due panoramici sentieri: uno che scende dal soprastante monte di Portofino e l'altro che percorre la costa partendo dalla baia di Portofino. L'abbazia prospetta sull'antistante spiaggia balneabile.

Nel 1951 vi fu girato il film Il diavolo in convento di Nunzio Malasomma con Gilberto Govi.

Nella sua baia collocata la celebre statua del Cristo degli abissi, posta nel 1954 sul fondale marino e restaurata negli anni novanta. Dal 1983 l'abbazia fa parte dei beni architettonici del Fondo per l'Ambiente Italiano, grazie alla donazione dei proprietari Frank e Orietta Pogson Doria Pamphilj. Periodicamente vi si svolgono concerti di musica classica e leggera e altre iniziative promosse dal FAI.

Nel 2014 l'Istituto Poligrafico e Zecca dello Stato ha coniato delle monete dal valore di 5 euro in argento per l'abbazia di San Fruttuoso.

L'abbazia sorse alla metà  del X secolo ad opera di monaci greci e fu ricostruita tra la fine del X secolo e l'inizio dell'XI per volere di Adelaide di Borgogna, vedova dell'imperatore Ottone I.

Nello stesso secolo passò ai monaci benedettini e fu ingrandita nel XII con l'aggiunta di un piano. Nel XIII secolo vi fu aggiunto il corpo edilizio con loggiato verso il mare, ad opera della famiglia genovese dei Doria, che utilizzò una sala dell'abbazia per le proprie sepolture. Il chiostro superiore fu ricostruito nel XVI secolo per volontà  di Andrea Doria, mentre nel 1562 fu costruito il torrione di avvistamento quadrato che tuttora domina la baia.

L'abbazia fu in seguito abbandonata e utilizzata come abitazione. Nel 1933 fu restaurata dallo Stato e nel 1983 i Doria Pamphili donarono gli edifici e i terreni al Fondo per l'Ambiente Italiano.