En principio, sirvió como campo de internamiento para los residentes alemanes en Francia, con lo cual compartieron encierro auténticos nazis y exiliados alemanes, muchos de ellos judíos. Entre los internos, hasta 1940 se encontraban conocidos artistas, como Max Ernst, Lion Feuchtwanger, Hans Bellmer, Robert Liebknecht, Ferdinand Springer y Wolls.

Después, el gobierno de Vichy utilizó el campo para internar a los judíos antes de entregarlos a las autoridades nazis. En agosto de 1942 se produjeron deportaciones de niños desde este campo.

A diferencia de muchos otros campos de concentración, Mauthausen fue usado sobre todo para la exterminación de intelectuales, gente culta y miembros de las clases más altas de los países dominados por Alemania durante la Segunda Guerra Mundial. Hasta principios de 1940, el grupo más numeroso de internos se componía de socialistas alemanes, homosexuales y rumanos. A principios de 1940 un gran número de polacos fue trasladado al complejo Mauthausen-Gusen, sobre todo artistas, científicos, boy scouts y profesores. A finales de 1941 llegaron numerosos prisioneros de guerra soviéticos. Era el primer grupo destinado a morir en las cámaras de gas, a principios de 1942. Antes, los prisioneros que ya estaban exhaustos habían sido transferidos al Castillo de Hartheim, donde las cámaras de gas llevaban funcionando desde 1940.