Con el hundimiento de la economía alemana después de la Primera Guerra Mundial, la familia se mudaría a Baltimore en 1923. Para que sonara más americano, sus padres comenzaron a llamarle "Henry". Más tarde se trasladarían a un suburbio de Los Ángeles. Durante su niñez, su padre, que frecuentemente estaba en paro, maltrataba a Bukowski (hechos que él mismo relata en multitud de poemas y relatos, y en la novela "La senda del Perdedor"). Además, no fue muy bien aceptado en el colegio de pequeño (tenía marcas por la cara debidas al acné, lo cual hacía mayor el rechazo sufrido). Junto con su timidez, hizo que se refugiara en la lectura en la primera etapa de su vida.

Tras graduarse en el Instituto de Secundaria de Los Ángeles cursó estudios de arte, periodismo y literatura en la Universidad de los Ángeles durante dos años.