Fue el segundo hijo de Semyon Grigorievich Makárenko, pintor de un depósito ferroviario, el cual era un hombre reservado y poco comunicativo. Su madre Tatyana Mikhaylovna, hija de un soldado ruso, era en contraste una mujer con gran sentido del humor y optimismo. Antón describió su carácter como el “tono mayor”.

Makárenko durante su niñez resultó ser un tanto débil y enfermizo, aunque tenía una capacidad de observación poco común. A los cinco años ya sabía leer y escribir sin inconvenientes y a los siete años ingresó a la escuela de primeras letras.

Cinco años más tarde, en 1900, el padre obtuvo un empleo en Kriúkov, por lo que la familia se mudó a este suburbio de la ciudad industrial de Kremenchug. Makárenko se matriculó en la escuela urbana de dicha ciudad en la que estudió durante seis años, destacándose en materias como filosofía, astronomía y ciencias naturales.

Al salir tomó un curso pedagógico de un año y en 1905, con apenas diecisiete años, comenzó a enseñar. Sus primeros años fueron en la escuela primaria de la empresa en la que trabajaba su padre, en la estación Dolinskaya cerca de Kherson.

Allí comenzó a hacer ciertas experimentaciones con sus alumnos y una de sus primeras conclusiones fue la necesidad de comprender las peculiaridades de la vida de cada estudiante, pues conociendo sus rasgos personales sería más fácil influir en ellos para la mejora de su comportamiento.

En 1914 se matriculó en el Poltava Training College que no pudo continuar. Dos años más tarde se unión al ejército ruso, pero en marzo de 1917 lo desincorporaron por mala visión. Por ello retomó sus estudios y logró graduarse con honores.