En 1932, la madre de Ella murió tras un grave accidente de tránsito. Tras estar con Da Silva durante un breve período, su tía Virginia se hizo cargo de ella. Poco tiempo después, Da Silva falleció de un ataque cardíaco, por lo que Frances tuvo que irse también a vivir con Ella y su tía.

Este ambiente dramático condicionó el comportamiento de Ella, que tuvo frecuentes problemas con el absentismo escolar e incluso con la policía, lo que la llevó a ser internada en un reformatorio, de donde trató de escapar varias veces, así como de su casa, con el deseo primero de ser bailarina.

Ya de pequeña le gustaba bailar y cantar en un club escolar y en el coro de la Bethany African Methodist Episcopal Church. Aprendió a tocar el piano, escuchó atentamente la radio y estudió todas las grabaciones que salían de Louis Armstrong y The Boswell Sisters.

Su familia solía asistir a la Iglesia de Cristo. Los Joplin sentían que Janis siempre necesitaba más atención que el resto de sus hijos. Su madre decía: «Ella era infeliz e insatisfecha. La relación no era la más adecuada».

En su adolescencia se hizo amiga de un grupo de marginados a través de quienes tuvo acceso a discos de artistas de blues afroamericanos como Bessie Smith, Ma Rainey o Lead Belly, a quienes más tarde Joplin acreditó como influencia en su decisión de convertirse en cantante. Al comenzar a participar en un coro, fue conociendo otros cantantes de blues como Odetta, Billie Holiday y Big Mama Thornton. A los dieciséis años, comenzó a manifestar su amor por la música, frecuentando los bares de Luisiana, donde escuchaba música afroamericana, de blues y jazz.