В 1856 г. группа предпринимателей немецкого происхождения предложила ему основать частную школу для мальчиков, которая им была открыта 10 сентября 1856 г. в доме № 56 по 1-й линии Васильевского острова. Впоследствии школа стала известна как «Гимназия Мая» или Петербургская школа Карла Мая.

Всю свою жизнь К.И. Май был простым и скромным человеком, но главной его чертой была безграничная любовь к детям, которым он отдавал все свои силы и знания. После тяжёлой болезни К.И. Май скончался 20 марта 1895 г., его отпевали в шведской церкви св. Екатерины, после чего похоронили на Смоленском лютеранском кладбище на Васильевском острове, где в 1896 г. на могиле был установлен обелиск с надписью «DUX FUIT AD LUCEM MIATIS QUAEENTBUS ILLAM» («вождём был к свету путников, ищущих его»). 

· Давайте ученикам истинное знание, так как только оно имеет непреложное значение и истинную силу.

· Пусть пути будут различны, но образование и воспитание, во всяком случае, должны оставаться конечной целью всякого преподавания.

· Нельзя всех и каждого стричь под один гребень, действовать следует разумно, применяясь к свойству предмета личности, степени развития учеников и учителей.

· Ум, нравственные качества, эстетическое чувство, воля и здоровье ученика в равной степени должны быть заботой учителя

· Ценны не голые сведения, а внутренняя просвещённость, чутьё правды, сила воли.

· Тот ряд практических занятий действительно плодотворен, где требуется от учеников самостоятельность и самые знания приноровлены к их силам.

·  От учеников надо требовать только то, что они в состоянии исполнить, что не превышает сил класса и каждого ученика в отдельности.

·  Пример преподавателя — самое действенное средство воспитания.

· Дисциплина — ещё не воспитание.

· Воспитание имеет целью не сломить волю ребёнка, а образовать её.

· От юного существа можно добиться всего посредством высказывания к нему доверия.

· Наказание только тогда действительно, если оно понятно провинившемуся и вполне соответствует степени тяжести содеянного проступка.