El 10 de marzo de 1934 dio su primer recital en el club de ingenieros de Odessa, pero no empezó a estudiar formalmente piano hasta tres años después, cuando decidió buscar a Heinrich Neuhaus, famoso pianista y profesor en el Conservatorio de Moscú. Durante la audición, Neuhaus le susurró a otro estudiante: “Este hombre es un genio”. Aunque Neuhaus dio clase a muchos grandes pianistas, entre ellos Emil Gilels y Radu Lupu, se dice que consideraba a Richter su “alumno genial, al que había estado esperando toda la vida”, a la vez que admitía que no había podido enseñarle “nada”.

En sus comienzos, Richter también hizo sus pinitos en la composición, e incluso parece que tocó algunas de sus composiciones en la audición de Neuhaus. Sin embargo, abandonó la composición poco después de mudarse a Moscú. Años después, explicó esta decisión: “Quizás la mejor manera de explicarlo es que no tiene sentido traer más mala música al mundo”.

En 1940, todavía estudiante, estrenó la Sonata para piano no. 6 de Sergéi Prokófiev, compositor a cuyas obras quedaría asociado para siempre. Se hizo famoso por saltarse las clases obligatorias de adoctrinamiento político en el conservatorio y por ser expulsado dos veces en su primer año. Siempre fue un extraño a la política de la Unión Soviética, y nunca se unió al Partido Comunista.