Нейгауза никогда не покидала надежда, что талант Рихтера раскроется и в этой области: "Тот, кто знаком с его детскими и юношескими опытами, кто слышал, как он импровизирует, тому совершенно ясно, что он настоящий композитор. Пока, к сожалению, вследствие огромной загруженности “чужой музыкой" Рихтер - только “потенциальный” композитор, так как писать ему просто некогда. Мне, как педагогу, хочется, чтобы огромное потенциальное дарование Рихтера расцвело и выявилось полностью. Слишком было бы обидно и для него самого, и для нас всех, если бы этого не случилось" И ещё одно юношеское увлечение Рихтера - дирижерство - первая его мечта, уже как самостоятельного исполнителя. Желание увидеть себя во главе оркестра не следует считать прихотью молодого музыканта. Работая в одесском оперном театре концертмейстером и общаясь с известным оперным дирижером Столерманом, Рихтер строил определённые планы по поводу дирижёрской карьеры. И мечта пианиста один раз воплотилась в концерте, состоявшемся 18 февраля 1952 года, в вечер московской премьеры Симфонии-концерта Прокофьева. Критика сожалела, что это доброе начало не нашло продолжения.
Нейгауз писал: "… совершенно необходимо, чтобы Рихтер со временем стал дирижёром, так как и в этой области его достижения были бы ничуть не ниже пианистических. Кто слышал, как он читает “с листа" сложнейшие оперы, камерно-симфонические произведения, тот не усомнится в справедливости моего утверждения. Дело тут в… львиной хватке, в без-ошибочности творческой воли, в непогрешимости технических средств, сразу позволяющих дать совершенное исполнение любимого произведения".
Все эти "дирижёрские" качества являются особенностями стиля его фортепианной игры. Он постоянно мыслит оркестрово, как дирижёр. Для него характерно умение соподчинять различные звуковые планы по степени их значимости, владение "звуковой перспективой", тембровыми оттенками, светотенью, поразительно точное, конструктивно-чёткое ощущение ритма и по-дирижёрски искусное владение временем.
Ещё одно увлечение Рихтера, не оставившее его на протяжении всей жизни - литература. Он благоговел перед Шекспиром, Гёте, Пушкиным, Блоком, Прустом, Метерлинком. Его энциклопедическому знанию мировой художественной литературы мог бы позавидовать любой филолог. Рихтер использовал для чтения всё свободное время. Он всегда брал с собой книги в любую дорогу. Нейгауз рассказывал, что к нему как-то подошёл Гедике, после того, как чуть не столкнулся с Рихтером на улице, и сказал: "Непременно скажите Рихтеру, что опасно читать на ходу". Рихтер рассказывал, что на уроках с Нейгаузом они часто играли в следующую игру: "Генрих Густавович спрашивал: “Что тебе напоминает h-moll’ная рапсодия Брамса? Какой сюжет? ” …Я мучился целые сутки, ничего придумать не мог. К тому же и музыка не слишком нравилась. Думал, про задание он забудет, а он опять спрашивает. Я читал тогда “Принцессу Грезу" Ростана и честно пересказал сюжет: рыцарь-трубадур влюбляется в принцессу, которую никогда не видел. А она увлечена другом этого трубадура… Трубадура настигает смертельный недуг, а гордая принцесса уходит в монастырь. Генрих Густавович сидел задумчиво, а после начал меня хвалить: “Интересно, мне бы никогда и в голову не пришло. Но всё-таки это от лукавого. Вот если б ты прочитал “Кимейского певца" Франса, то понял бы, что происходит в рапсодии”. И он показал на рояле, как старец проклинает обитель раздора, как прижимает лиру к груди и как поднимается на высокий мыс… Я не слышал более ни у кого такой рапсодии, чтобы так играли. Такая страсть и такое самосожжение! Я тогда и решил, что h-moll’ную рапсодию Брамса играть никогда не буду".