Taneyev comenzó a tocar el piano a los cinco años y entró en el Conservatorio de Moscú en 1866. Sus profesores fueron Chaikovski en composición y el fundador del conservatorio, Nikolai Rubinstein, en piano. Posteriormente se graduó en 1875, siendo el primer estudiante en la historia del Conservatorio en ganar la medalla de oro en composición y en interpretación (piano). Durante este mismo lapso inició su carrera como pianista de concierto en Moscú tocando el Concierto para piano No. 1 en re menor de Johannes Brahms. También actuó como solista para la premiére en Moscú del Concierto para piano No.1 de Chaikovski, quien quedó claramente impresionado por la interpretación de Taneyev pues pidió que él estrenase su segundo concierto para piano. (Después de la muerte de Chaikovski, Taneyev también terminó y estrenó su tercer concierto para piano.)

Sin duda Taneyev era absolutamente cosmopolita. Después de su graduación del conservatorio, pasó cinco años en París, donde se movió en los círculos artísticos y conoció a Ivan Turgenev, Gustave Flaubert, César Franck y Camille Saint-Saëns, entre otros.

Como profesor de composición del Conservatorio de Moscú tuvo gran influencia. Entre sus alumnos figuran: Alexander Scriabin, Sergei Rachmaninov, Reinhold Gliére, Paul Juon y Nikolai Medtner.

Taneyev era un profundo estudioso de Bach y de los maestros renacentistas como Desprez y Lassus. Además, su profundo amor a la cultura grecolatina le llevó a componer la que sería la primera ópera rusa sobre mitología clásica: la Orestiada. Luego de esta ópera se concentró sobre todo en la música de cámara hasta el año 1908, en donde retornó a las dimensiones más amplias, las cuales ya había abordado en 1898 con la Sinfonía No.4 en do menor.