Fue el primero de los grandes bajos profundos rusos que hizo una carrera internacional. Nació en Kazan a las orillas del Volga el 15 de febrero de 1873, hijo de padres humildísimos. Soportó grandes sufrimientos durante su niñez.
Llevado por su disposición para el teatro, actuó en una compañía que recorría varias ciudades de Rusia. Su debut se produjo a los 17 años cantando operetas. Alternaba sus funciones de cantante con las de bailarín, cantor callejero y hasta barrendero de calles.
Un viejo cantante que advirtió sus facultades artísticas le tomó bajo su protección y le hizo cantar en la ciudad de Tiflis, donde admiró a sus compañeros y al público por la facilidad sorprendente con que aprendía y actuaba.
Poco después comenzó a estudiar en forma metódica y se presentó en San Petersburgo en 1894. Más tarde en Petrogrado intervino en algunos conciertos y representaciones, formando parte después de la compañía de los teatros imperiales.
Desde entonces cantó, aclamado, en los más importantes teatros del mundo. La hermosa y profunda voz de bajo de Chaliapin y su soberbia actuación enloquecían al público y a los críticos. Su papel más famoso sigue siendo Boris, y su actuación llevó a Boris Godunoff, de Moussorgski al repertorio clásico.
En sus primeras interpretaciones actuaba Chaliapin sometido a las indicaciones de los directores, hasta que uno de ellos comprendió sus condiciones artísticas y le permitió desempeñarse según su criterio. Dotado de cualidades excepcionales sus interpretaciones resultaron admirables.
Hizo una creación del rol de Iván el Terrible de la Pskovitana. Después de Boris Godunoff en 1898, cantó Khovánchina y Sadko, y en 1899 actuó en la Ópera  Imperial de Moscú, cantando allí El Demonio, de Rubinstein.
En 1901 actuó en Milán cantando diez veces seguidas Mefistófeles, de Boito, junto al gran Enrico Caruso, bajo la dirección de Arturo Toscanini. Sus personajes favoritos fueron el Don Basilio de El Barbero de Sevilla y el Leporello de Don Juan.
Luego de la gira de Diaghilev, su carrera se centró en Europa y Norteamérica más bien que en Rusia, adonde no quiso más volver después de la revolución bolchevique.
Cantó muchos otros papeles en la ópera francesa donde hizo su debut en París después de la primera guerra mundial, causando gran sensación. Logró allí especial éxito con el papel principal de Don Quijote de Massenet. Con frecuencia su actuación era más impresionante aún que su canto, sobre todo al final de su carrera, porque lograba crear un real interés teatral.
Su arte fue original y personalísimo. Su voz de bellísimo timbre, emitida con maestría insuperable. Obtenía de ella variadas inflexiones, desde la rudeza del acento dramático hasta la delicadeza evocadora de tiernos afectos.
Más tarde se dedicó también a dar conciertos haciendo gala de su virtuosismo. Publicó además dos libros de memorias, Páginas de mi vida (traducido al francés con el título de Ma vie) en 1926 y Hombre y máscara en 1932. Falleció en París el 12 de abril de 1938. Su nombre ya es leyenda y será recordado siempre como una de las voces legendarias de mayor prestigio en su cuerda.