Также деятельность М.М. Сперанского вызвала недовольство консервативного дворянства, выступавшие против преобразования государственного строя России, которое обвиняло его в государственной измене и добилось его отставки. Некоторые открыто называли Сперанского врагом дворянства.
Растущая напряженность в отношениях с Францией сказалась на внутренней политике России. Дворянская оппозиция, недовольная реформой образования, сделала подготовленный Сперанским в 1812 году проект Гражданского кодекса Наполеона, поводом для решительного и успешного удара по реформаторским тенденциям, характерным для первого десятилетия правления Александра. В Эрфурте Сперанский сошелся с французскими законоведами Локре, Легра, Дюпон де Немуром и добился их назначения членами-корреспондентами законодательной комиссии Государственного совета. Намереваясь “резать по живому, кроить из целого куска” он мечтал о гражданской свободе, о равенстве перед законом, об отмене крепостничества. Его реформы, уложение законов и в особенности его восхищение Наполеоном вызвали яростное противодействие со стороны дворянства. Спустя несколько лет тяжелые испытания от неудач первых коалиций против Наполеона поставили вопрос о необходимости политической реформы. Теперь уже всеобщее недовольство, финансовый кризис, расшатанность государства настойчиво напоминали о непригодности старых форм правления. И от расплывчатых мечтаний о политической свободе приходилось перейти к составлению точного плана государственного преобразования. Эта потребность выдвинула на авансцену внутренней политики великого систематика - Сперанского.
В начале 1811 г. Сперанский представил и новый проект реорганизации Сената. Суть этого проекта в значительной мере отличалась от того, что планировалось первоначально. На сей раз, Сперанский предлагал разделить Сенат на два - правительствующий и судебный, т.е. разделить его административные и судебные функции. Но и этот весьма умеренный проект был отвергнут большинством членов Государственного совета, и, хотя царь все равно утвердил его, реализован он так и не был. Что касается создания Государственной думы, то о ней в 1810 - 1811 гг. и речи не было.
Преобразовательная деятельность Сперанского не получила дальнейшего развития и скоро была прервана внешними и внутренними обстоятельствами. Во-первых, самое приближение к царю Сперанского вызывало против него зависть и вражду в «высшем свете» Петербурга. Во-вторых, его французские симпатии вызывали недовольство во всем русском обществе, которое проникалось все более враждебным отношением к Наполеону и к Франции, и сам император Александр чувствовал всю непрочность французского союза и предвидел неизбежность борьбы с Наполеоном в недалеком будущем. Всеобщее недовольство увеличивалось продолжающимся расстройством государственных финансов, которого финансовый план Сперанского не мог остановить. В марте 1812 г. Сперанский был уволен со службы и выслан в Нижний Новгород, а потом в Пермь (хотя, как он справедливо: писал в своем оправдательном письме, все, что он делал, он делал с согласия Александра или по его поручению).
Из ссылки Сперанский обращался к Александру I с письмами, в которых пытался оправдать свои преобразования. В 1814 году он обратился к государю с письмом. В этом письме он просит позволения поселиться в своей маленькой новгородской деревне, Великополье. В 1816 году император назначил Сперанского сначала пензенским губернатором, а затем сибирским генерал-губернатором. В 1821 Сперанский был возвращен в Петербург, назначен членом Государственного совета и Сибирского комитета, управляющим комиссии составления законов, получил земли в Пензенской губернии. Но, когда Сперанский вернулся в Петербург, его здесь ожидало новое разочарование. Он надеялся если не на прежнюю близость, то на примирение и полное признание своей невиновности. Ничего подобного не случилось. Времена переменились. Бывшему государственному секретарю не было места в этой системе, и вскоре он почувствовал это. Личные отношения его с государем никогда уже не принимали прежнего характера.