Построен по указу Александра I в 1821-1823 гг. (проект губернского архитектора П.Я. Панькова). Дом являлся не только официальной резиденцией ярославских губернаторов, но и императорским путевым дворцом для приезда высочайших особ.

В комплекс построек, кроме главного здания, входили три флигеля (сохранился один - левый) и сад, протянувшийся от дворца до Ильинской – главной площади Ярославля.

За время своего существования здание неоднократно реконструировалось.

Для французского писателя и путешественника маркиза Астольфа де Кюстина посещение Губернаторского дома в Ярославле оказалось одним из самых ярких его впечатлений в России. В книге "Россия в 1839 году" он две главы посвятил пребыванию в этом доме. Де Кюстин писал, что нашел здесь "отзвуки французского духа XVIII века, того духа, который давно исчез на родине". Наряду с роскошным внутренним убранством дома его поразил прием, устроенный К.М. Полторацким (1782–1858, ярославский губернатор 1830-1842), "отличный, но без ненужной изысканности" обед, розыгрыш лотереи и вечерний домашний концерт: "Один из братьев губернаторши играл очень недурно на виолончели. Аккомпанировала ему его жена, особа чрезвычайно приятная. Благодаря этому дуэту, а также национальным песням, исполненным с большим вкусом, вечер пролетел очень быстро".

При губернаторе К.М. Полторацком здесь впервые состоялась презентация произведения молодого художника. Во время пребывания в Ярославле императора Николая I в 1841 году губернатор представил ему выставленную во дворце картину молодого художника из села Большие Соли, Ярославской губернии Евграфа Сорокина под названием “Петр Великий за обедней в соборе замечает рисующего с него портрет Андрея Матвеева и предугадывает в нем талантливого живописца”. Поняв намек, заключенный в картине, и разглядев “живую, вольную руку” живописца, государь “тут же благоволил дать повеление принять его в Академию художеств” на свой счет.

Прошло почти полтора века, произведения Евграфа Сорокина хранятся в собрании Ярославского Художественного музея, а традиция презентаций продолжена музеем, разместившимся в этом доме.

Адрес музея: 150000, Россия, г. Ярославль, Волжская набережная, дом 23