Ініціатор створення - Наукове товариство дослідження й охорони пам'яток старовини та мистецтва на Полтавщині. Виїзна комісія Комітету охорони пам'яток старовини, мистецтва й природи з літа 1917 р. зібрала значні цінності у маєтках Кочубеїв (Диканька), Галаганів (Сокиринці), Капністів (В. Обухівка), Рєпніних (Яготин), Мещерських (Веселий Поділ). Наприкінці 1917 р. з Петрограда надійшла колекція М. О. Ярошенка (100 його картин та етюдів, 23 альбоми та твори художників-передвижників).

З 1920 галерея стала відділом Центрального пролетарського музею Полтавщини, а у червні 1940 р. виділена у самостійний художній музей. Його фонди налічували 30 тисяч експонатів, більша частина котрих втрачена в роки Великої Вітчизняної війни. У листопаді 1944 р. музей відновив свою діяльність на основі 4187 експонатів, що повернулися з евакуації.

На сьогодні у фондах музею близько 9 тисяч одиниць зберігання (900 творів живопису, 3 тис. графіки, 100 скульптур, 4800 декоративно-ужиткового мистецтва). Серед них: колекції західно-європейського та вітчизняного живопису, українського іконопису, народного малярства Полтавщини, українського народного мистецтва (килими, рушники, плахти, вибійки, вишивка, писанки, гончарні й різьблені вироби), декоративного мистецтва країн Сходу і Заходу.

Експозиція музею розташована у 13 залах (403 кв.м) і має розділи: західноєвропейське мистецтво 17-19 ст., українське та російське мистецтво 17 - поч. 20 ст., радянське.

Серед унікальних експонатів: полотна Л. Кранаха Молодшого, Д. ван Равенстейна, К. Петерса, М. де Хондекугера, П. Лелі, М. Баччіареллі, Ж.-Б. Грьоза, Е. Делакруа. Вітчизняні майстри пензля представлені іменами П. Ф. Соколова, Г. Г. та І. Г. Мясоєдових, І. Ю. Рєпіна, І. І. Шишкіна, О. Г. Сластьона, М. К. Пимоненка, С. І. Васильківського, Г. І. Цисса. Збірка митців Полтавщини.

Зразки народного та декоративного мистецтва України 17-19 ст. представляють вироби ювелірів Андрія Песляківського, Івана Равича, гончаря Остапа Ночовника, різьбярів Сисоя Шалматова, Василя Гарбуза, Павла Комашка, малярів Федора Стовбуненка, Дмитра Перепелиці та Катерини Білокур.

У музеї працювали: український археолог М. Я. Рудинський, художники М. М. Бокій, Л. С. Векштейн, П. М. Горобець, мистецтвознавець В. П. Лапа.

На фасаді будинку у 1987 р. встановлено меморіальну дошку Ярошенку М. О.

Видання музею: путівники (1919, 1965, 1984), каталог (1958), альбоми (1973, 1978, 1982).