Первоначально земское руководство предоставило музею небольшой флигель, который располагался на территории земского корпуса. После постройки земской управой нового здания, архитектором которого был В. Г. Кричевский, музей занял свое место в третьем этаже. Само здание выполнено в стиле украинского модерна, внешнее и внутреннее убранство интерьера ярко выражено украинской тематикой. В 1909 году, посетив Полтаву, император Николай II выразил недовольство оформлением музея. Он считал ее украинской, а не только принадлежащей Российской империи.
Здание музея состоит из трех этажей, первый этаж отделан розовым гранитом. Над центральной частью возвышается стрельчатая крыша с двумя башнями и боковыми выступами. Фасад здания украшают гербы уездных городов Полтавской губернии начала ХХ века, выполненные из керамики и майолики. Внутри здания находится геральдика с цветочным и растительным орнаментом. Украшение было заказано в городах Опишна и Миргород, известных своими прекрасными мастерами керамики и майолики. На дверях главного входа есть украшение в виде резного «древа жизни», придающего зданию особый колорит.
Биолог Н. А. Олеховский стал первым директором музея. Меценат Е.Н. Скаржинская из г. Лубны передал музею коллекцию в двадцать тысяч и научную библиотеку, а сам П.П. Боровский передал в дар коллекции предметов древнеегипетского искусства и произведений китайских, японских и индийских мастеров. Кроме того, Полтавская епархия передала из своих хранилищ несколько тысяч старинных церковных предметов.
Интерьер музея
После революции музей занял все помещение губернского земства. Экспозиции появились в музее, благодаря постоянным экспедициям по Полтавщине в период до 1930 года. В 1941 году часть коллекции удалось перевезти в Тюмень и Уфу, значительная часть погибла после оккупации гитлеровцами, а часть была разграблены ими.
Для сравнения: до войны в музее было более 118 тысяч предметов, а после войны их осталось всего 37 тысяч. Поврежденное здание музея было восстановлено лишь в 1964 году, а полное восстановление интерьера и переэкспозиция выставочных залов завершились только в начале девяностых годов.
Сегодня музейный фонд насчитывает более 190 000 экспонатов. Здесь посетителям предлагают увидеть старинное холодное оружие, доспехи, всевозможную бытовую утварь и культовые сооружения. В исторических залах размещены выставки, посвященные истории казачества Полтавщины XVII и XVIII веков, а также «Полтавчане в годы Великой Отечественной войны».
