Михайло Якович Рудинський народився 14/27/ жовтня 1887 року в невеличкому повітовому містечку Охтирці на сучасній Сумщині в родині земського лікаря. Освіту отримав у Охтирській гімназії, продовживши навчання в Петербурзькому, згодом Харківському університетах. Вир революційних подій 1905 року захопив юнака романтикою боротьби, та з часом політичні уподобання змінилися пристрастю до науки.

"Моє дитяче захоплення археологією, в його чисто хлоп'ячій формі,... прийшло без найменших сторонніх впливів. Його джерелом була глибока любов до природи, яку збудили в мені наш дім, Охтирка і незрівнянні своїми враженнями її чудові околиці, любов, що з нею прожив я все своє життя". М. Я. Рудинський захистив магістерську дисертацію про неолітичні пам'ятки Середнього Поворскля, видавши згодом на цю тему свою першу наукову статтю в Полтаві 1919 року. Подальший життєвий шлях вченого проліг через Путивль, Переяслав, Київ та Петроград, де молодий педагог у середніх навчальних закладах прищіплював учням любов до батьківщини і вітчизняної історії, знайомився і співпрацював з корифеями української науки і культури, вів розкопки у численних експедиціях, подорожував.

На хвилі національного піднесення 1917 року М. Я. Рудинський повертається до рідної домівки, а восени того ж року переїзджає до Полтави. В місті він обіймає посаду завідуючого педагогічним бюро Полтавського губернського земства, поринає у видавничу діяльність, стає членом наукових товариств, зближується з яскравим колом широко відомих діячів української науки - В. Бучневичем, К. Мощенком, І. Павловським, Л. Падалкою, В. Щепотьєвим, В. Щербаківським та ін.

Любов до старожитностей приводить Рудинського до Народного музею Полтавщини (так звався тоді Полтавський краєзнавчий музей), до головування у Губернському комітеті охорони пам'яток старовини та мистецтва.

Врятування історико-культурних цінностей, збереження пам'яток, формування музейних збірок захоплюють М. Я. Рудинського, не залишаючи часу ні на особисте життя, ні на можливість використати кон'юнктуру у просуванні по службі. 1919 року молодий вчений створює картинну галерею - Галерею мистецтв губернського музею (попередника Полтавського художнього музею), приймає участь у формуванні Полтавського архіву, майбутньої обласної бібліотеки. Саме в цей час і з'являється його перша книга, що ввібрала в себе як протиріччя епохи, так і необхідність пристосування для користі справи до частих змін влади. Обмаль коштів на наукову і збиральницьку діяльність, хвиля перших репресій не зломила археолога і пам'яткоохоронця. У найскладніший час він стає заступником, з 1922 року - директором Центрального пролетарського музею Полтавщини. Разом з М. Гавриленком, К. Мощенком, В. Ніколаєвим та В. Щербаківським створює експозиції центрального музейного осередку Полтавщини, переобладнує будинок Полтавського губернського земства під музей, консультує музейне будівництво в межах історичної Полтавщини, очолює пам'яткоохоронну діяльність у колишній губернії.

На 1922-1924 pp. припадає найбільш активний період польових археологічних і етнографічних досліджень музею, очолюваного вченим. Нові відкриття та переосмислення діяльності попередників закладають підвалини успішної видавничої наукової роботи музею, яка може бути взірцевою для всієї України.

Та принципове ставлення до виконання своїх обов'язків, авторитет М. Я. Рудинського як вченого й інтелігента, починають турбувати представників влади. Зміна керівництва в Полтаві 1924 року призвела до пошуку нових виконавців, "лояльних" до вимог більшовицького "культурного виховання мас". Рудинського змінюють на посаді директора музею членом ВКП/б/, мало не віддавши під слідство за приписані гріхи.

Але М. Я. Рудинський вже був надто відомою особистістю в Україні. Його запрошують до Лаврського музейного містечка у Києві, історичного музею. 1924 року він обирається вченим секретарем Всеукраїнського археологічного комітету Всеукраїнської Академії Наук, до 1928 року очолюючи наукову діяльність в галузі стародавньої історії та археології в республіці. В 1928-1933 pp. він працює науковцем Кабінету антропології ВУАН, проводячи чи не наймасштабніші на Україні польові археологічні дослідження на терені вивчення пам'яток кам'яного та бронзового віку, організовує діяльність Дніпробудівської експедиції Наркомосвіти України.

В ході своїх досліджень М. Я. Рудинський часто повертається на Полтавщину. Ось далеко не повний перелік населених пунктів краю, де вів розвідки чи розкопки вчений: Кантемирівка, Макухівка, Мачухи та Орлик у Поворсклі; Градизьк та Максимівка на Дніпрі; Баранівка і Шишаки на Пслі; Журавка у Посуллі та ін.

Під час розгрому наукових кадрів на Україні М. Я. Рудинського 1934 року вислано поза її межі. Лісоповал за Котласом, контора облспоживспілки та обласний музей у Вологді були його місцем роботи до 1944 року. Та М. Я. Рудинський не полишає наукової та пам'яткоохоронної діяльності. 1944 року вчений повертається на Україну, де займає посаду вченого секретаря інституту археології АН УРСР в Києві. 1948 року М. Я. Рудинському присвоєна наукова ступінь доктора історичних наук, у 1950-х pp. Михайло Якович очолював відділ первісної археології цього ж інституту. Активно вів польові дослідження, в т. ч. й на Полтавщині, зберіг, описав і опублікував унікальний комплекс петрогліфічних малюнків Кам'яної Могили біля Мелітополя у Приазов'ї.

До останніх років життя підтримував зв'язок з Полтавою, опікувався станом її музейних збірок, відбудовою архітектурного „обличчя" міста.