Михаил Наумович Гаркави родился 26 (14) марта 1897 года в Бобруйске в семье провизора Наума Борисовича и зубнова врача Любови Львовны.
В 1899 году после пожара в Бобруйске семья переехала в Минск, а с 1990 года обосновалась в Москве. Оба родителя скончаоись в 1933 году.
В семилетнем возрасте Михаил впервые посетил театральное представление (это был "Иванов" Чехова в Художественном театре) и навсегда полюбил искусство.
Будущий артист окончил с золотой медалью 6-ю московскую гимназию и в 1913 году продолжил образование на медицинском факультете Московского университета и на театральном отделении Московского филармонического училища.
В 1916 году Гаркави был принят в труппу МХТ, участвовал в массовых сценах, играл роль Хлеба в «Синей птице».
С 1919 по 1922 год служил в Камерном театре, потом недолго работал в Московском детском театре, в Театре имени В.Ф.Комиссаржевской.
В 1922 году вступил в труппу театра-кабаре «Нерыдай», пробовал конферировать.
С 1924 году участник живой газеты «Синяя блуза», а с 1925 года — руководитель одной из её групп. Играл в коротких сценах, исполнял фельетоны, пел куплеты, танцевал, иногда вёл программу. Обращался к темам современности, злобе дня.
В 1928 году окончательно определился в качестве конферансье. Гастролируя вместе с Алексеем Алексеевым, учился у него. Большое влияние на Гаркави оказал Владимир Маяковский, встречи («разговоры-доклады») поэта с читателями.
1 января 1937 года на самой первой Кремлевской ёлке Михаил Гаркави предстал в роли Деда Мороза. Это было первое официальное появление новогоднего персонажа в жизни страны.
Гаркави работал на передовой во время Советско-Финской войны. Во время Великой Отечественной войны был постоянным участником фронтовых бригад.
В 1945 году награждён орденом Отечественной войны 1 степени и медалью «За доблестный труд в Великой Отечественной войне 1941—1945 гг.».
Выступал как конферансье до 1960-х годов. В конце жизни вёл программы джаз-оркестра Эдди Рознера.
Снялся в 3-х художественных фильмах "Красный тыл" (1924), Сталинградская битва (1949), Девушка без адреса (1958) и документальном "Мяч в игре" (1959).
Михаил Наумович Гаркави скончался 14 сентября 1964 года. Похоронен на Новодевичьем кладбище.
О жизни и творчестве М.Н.Гаркави в 2011 году выщла книга Андрея Ломакина «Красный шоумен».