Michel Carmona est l'aîné d'une fratrie de sept frères et s?urs. Originaire d'Égypte, sa famille obtient la naturalisation française après l'engagement du père dans les forces françaises libres. Les Carmona s'installent en France où le père de Michel Carmona devient enseignant, puis rapidement se sépare du reste de la famille. Michel Carmona conjugue réussite scolaire puis estudiantine tout en participant au soutien familial. Ancien élève de l'École normale supérieure (promotion 1958 Lettres) et agrégé d'histoire, il est titulaire d'un doctorat ès lettres obtenu en 1980 à l'université Paris-Sorbonne avec une thèse sur le Grand Paris préparée sous la direction de Jean Bastié. Il enseigne la géographie à l'institut de Géographie de la Sorbonne.

Il mène avec succès une carrière universitaire. En 1987, il est nommé titulaire de la chaire d'aménagement et urbanisme de l'université Paris IV. Il dirige l'Institut d'urbanisme et d'aménagement de la Sorbonne de 2000 à 2009 et est membre de l'École doctorale de géographie de Paris (E.d. Paris-Sorbonne)

Il est fait docteur honoris causa de l'université de Debrecen en Hongrie le 4 juin 2005. Personnalité médiatique, il est l'auteur d'un ouvrage d'art sur Georges Eugène Haussmann (paru en 2012) et intervient régulièrement dans des émissions télévisées consacrées à l'histoire.

En dehors de ses activités universitaires, il collabora avec la DATAR et devint un proche de Paul Delouvrier. Dans ce contexte, il eut vent de malversations gravitant autour de Charles Pasqua et s'éloigna aussitôt de ce milieu.

Michel Carmona a dirigé une dizaine de thèses au sein de l'université Paris-Sorbonne.