Fils de Maïmon ben Yossef HaDayan, Issu d'une longue et illustre lignée de rabbins et juges, que certains n'hésitent pas à faire remonter jusqu'à Rabbi (lui-même réputé de lignée davidique), il naquit à Cordoue. Le fait que sa date de naissance soit connue au jour près (encore qu'un doute subsiste sur l'année, 1135 ou 1138), ainsi que celle de son décès est indicateur de la réputation qu'il avait acquise de son vivant. Il perdit sa mère en jeune âge.

Vers l'âge de 13 ans, il fut contraint à l'exil lors de la prise de Cordoue par les Almohades. Ceux-ci contraignaient effectivement à la conversion ou l'exil. La famille Maïmon émigra vers le Maroc, où le jeune Moïse s'instruisit en sciences juives et profanes. Il lut Aristote, Hippocrate et bien d'autres et prit connaissance des écrits d'Averroès à la fin de sa vie. La légende veut qu'il se soit brouillé avec son père, désespéré par son désintérêt affiché pour les études religieuses, avant de reparaître, voilé par son talith, faisant un magistral sermon lors du Shabbat avant de se réconcilier avec son père, vaincu par l'émotion et la maestria dont faisait preuve son fils. S'il s'agit bien d'une légende, inspirée de la biographie de Rabbi Akiva rapportée dans le Talmud, il est probable que son intérêt pour les sciences philosophiques en soit à l'origine. Cependant, le Talmud lui-même ne rapporte-t-il pas : "La croyance des nations (idolâtres), ne la crois pas, la sagesse des nations, crois-la" ?