司马懿的高祖父司马钧为汉安帝时的征西将军，曾祖父司马量为豫章太守，祖父司马隽为颍川太守，父亲司马防为京兆尹。
司马防育有八子，因字中都有一个“达”字，当时号称司马八达。晋武帝司马炎诏书说：“本诸生家，传礼来久。”
司马懿是司马防的次子，“少有奇节，聪明多大略，博学洽闻，伏膺儒教”。东汉末年，司马懿生于乱世，“常慨然有忧天下心”。
南阳太守杨俊素以知人善任著称，司马懿二十岁前，杨俊曾见过他，说他绝非寻常之子。
尚书崔琰与司马懿的兄长司马朗交好，曾对司马朗说：“你弟弟聪明懂事，做事果断，英姿不凡，不是你所能比得上的。”
司马懿少年时和著名隐士胡昭关系很好。因与同郡的周生等人结怨而被谋害，胡昭知道后立刻涉险寻找，在崤山渑池之间找到周生一行，请求他们放过司马懿，周生开始不肯，但胡昭哭泣的诚意最终还是感动了他，救下司马懿。
建安六年{公元二零一年}，郡中推举他为计掾。时曹操正任司空，听到他的名声后，派人召他到府中任职。