凭借优异的表现，18岁的阿里成为美国代表队的成员，出征1960年的罗马奥运会。在81公斤级的比赛中，阿里三战全胜，顺利进入决赛。他的对手波兰人皮埃茨克斯基，是三届欧洲冠军，和1956年奥运会的铜牌得主。。
他在场上的精湛技艺令人叹服，有人形容他的出拳，像蜜蜂刺人一样的犀利，而他脚下的步法，又像飞舞的蝴蝶一样轻盈、灵活。此外，年轻的阿里不仅在场上表现突出，在生活中他也非常活跃。在奥运村里，他向每个人问好，还和大家开各种玩笑，成了那里知名度最高的运动员。
三个回合下来，阿里以点数的优势战胜对手，获得了自己唯一的一枚奥运会金牌。而他独创的步法，也被人们形象地称为蝴蝶步。