忽必烈顺势答应，并迅速从鄂州撤兵。1260年4月，他在开平府（今内蒙古正蓝旗及多伦一带）即大汗位，年号“中统”。与此同时，他的弟弟阿里不哥在北边即大汗位，占据了漠北，也在积极活动，两者互不相让。经过四年激战，忽必烈终于打败了阿里不哥，从而统一了蒙古统治集团内部。
然后，忽必烈大举南下。在南下攻打南宋时，忽必烈听从汉人官员姚枢、刘秉忠的劝告，严禁屠杀无辜百姓，他说：“贤明的君王出征，目的是在征服敌人，而不是屠杀老百姓。滥杀无辜只会伤了国家的元气！”
忽必烈在即大汗位时就在《即位诏》中宣布：“祖述（指祖宗的制度）变通，正在今日。”这表明，他想采用汉法，建立一个与中原经济基础相适应的中央政权。1264年，忽必烈将年号改为“至元”，并定都燕京（今北京），燕京仍为中都。忽必烈在中央设中书省，在各地分设十路宣抚司，任用汉族读书人负责；改变蒙古建朝以来的诸侯世袭制度，遵循中原汉族的传统制度，大体奠定了元朝的政治体制规模。
