于是众人推举张郃出任主帅，指挥士兵，布置营寨，军心安定，不久，曹操遣使令张郃假节。
刘备欲渡汉水来攻，见魏军在汉水以北列阵相迎，刘备于是放弃渡河，隔水相持。
曹操亲自进攻汉中，不能取胜，于是撤出汉中的部队，令张郃屯兵于陈仓。
延康元年，曹丕即魏王位后，任命张郃为左将军，进封都乡侯爵位。
等到曹丕登基之后，又进封他为鄚侯，命令张郃与曹真率领兵马征伐盘踞在安定一带的卢水胡人和东部羌人。
战斗结束后，曹丕又在许昌宫召见了张郃、曹真，派张郃南下与夏侯尚一起进攻东吴政权的江夏郡。
张郃独自率领几路大军渡过长江，夺取了百里洲上的吴军堡垒。
曹叡即位后，派张郃来到南方，驻扎荆州，和司马懿一起进攻孙权的部将刘阿等人，大军来到祁口，与吴军激战，打败了刘阿所部。
太和二年，蜀汉丞相诸葛亮大举北犯，天水、南安、安定三郡吏民叛应诸葛亮，当时朝臣未知计所出，曹叡自信地说：
“诸葛亮恃险固守，不易进攻，
现在他自动来了，正符合引出敌人的战术，打败诸葛亮是一定的了。”
于是曹叡给张郃加官特进，让他总督各路军马，在街亭阻挡诸葛亮的部将马谡。
马谡依傍险要的南山扎寨，没有下山占据城池，张郃断绝了他取水的道路，然后发起进攻，大败马谡。
南安、天水、安定各郡反叛魏国响应诸葛亮，张郃领兵平定了这几处地方，曹叡下诏说：
“贼寇诸葛亮率领巴、蜀的乌合之众，遇上了猛虎一样的我军将士。
将军您披肩甲、执利器，攻无不克，朕要嘉奖你的大功，增加你的食邑一千户，连同一千的赏赐共计四千三百户。”
当时司马懿在荆州治理水军，打算沿著沔水进入长江讨伐东吴，曹叡下诏命令张郃统帅关中的部队接受司马懿的指挥。
张郃到达荆州时，正赶上冬季水浅，大船不能行进，于是回师方城驻扎。
公元229年，诸葛亮再次出祁山，对陈仓发动猛烈进攻，曹叡派驿马召张郃到京师，还亲自到河南县城，设置酒宴为张郃送行。
曹叡派遣三万士兵以及武卫、虎贲两营的勇士护卫张郃，还问张郃：
“等将军到了前线，诸葛亮会不会已经占领了陈仓？”
张郃知道诸葛亮孤军深入，不会携带太多的粮草，不能久攻，就回答说：
“估计臣还没到前线诸葛亮就已经撤走了，臣屈指计算，诸葛亮的粮草支撑不了十天。”
张郃昼夜行军到达南郑，诸葛亮果然撤退了，曹叡诏令张郃回师京城，任命他为征西车骑将军。