吕布很早就听说，颍川是一个地杰人灵的地方，除了荀彧、荀攸叔侄和郭嘉之外，除了袁绍麾下的荀谌、郭图、辛评之外，还有四大名士辛毗、陈群、杜袭、赵俨，吕布曾慕名征辟之，可惜当时吕布刚到洛阳，名声不彰，均被他们拒绝。
后来董卓霸占洛阳，洛阳靠近颍川，战火蔓延，颍川四大名士为避战乱，分别离开颍川，陈群举家搬迁到徐州，辛毗跟随兄长辛评投靠袁绍，而赵俨、杜袭相约一起前往荆州暂避，并在那里结识了同乡繁钦，三人一见如故，顿成莫逆之交。
当时荆州刺史还是韩馥，他素闻赵俨、杜袭、繁钦之名，刻意对他们进行笼络，并以贵宾之礼对待他们三人，多次请他们入仕。赵俨通过观察，认为韩馥生性怯弱，不能长久，坚辞不就，果不其然，过了不到一年，袁绍就窃取韩馥的荆州。
袁绍又延请赵俨三人，赵俨则认为袁绍色厉内荏，外宽内忌，喜欢招揽人才却不能量才使用，不是一个成大事的主，继续坚辞不就，还劝说在袁绍面前炫耀文才的繁钦远离袁绍，以免抱憾终生。
三人继续南渡，隐居在长沙郡，静待时局。
后来吕布迎少帝于邺城，发布唯才是举令，并实施屯田制度，赵俨认为“吕镇北（当时吕布还为镇北将军）应期命世，必能匡济华夏”，于是就同杜袭、繁钦等人一起举家北还，然而司隶一带被董卓占据。他们无法北上，滞留在襄阳时。他们又被袁绍延请，不得已暂时为袁绍效力。
此后吕布奇袭洛阳，两次击败袁绍，袁绍胆寒，遂却了北上跟吕布抗衡的决心，一心往南边发展，赵俨因此更看轻袁绍，数次准备北上投奔吕布。都因为时机不成熟而停止。
这次吕布扶持少帝还都洛阳，袁绍跟孙策在江夏一带正打得如火如荼，担心背部受敌，有心跟吕布恢复旧好，便派辛毗为使者，前去洛阳朝见天子，象征性地贡献一部分赋税。当然重点是拜谒大司马吕布。
赵俨、杜袭、繁钦便携带家眷，混入辛毗的车队里，前去洛阳。
吕布得到赵俨、杜袭、繁钦到来的消息，大喜，亲自迎出大司马府。
吕布如此器重赵俨三人，实在是了解这三人在历史上都有值得器重的才能和表现。
赵俨最卓越的才能便是善于处理诸将的关系。是一个非常杰出的参军人才。
那一世，建安二年，赵俨投奔曹操，曹操任命赵俨为郎陵长。在郎陵，赵俨恩威并用。郎陵混乱局面迅速好转，赵俨在郎陵结识了阳安都尉李通。赵俨劝告李通忠诚于曹操。杀死了袁绍招降的信使，又拒绝了刘表的招抚，而后赵俨又协助李通率领阳安军民，平息了流窜于淮河与汝河之间的流寇，使阳安成为屏护许昌的坚固堡垒，免去了曹操同袁绍决战的后顾之忧。