于是，便形成了以席氏家族为中心，洞庭山诸大族互相援引，利用亲戚、同乡的关系，结成一个颇具势力的“银行买办集团”。
席氏家族迅速在国内银行中产生影响，原因是多方面的。比如，席德懋一家与宋子文家族很早就有联系，席德懋原与宋子文同过事，后他的女儿梅英嫁给了宋子文的弟弟宋子良，而席德柄与宋子文又是在美留学的同学，关系自然非比寻常。
1949年中外出版社出版了《中国豪门》一书，解析民国时期宋氏等家族财团的形成，里面有一句话提到：“中国的财富，聚集在宋家的周围，用血缘与裙带，联成了一个中国式的独占财团。”
宋子文是民国第一财神爷，掌握着国家的财政大权，他所倚重的人物之一就有来自洞庭席氏家族的席德懋（席正普的长孙），席德懋的女儿嫁给了宋子文的弟弟宋子良，也就是上文中所说的“裙带”。
也正因为如此，民国时期席家的地位极高。
权贵之间关系只要没有利益冲突，一般都会努力处好关系，席家和聂家也是一样，在上海的时候，因为相互之间没有直接的利益冲突甚至还经常有合作（席家是大买办而聂家经营纱厂），双方关系很好。
但1937年以后，双方之间却产生了不可调和的矛盾。
1937年，为了躲避日寇的锋芒，国民政府西迁重庆，席家和聂家一样，也一起转移到了重庆。
四大家族和八大世家一同抵达重庆，自然会重新划分各自的势力范围，在这个时候，席家和聂家之间产生了冲突，不过当时是战争年代，保住家产和命才是最重要的事情，所以双方始终保持克制没有闹翻。
1949年，gmd败退台湾，双方都留下了子弟潜伏在国内担任特务头子，聂家的子弟就是聂荣，而席家的子弟就是席老三。
席老三原名席劳，是席正普三弟席缙华的子孙，因为他在同辈中排行第三，“劳”又和“老”同音，所以别人都叫他席老三，久而久之，席劳这个名字都被人淡忘了。
席老三并不是席缙华的嫡孙，而是偏房所生，刚生下来的时候得了一场大病，差点一命呜呼，算命先生说要取一个贱名才好养活，所以才取了一个单名“劳”字，意思就是他会操劳一辈子。
因为是偏房所生上面又有两个哥哥，席老三没有任何继承家业的机会，在家族中也没有受到什么重视，不过好在他的母亲对他照顾得无微不至，不但请了老师专门教他读书识字，还请了武师教他拳脚。
在母亲看来，不管自己的儿子以后有没有继承家业的机会，让他习文学武总归没有坏处。
不过如果母亲知道后来发生的事情，绝对不会做出这个决定。