一八九四年，他由水师学堂毕业时，正逢中日甲午之战，北洋海军几乎全军覆没，连一艘可供学生实习的船都没有了。一年后，勉强派到“通济轮”上见习，竟是目睹甲午战场威海卫由战胜国日人手中移交给英国人占领的场面。他在自己国家的领海上眼睁睁地看着国帜三易，先下清旗再升日旗，隔一日改悬英国旗。
他在晚年回忆当时，“悲愤填胸，深受刺激…念国家积弱至此，苟不自强，奚以图存？而自强之道端在教育。”（一九四四年《四十年南开学校之回顾））他怒忆当年，“士兵上身穿一坎肩，前面写一“兵”字，背后写“勇”字，衣服非大必小，不称体，面黄肌瘦，精神委靡，手持大刀，腰怀一枪（烟枪，抽鸦片用）慢吞吞地走出来，将黄龙旗（清朝）降下。旋英军整队出，步伐整齐。精神奕奕，相形之下，胜败可知。”
这样的羞耻使他深受刺激，更因为看到怠惰无知的一般民众，既无纪律和敬业精神也不知国难当头，故思索唯一能振作民心的只有教育，教现代知识、教爱国。他毅然决然离开海军，一心办教育，一九0八年，由氏家馆扩大到天津南开（捐得校地在天津西南城角，名南开）中学。建校之前，他曾两度前往日本参观各类学校，特别是私立学校，当时不满三十岁的他，满腔热血，誓为教育新中国的子弟献身。
更令人意外的是，一九一七年他已四十一岁，竟决心到美国哥伦比亚大学读书，研究西方教育理念。很多人劝他，“你已功成名就，干嘛去和那些洋孩子同堂读书!”甚至说，“这个脸你丢得起，我们感到丢不起。”他还是去了，认真研究、见习，做了许多交流活动，实验主义思想大师杜威也是他的老师。回国后，他创设南开大学。
抗日战争之初，日本人恨他发起爱国活动，炸毁南开。当时蒋委员长公开宣称，南开为国牺牲，有中国就有南开。”将南开与北平的北大、清华合为西南联大，在
昆明设校，成为抗战期间最好的大学。
抗日胜利后，一九四六年哥伦比亚大学授与张校长荣誉博士，一九四八年胡适和十一位美国学者合撰thereisanotherchina一书贺他七十岁之成就。此书由燕京大学校长司徒雷登汇编，哥大crownpress出版，中译为《另有表现的中国》，意指藉由南开精神看到在政治军事动乱不宁的年代，尚有另一个中国在日益进步，充满了高瞻远瞩的理想。
自一九0四年只有七十五个学生到他一九五一年逝世为止，张校长一直用强烈的激情到处演讲，鼓励“国不亡，有我!”的志气，宣扬教育救国的理想，他足足说了半个世纪!那五十年间，中国的灾难有种种的新面貌。外侮与内煎并存。抗日胜利，
从重庆回到故乡天津，老病缠身的他仍在国共之战中呼号和平合作建设中国。七十五岁那年去世，临终最大的安慰是看到南开中学和大学在天津原址复校。
张校长的身影永远留在学生心里。在沙坪坝那八年，他住在校内宿舍，每天早上挂杖出来散步巡视，看到路旁读书的学生就过来拍一拍肩、摸一摸头，问衣服够不够，吃得饱不饱？南开的学生都必须住校，在他想，这些孩子都是父母托给他的，必须好好照顾。他那时不知道，他奋斗的心血都没有白费，他说的话，我们数万学生散居世界各地都深深记得，在各自的领域传他的薪火，永恒不灭。