暂时的碰壁并没有对张作霖的雄心壮志造成任何影响。在参谋长杨宇霆的辅佐和推动下，他开始不安于东北，一心向关内发展势力。
张作霖帐下幕僚人员，多为赵尔巽、袁金铠所推荐，杨宇霆并不在其列，可以说是张作霖所一手识拔。就在张作霖担任二十七师师长时，有一天他在街上看到一支队伍，见其军容整齐，风纪严肃，颇为诧异。因为当时由巡防营改编的部队主体是“胡子”，纪律很散漫，原来的新军又都调走了。
张作霖疑心是日本军队，后来一问才知道是军械厂的卫队连，而对他们进行训练的正是时任军械厂厂长的杨宇霆。说起来，杨宇霆之前其实与张作霖也有过一面之缘——还在张作霖担任师长的前几个月，曾宴请路过奉天的黑龙江省军方代表团。杨宇霆是代表团成员刘德权的士官同学，他和另外几个同学曾相约去看刘德权。因为当时风闻张作霖最恨留学生，所以他们曾有意避开张作霖，没想到张作霖很看重士官生，特地通过刘德权转告杨宇霆等人，说要起用他们到重新开办的奉天讲武堂当教员。
几个月过后，当张作霖看到部队也可以被一个士官生训练得如此之好时，他的想法有所改变，于是便把杨宇霆找到师部详谈。杨宇霆从刘德权那里知道了张作霖对士官生的真实态度，亦有心投效，交谈过程中，他口齿伶俐，对答如流，且态度谦恭有礼。张作霖很欣赏他，遂将其调到二十七师担任参谋长。
杨宇霆少时即有过目成诵之才，记忆力十分惊人，他十岁时入私塾读书，很快就能背诵和理解《百家姓》《三字经》《千字文》一类的启蒙书，其表现出的早慧能力令塾师都感到教他吃力。
杨宇霆人既聪颖，还刻苦好学，第一次参加科考就考中了秀才。可惜的是，那是末科秀才，也即清廷废除科举之前的最后一批秀才。科举一废除，杨宇霆就无法再像赵尔巽那样学而优则仕了。好在天无绝人之路，第二年奉天中学堂招生，杨宇霆便考入中学堂当了插班生。
时值中央政府准备选送一批学生去日本陆军士官学校进行学习，担任盛京将军的赵尔巽决定由奉天中学堂选送几名。当时挑选学生主要是测验外语，轮到杨宇霆时，他当场就把外语课本《华英初阶》从头至尾背了一遍，考员很是惊诧，杨宇霆得以成功录取。
到东京后，杨宇霆入士官学校第八期炮兵科学习。对于一个常年读古书的人来说，这意味着所有的学习环境和内容都被改变，初学入门阶段是很困难的。杨宇霆性格争取好胜，越困难越不肯服输，为了练习马术，他曾在半夜里偷偷地潜入马厩，想把马拉出来进行练习，但他不知道受过训练的军马是轻易不出马厩的，结果他不但没能把马拉出来，右腿还被马给咬伤了。半夜拉马是违纪之举，杨宇霆即便受伤也不敢言语。士官生每月要检查一次身体，结果检查时才发现咬伤处已经溃烂，杨宇霆因此还挨了处分。
就读士官学校期间，杨宇霆每期考试都名列前茅。几年后毕业回国，正赶上赵尔巽第二次来奉天任东三省总督。当初他们这批留学生出国前，赵尔巽曾予以接见，当时杨宇霆代表全体留学生致答谢词，赵尔巽对杨宇霆的仪表及其发言时所表现出的激情很满意，所以在他们回国时，又再次接见了他们。
赵尔巽的重视，为杨宇霆等人回国就业打下了基础。杨宇霆先是被分配至吉林孟恩远部当见习排长，民国建立后升任营长，不久又调东三省都督府任军械科长兼军械厂厂长。他治军严格，经常在深夜搞紧急集合，士兵站好队后，他总要从中挑出不穿袜子的人，当场进行处罚。有一次他外出归来，哨兵听到是他的声音，未问口令就迅速开门放人，想不到他勃然大怒，厉声训斥道：“进门要问口令是一再宣传的军令，你竟敢不遵守，倘若敌人模仿我的声音，你把他们放进门来，军械厂就被断送了！”
在邀杨宇霆入幕之前，张作霖对自己的部队并不满意，经常说：“目前的军队，我虽然可以统一指挥，但官兵良莠不齐，很多军官是行伍出身，没有文化，甚至还有败坏军纪，扰民害民的情形。”如其所言，奉军中军纪败坏的现象确实很普遍，即便是张作霖嫡系的二十七师也是这样，该师的老底子是张作霖在八角台建立的“保险队”，从没经过正规训练，纪律相当散漫。
在被张作霖任命为二十七师参谋长后，杨宇霆沿用训练军械厂卫队连的做法，首先对二十七师进行了改造。经过一段时间的训练和整顿，二十七师等部队开始变得规范整齐，军容焕然一新。
对杨宇霆整顿奉军之功，东北各界向有公论。张作霖的幕僚之一、“日本通”于冲汉写道：“棘门霸上如儿戏，我识将军未遇时。”此句典故出自《史记》中所记载的周亚夫故事：匈奴进犯北部边境，汉文帝急调三名大将率三路兵到长安附近进行防御，其中刘礼屯兵霸上，徐厉屯兵棘门，周亚夫屯兵细柳。为鼓舞士气，文帝亲自到三路军队犒劳慰问，他到霸上、棘门时，两处军营都不用通报便主动放行，只有细柳营非得使者拿出天子符节才肯打开寨门，而且周亚夫在迎接文帝时，仍穿一身戎装，以军礼相见。文帝感慨万千地称赞周亚夫：“此真将军矣！”他说霸上和棘门的军队简直都是小孩子玩家家，倘若遭到匈奴偷袭，恐怕刘礼、徐厉这两位将军都会束手就擒。
于冲汉的意思是说，张作霖在未遇到杨宇霆之前，奉军和霸上、棘门的军队也没什么两样，都是儿童嬉戏，哪里能放到正规战场上去打仗？然而自从遇到杨宇霆，奉军就好像周亚夫的细柳营一样，别的不说，起码可以拿到战场上去练练了。张作霖当然也看到了这一点，曾很感慨地对左右说：“我们武人不懂政治，要想国富民强，必须选用人才，特别是行政部门。就是军队，我们也需要请人才。”
对杨宇霆，张作霖由赏识发展到信任，并渐渐倚之为军中须臾不可缺少的左右手，在执掌奉天大权后，即升任其为奉天督军署参谋长。