1905年到1906年间的段祺瑞,毫无疑问是北洋系将领中生活最抑郁的一个,他是袁世凯嫡系中唯一还在担任统制握有实权的,王士珍与冯国璋此时都已经升为高级干部,只有段祺瑞还在军事第一线。而此时的清室贵胄们正处在“排汉”最激烈的时期,段祺瑞无疑成为他们的首要目标。1906年的10月,常备军在河南省彰德(今河南省安阳市)举行秋操,即南北新军大演习,出任“北军”总统官的就是段祺瑞。清政府派兵部大臣铁良、直隶总督袁世凯为阅兵大臣,王士珍为总参议,冯国璋为南军审判长,良弼为北军审判长,各省派来的观操大员,一律为审判员。这种安排的深意已经毋庸赘言,南军审判长是汉人,北军审判长是满人,而铁良又是当时清室贵胄中排汉最激烈的。
可以说,当时清室贵胄们对袁世凯的不满,几乎都会直接体现在他们对待段祺瑞的态度上。1906年2月,段祺瑞复任第三镇统制,驻保定,兼督理北洋武备各学堂。3月17日,补授福建汀州镇总兵,仍留北洋原任。5月8日,清廷在保定创办“陆军行营军官学堂”,段祺瑞又兼任该学堂督办,很多北洋系将领都纷纷投到他的麾下,成为他的故吏门生。