太祖到西都，齐贤以平民身份到太祖马前献策，被召到行宫，齐贤以手画地，逐条陈述十件事，其中有四件符合太祖的意思，齐贤坚持认为十条都是好的，太祖发怒，令武士把他拖出去了。太祖回朝后，对太宗说：“我到西都，只得到一个张齐贤罢了。我不打算授任他官职，今后可以让他辅佐你任宰相。”
太宗选拔进士，本想把齐贤录取为前几名，有关部门偶然选择失误，太宗不高兴。一榜进士都授任京官，于是任命齐贤以大理评事身份通判衡州。当时衡州审讯劫贼，审判后都要处死，齐贤到任后，救活其中误判的五人。
从前，各州罪人多械送到京城，在路上死去的有五六成。齐贤在路上遇到南剑、建昌、虔州押送的罪犯，要来案卷一看，凡不是首犯的，全部为他们解伸冤屈。于是向朝廷竭力建议，以后凡送囚犯到京城，委任精明强干的官吏审问，如果不实，那么罪责就要降到原来审问的官吏身上。从此江南送罪犯到京城的减去一大半。
雍熙初年(984)，改任左谏议大夫。雍熙三年，宋军大举北伐，代州杨业战死。太宗访求近臣作为策应，齐贤请求前往，即授任他为给事中、知代州，与部署潘美一起统领边疆军队。这个时候辽兵从湖谷进犯，逼近城下，神卫都校马正把所率领的部队摆在南门外迎敌，但寡不敌众，副部署卢汉斌贝畏惧，保营自固。齐贤选派厢军二千人，从马正的右面出发，慷慨誓师，以一当百，辽兵于是退却。
端拱元年冬天，授任工部侍郎。辽兵又从大石路往南侵犯，齐贤预先选择厢兵一千人分为二支，分别驻扎在繁、崞县。下令说：“代西有敌人，则崞县的部队出战，代东有敌人，则繁的部队出战。战斗发生后，则郡中部队集合作战。”到此时，辽兵果然被繁部队打败。端拱二年，建立屯田制。齐贤兼任河东制置方田都部署，入朝授任刑部侍郎、枢密副使。
淳化二年夏天，任参知政事。几个月后，授任吏部侍郎、同中书门下平章事。齐贤的母亲孙氏年纪有八十多岁，封为晋国太夫人，每次入宫朝见，太宗叹服她高寿，有好儿子，常常下手诏慰问，给与赏赐，官员们都感到他家很荣幸