1919年5月1日，中国谈判代表、外交总长陆征祥将此事电告北京政府，并称如不签约，则对撤废领事裁判权、取消庚子赔款、关税自主及赔偿损失等等有所不利。北京政府外交委员会(总统府智囊机构)召开紧急会议，决定不签约。上海《大陆报》“北京通讯"透露："政府接巴黎中国代表团来电，谓关于索还胶州租借之对日外交战争，业已失败。”
1919年5月2日，北京政府以密电通知在巴黎的中国代表可以签约。外交委员会事务长林长民在《晨报》、《国民公报》撰文呼吁："山东亡矣，国将不国矣，愿合四万万众誓死图之。"北大校长蔡元培将外交失败消息通报学生。
1919年5月3日，北京各界紧急磋商对策。当晚北大学生在北河沿北大法科礼堂召开学生大会，并约请北京13所中等以上学校代表参加，大会决定于4日(星期天)举行示威游行，地点：天安门。
1919年5月4日上午10时，各校学生代表在法政专门学校召开碰头会，商定了游行路线。一些准备以暴力行动惩办国贼的学生写下遗书。下午1时，北京学生3000余人从四面八方汇集天安门，现场悬挂北大学生"还我青岛"血书。在短暂的集会演说之后，队伍向使馆区进发。行至东交民巷西口，受到巡捕阻拦，学生遂推举代表请求会见4国公使。仅美国使馆人员接受了学生的陈词书，英法意使馆均以公使不在为由拒绝接受。3000余名学生在烈日下整整晒了两个小时，见使馆区不能通过，更加义愤满腔，队伍转向赵家楼曹汝霖住宅。学生们边行进，边宣传，"许多人民看见掉泪，许多西洋人看见脱帽喝彩，又有好些巡警也掉泪"。(《每周评论》1919年5月11日)下午4时许，学生涌至曹宅前。北京高师数理部学生匡互生率先跳入宅内并打开宅门，学生大队涌入，痛打了正在曹宅的驻日公使章宗祥。学生遍寻曹汝霖不着，激愤之下，于4时30分左右怒烧其宅。之后军警赶到，搜捕学生，被捕者共32人。
