赵良嗣闻听蔡攸的想法后，表示完全同意。但为了吊吊金国方面的胃口，赵良嗣建议双方的谈判暂停上一段时间，期间安排一些人返朝，给金国造成不再谈判的假象，同时，他再通过与完颜阿骨打长期打交道，关系熟稔的便利条件，再在完颜阿骨打那里做做工作，那样的话，完颜吴乞买及完颜宗望等人就会有压力了，接下来的事情就好谈了。
蔡攸大喜，高声说道：“好！就按赵秘书丞说得办！”
接下来一段时间，以蔡攸、赵良嗣为主的宋朝使团一直未找完颜吴乞买谈幽燕十六州的事情，而且在光天化日之下、大庭广众之中，收拾行李，安排人员回国。
这个情况，被报告到了完颜吴乞买那里。完颜吴乞买召集完颜宗望、完颜粘罕等人开会，讨论宋朝方面是什么意思？难道不要幽燕十六州了？这个不可能呀！宋朝就是砸锅卖铁都要收回幽燕十六州的情况，完颜吴乞买等人是吃准了的，他们怎么可能不谈了，不要了，要回国了？
在幽燕十六州归属问题上，完颜吴乞买、完颜宗望、完颜粘罕等人，并不想归还给宋朝，为此多次进谏完颜阿骨打，但完颜阿骨打不愿意违背他和宋朝签订的盟约，对完颜吴乞买、完颜宗望。完颜粘罕等人还发了脾气，说将来我死了，你们想怎么办，任由你们。
这个情况，完颜吴乞买等人非常清楚。他们和蔡攸、赵良嗣谈判的情况，也随时禀报给了完颜阿骨打。对完颜阿骨打来讲，只要把幽燕十六州归还给宋朝，他就没算是违约，所以，在岁币上，完颜阿骨打并不是很关心，只关心能否将幽燕十六州归还给宋朝。在完颜吴乞买等人给完颜阿骨打禀告了相关情况后，完颜阿骨打表示，具体情况由你们定，只要将幽燕十六州归还给宋朝就行了。
完颜吴乞买等人心里清楚，如果这个事情办不好，大皇帝完颜阿骨打那里不好交代。因为这个原因，几个人商量了一番，决定如果宋朝坚决不答应他们提出的岁币数额，就再降一点，要十五万两两白银、三十万匹绢就行了。”
在安排一部分人员返朝的同时，赵良嗣又拜见了完颜阿骨打。
完颜阿骨打询问赵良嗣，幽燕十六州归还你朝的事情，谈得如何了？赵良嗣将具体情况告诉了完颜阿骨打。完颜阿骨打道：“幽燕十六州是绝对要归还给你国的，这个我对贵使有过明确承诺，但贵使也知道，我国的国情与贵国截然不同，文化传统也不同。你国大皇帝一言九鼎就能决定的事情，在我国还有点困难，贵使要理解呀！”
赵良嗣连忙答道：“理解！理解！本使来拜见大皇帝，并无他意，就是想尽快解决幽燕十六州归还我朝的事情。”
“那就抓紧谈！”完颜阿骨打道：“岁币数额上，不要再纠缠了，赶紧把幽燕十六州如何归还给贵国的事情确定下来吧。”