紧接着忽必烈命江南的扬州、湖南、赣州、泉州四省建造军舰六百艘备征日本。下达造船命令后忽必烈又召见南宋降将范文虎，向其询问东征方案。范文虎建议：由他以南宋旧臣的立场再派一次赴日使者，于是周福和栾忠以南宋旧臣范文虎的私人代表身份赴日，这主要是因为他们知道如果以元朝使者的身份赴日无非重蹈杜世忠、何文著的覆辙，与此同时他们为了表达善意还带了一名日本在华留学僧一起到访日本。
事实证明：这次出使完全是狗尾续貂、自讨无趣之举——尽管他们打着南宋旧臣的身份，可向日方传达的却是向蒙元遣使朝贡的要求，那么他们作为忽必烈使者的身份也就暴露无遗了。既然镰仓幕府已杀过一批使者，自然不在乎再杀一批——周福和栾忠在博多被斩首。事实上忽必烈可能根本没对这次出使寄予任何希望。公元1281年正月忽必烈召集阿拉罕、范文虎、忻都、洪荼丘等将领召开东征日本的会议。
会后元朝最终确定设置“征收日本行中书省”并将东征大军兵分两路：一路以洪荼丘、忻都、金方庆为首率蒙古、高丽、汉军四万人、舵工水手一万七千人分乘战舰九百艘自高丽合浦出港；一路以阿拉罕、范文虎为首率江南军十万人、战船三千五百艘自宁波港出发，这批江南军队还受命携带农具、稻种，意图赴日屯田以为长久之计。两军约定于6月中旬在壹岐汇合，共同进攻博多大宰府。
尽管在经历过1274年元军第一次征伐之后的日本加强了战备：参加过上一次抗蒙战争的藤原经资依然任九州地区战事总指挥，他动员了约四万武士守卫沿海石垒阵地，甚至连其老父都披甲参战。此外四国等地的武士约六万人也被紧急动员以作为后续兵力补充前线。单纯以兵力而论：这次元军的优势极大——第一次东征日本时元军只出动了四万大军就重创了十多万日军，这次两路元军加起来有十四万之众，而日军依然只动员起十万人马。
不过在经历过第一次的战斗后日军已摸索出一些对抗元军的经验，战备工作远比第一次充分。尽管两路元军的总兵力加起来已超过日军——这并不奇怪：日本的征兵制度受制于以各地方守护分别统帅本家武士的惯例，农民一辈子都是农民，是没资格当兵的，所以日本的兵力增长是有极限的。问题是两路元军并不是同一天到达日本的，这就给日军提供了各个击破的绝佳良机。
6月6日由四万多人组成的东路军开始进攻博多湾，在第一次元日战争后镰仓幕府就在博多沿岸构建了石堤等防御工事并有四万日本武士严加防守，元军难以找到合适的登陆地点，于是转而攻击守备相对薄弱的志贺岛。志贺岛地形狭窄，这使元军的大军团集群冲锋难以发挥优势，日军反而利用自己对地形的熟悉一再袭扰元军。一再被日军偷袭得手的元军加强了戒备，这样一来日军的偷袭不仅难以奏效，反而加重了本国武士的伤亡，随即下令停止派小股部队袭扰元军。
但像伊豫国的河野通有这样的强硬武士仍坚持袭扰元军。6月7日黄昏时分河野通有带着两艘小船对元军船只发起自杀式突袭，这次行动被元军发现，于是一时间矢石如雨，包括河野通有的伯父在内五名日本武士当场阵亡，河野通有本人被石弩击中。接下来几天双方继续发挥各自优势进行对垒：日军无法将元军逐出志贺岛，元军也无法突破日军防线。
一时间双方陷于胶着状态。元军东路大军和日军陷入相持局面，眼见与江南军约定的会合期限已过，却迟迟不见江南军的身影。东路军的统帅是忻都、洪荼丘和金方庆三人，他们之中忻都作为蒙古人其实是东路军的最高统帅，他向洪、金二将征求意见。此时洪荼丘其实已生退意，但却不好明说，只是委婉地向忻都表达；金方庆则选择保持沉默。
十几天后金方庆才说出自己的明确意见：“我等奉旨备三月粮，今尚有一月之粮，不如先待江南军到再合而攻之，必可破此岛夷”。金方庆的建议遂成决议。那么迟迟不见踪影的江南军究竟去哪儿了呢？原来早在3月就有日本船只顺风漂流到中国大陆，元朝方面令其水工画日本地图并详细询问日本沿海地利，结果得知在大宰府西部附近有一个名为平户的小岛是一处天然港口且防备薄弱。
元朝征东行省得知这个消息后临时修改了作战计划：将东路军和江南军的会师地点改在平户，希望绕过对马等岛屿直接对大宰府发动越岛作战。忽必烈对这个改动是认可的，但鉴于东路军已先行出发，于是江南军方面派出了一支六十艘船的先遣队追赶东路军并向其通报作战方案变更之事。但这支先遣队却因航道生疏在路上耽搁了，这就导致东路军对江南军的军事部署一无所知。
