自小泉纯一郎出任日本首相后,因其一贯的保守外交政策,以及多次参拜靖国神社等行为,使得中日关系滑向了建交以来的谷底;加之双方国内民族主义情绪高涨、以及朝鲜核危机的再次爆发,中日外交磨擦不断。在此情况下,2004年9月,王毅被任命接替武大伟为驻日大使;开始第二次驻日工作,为期三年;2007年9月,任满回国。
在日本工作的经历,使王毅在中国外交界有了“日本通”的雅号。而真正使得王毅在国际外交界崭露头角,还要归于朝鲜问题六方会谈。在会谈的前三轮,当时任外交部副部长的王毅作为中方代表团团长,以他对亚洲事务的详熟和掌控问题的能力,充分地展现了个人魅力。
但“日本通”也有误判的时候。2005年5月23日,正在日本访问的国务院副总理吴仪以“要回国处理紧急公务”为由,突然取消原定与日本首相小泉纯一郎的会见。当日晚,中国外交部发言人孔泉称:“在吴仪副总理访日期间,日本领导人连续就参拜靖国神社问题发表不利于改善中日关系的言论,中方感到十分不满。”香港《亚洲周刊》文章认为这是因为在吴仪出访前夕,日本政府在多个外交敏感议题上表示强硬立场,违背了早先首相小泉纯一郎和中国国家主席胡锦涛会面时达成的互信。亚洲周刊称,“北京已对吴仪此行日本作出初步评估,认为外交部,特别是中国驻日使馆,没有准确拿捏日本政府的态度,对中日目前的外交形势有误判成分”。