В это время на Европу обрушилась эпидемия чумы 1347- 1353 гг. В этот период военных столкновений не было, но после эпидемии они сразу же возобновились. В этом же году Кейстут с сыном Патиргом совершил набег на Пруссию.
Ольгерд продолжает экспансию на территории древнерусских княжеств, которые на данный момент находятся под властью Москвы (Великого княжества Владимирского) и Орды. В самой орде царила политическая анархия, она была близка к распаду на полусамостоятельные улусы.[46] Занятая своими распрями, Золотая Орда не смогла помешать Ольгерду подчинить себе наследство Киеской Руси. В 1355 г. он впервые применяет титул правителя «всея Руси». В этом году он сажает своего наместника в крупнейшем городе Смоленского княжества Белая. В 1356 г. после междоусобной войны в Брянском княжестве Ольгерд садит на брянский престол сына Дмитрия. В этом же году ставленник Литвы был посажен и в Ржеве. В 1359 г. скончался союзник Литвы Иван Смоленский, литовский князь аннексировал почти половину Смоленского княжества – присожские земли.
Ещё в 1358 г. Ольгерд заявил послам Священной Римской империи, что вся Русь должна принадлежать Литве.[47]
В своём наступлении на русские земли Литва вторгалась в сферу влияния Орды. Там продолжались смуты, поэтому отпора татары дать не могли, чем с успехом пользовался Ольгерд. Орда разделилась на две части, границей между которыми была Волга. Безбоязненно литовский князь садит своих сыновей Владимира и Константина на бывшие ордынские земли – Киевскую и Черниговскую. Условия вхождения в Великое княжество были такими же, как и у Полоцка с Витебском. Тут Ольгерд напрямую использует опыт Гедимина.
Следующим было Подолье. В 1363 г. Ольгерд разбивает трёх татарских царевичей, обособившихся от Орды и совместно управляющих Подольем, в сражении при Синих Водах. После этого он получает выход к Чёрному морю.[48] Из бывшей территории Киевской Руси вся юго-западная часть оказалась под властью Литвы. И с этого времени Ольгерд уже не делится новоприобретениями с Кейстутом, а распоряжается самостоятельно. В 1366 г. возникает очередной конфликт из-за волынских земель между Польшей и Литвой. Но он был быстро ликвидирован, соперники остались на своих позициях.
А в Орде начинает возвышаться Мамай, который через подсадных ханов управляет западной Ордой. Ему приходится мириться с захватом подвластных ему земель Великим княжеством Литовским, так как он больше занят борьбой за власть в Орде. Вскоре между Мамаем и Ольгердом возникает союз, литовский князь получает ярлык на те земли, которыми он уже владеет. Союз направлен против Москвы, которая в это время усиливается.
В лице Московского княжества против Литвы встаёт серьёзный соперник в деле объединения русских земель. Поэтому Ольгерд идёт на уничтожение противника. В 1368 г. он совершает поход на Москву. В нём принимает участие и Кейстут с сыном Витовтом, а кроме них и новый смоленский князь Святослав, которого к участию вынудил Ольгерд. Войска дошли до Москвы, сожгли посад, но города взять не смогли, чему способствовала крепкая оборона в недавно отстроенных стенах Кремля. В 1370 г. был предпринят ещё один поход на Москву, и снова город взять не удалось. Было заключено перемирие, скрепляемое браком дочери Ольгерда Елены с двоюродным братом Дмитрия Московского Владимиром Андреевичем.
Вскоре после этого московский князь идёт на примирение с Ордой, тем самым разрушая договор Литвы и Орды против Москвы. Ольгерд не смог смириться с этим и в 1372 г. предпринимает попытку обессилить Московское княжество. Тогда литовские войска с тверским – соперником Москвы опустошают окрестности Переяславля-Залесского и Дмитрово. Разрывая предыдущий договор, Ольгерд идёт на Москву. Войска обеих князей, Московского и Литовского, встречаются у города Любецка. Простояв несколько дней, но, так и не начав битву, расходятся. Тем самым Ольгерд признал приоритет Москвы в объединении земель Северо-Восточной Руси.[49]
Тем самым ему остаётся Юго-Восточная Русь, но и там преобладают настроения, в которых именно Москва видится центром объединённых русских земель. Тому немало способствует народно-освободительное движение против татарского ига. А так как Ольгерд зачастую выступает в союзе с Ордой, то более благоприятным для населения его земель и тех территорий, которые находятся в зависимости от Орды, видится московский князь. Сказывается и авторитетная поддержка московскому князю со стороны митрополита Алексея и набирающего популярность Сергия Радонежского. Население бывшей Киевской Руси в основном православное, поэтому больше склоняется к Москве, а не к Литве. Попытки Кейстута и Ольгерда возродить митрополию в литовских землях не увенчались успехом, московский митрополит руководил и Владимирской и Киевской епархиями.