Пинг который отображается в клиенте - это ваша проблема, а на сервера, в пик магистраль нагружена у вас и пинг повышается, делайте трасировку, отправляйте провайдеру для корректировки маршрута, или на проблемные узлы для устранения проблемы.
Также можете использовать прокси сервера для снижения пинга.