Не нужно искать причину в сервере, да в пике серверная задержка 250 мс в среднем(на х100), прибавьте свой пинг до серва, получите реальную задержку, у кого 100+мс до сервера(сибирь и дальше), возможно не очень комфортно, мы сейчас занимаемся оптимизацией ядра, чтобы снизить серверную до 200 мс хотя бы.
Пропускной способности каналов хватает за глаза, как и в целом ресурсов железки, это доказывает тот факт, что у большинства все ок.
У кого нет - используйте прокси, если не помогает, то предложить мне вам нечего.