Технические работы / проблемы

[Zeox]

Сервера включены и доступны.

 

Приносим извинения за такие долгие технические работы, в связи с множеством крашей/рестартов/проблем на протяжении вчерашнего и сегодняшнего дня - было принято решение выдать всем игрокам, которые заходили в игру вчера и сегодня по 300 серебряных монет*. Потратить их Вы можете перейдя в магазин: https://cp.pandawow.ru/shop.html

 

* Бонусы были выданы тем, кто хоть однажды донатил / голосовал за проект.

 

Спасибо за понимание.

[Buka]

Перезагрузка серверов для сброса рейтинга арены. После того, как сервера станут доступны, начнется 13-й сезон арены.

[Buka]

Уважаемые игроки, нам известно о проблеме с дисконнектами с кросс-сервера. Пожалуйста, немного терпения, наши разработчики уже работают над выяснением и решением причин, которые к этому приводят.

[Zeox]

Сервер PandaWoW x100 отключен для проведения незапланированных технических работ.

 

Причина проведения работ: У многих игроков в случайном порядке пропадают купленные/полученные предметы.

Сроки: Предварительно на исправление может уйти до 2-х дней. О прогрессе я буду сообщать в этой теме.

 

08.06.20

Обновлено [2:44]: Все проходит как запланировано, запросы в базу данных выполняются. Никаких сроков пока нету.

 

Обновлено [3:51]: Выполнение запросов временно прервано, было принято решение реализовать дополнительные индексы для таблиц, которые участвуют в оптимизации. Чтобы значительно ускорить процедуру.

 

Обновлено [7:57]: Все процедуры по индексам выполнены, выполнение запросов продолжается. Результат отличный, они выполняются в десятки раз быстрее.

 

Обновлено [9:11]: Исходя из текущей скорости на выполнение всей процедуры потребуется ~3.5 дня. Могу сразу сказать что после окончания работ мы выдадим компенсацию, пока без деталей. Пойду посплю, поэтому в ближайшие часы обновлений не будет, да и пока нечего будет сказать, ибо на сам процесс я повлиять не могу.

 

Обновлено [15:23]: Текущий прогресс 8% (15031405 / 183657695).

 

Обновлено [21:42]: Текущий прогресс 15% (28500289 / 183657695).

 

09.06.20

Обновлено [14:42]: Текущий прогресс 35% (65303510 / 183657695).

 

[10.06.20]

Обновлено [1:03]: Текущий прогресс 47% (87412962 / 183657695).

 

Обновлено [5:55]: Текущий прогресс 53% (98134608 / 183657695).

 

Обновлено [18:23]: Текущий прогресс 68% (126023822/ 183657695).

 

[11.06.20]

Обновлено [5:34]: Текущий прогресс 81% (149772412 / 183657695).

 

Обновлено [16:18]: Текущий прогресс 94% (173415123 / 183657695).

 

Обновлено [22:17]: Тот процесс, который мы отслеживали выше - успешно завершен. Сейчас запущен процесс проверки данных, чтобы убедиться что процедура выполнена правильно. Думаю это займёт несколько часов, в любом случае, сервер станет доступен не раньше обеда завтрашнего дня.

 

Обновлено [23:40]: На текущий момент все процедуры успешно завершены :)

В ближайшее время опубликую больше информации.

[Zeox]

Уважаемые игроки, рад сообщить о том, что все процедуры успешно завершены.

Небольшой отчёт о проделанных работах и о причине возникновения проблем.

 

Что произошло:

7 июня на сервере PandaWoW x100 была обнаружена проблема с случайным исчезновением вещей, как только мне доложили о данной проблеме - начались работы по её устранению. В ходе диагностики было обнаружено что уникальные идентификаторы предметов превысили допустимое значение - 4294967295.

 

Вероятно у Вас будет вопрос, почему именно эта цифра является "лимитом"?

Уникальный идентификатор (GUID) предметов хранится в Базе Данных в формате Integer, ограничение клиента на это поле - 32 бита, поэтому максимальное допустимое десятичное число - 4294967295.

 

Значит ли это то, что на сервере находится почти 4.3 миллиарда вещей?

Нет, не совсем так. Потому-что GUID это поле, которое автоматически инкрементируется (увеличивается), т.е. к примеру: Вы получаете 10 предметов, их GUID будет равен от 1 до 10. Даже если Вы выбросите все эти предметы из сумки, то следующий полученный Вами предмет будет иметь GUID 11. Из этого следует логическое заключение - фактически предметов в базе гораздо меньше, но сам счётчик уже достиг своего максимума.

 

Следуя логике, такая ситуация может повториться?

Да, повторится, но не в ближайшие несколько лет. Напомню, PandaWoW x100 существует уже 7 лет, и мы впервые столкнулись с данной проблемой.

 

Как данная проблема устранялась?

Была создана MYSQL процедура, которая позволяет отсортировать GUID предметов, чтобы выставить их всех по порядку, без учета тех уже удаленных предметов. Но, данная процедура является очень трудоёмкой (как Вы могли заметить по времени выполнения), потому-что помимо одной таблицы с предметами есть ещё с десяток вторичных таблиц, которые содержат информацию о предметах, например такие как: аукцион, почта, банк, гильдейский банк, расположение в сумках, трансмогрификация и другие. Соответственно обновить GUID было необходимо во всех этих таблицах.

 

Сколько продлились технические работы?

4 полных дня.

 

---

 

Теперь перейдём к хорошим новостям. :)

• На сервере параллельно была проведена чистка никнеймов персонажей, которые не заходили в игру позднее 1 января 2018 года, итого было очищено 4 215 924 никнеймов. Всем таким персонажам была выдана возможность сменить никнейм при следующем входе в игру.
  
• В связи с такими длительными техническими работами было принято решение выдать компенсацию всем игрокам, которые заходили на сервер PandaWoW x100 в течение последней недели (1 июня и позднее) и хоть раз голосовали за проект / пополняли счёт - по 500 золотых монет, итого было выдано 1 751 000 золотых монет.
  
• В ближайшую неделю рейты на дроп вещей на сервере PandaWoW x100 увеличены на 50%.
  
• Сервер PandaWoW x100 должен заработать в ближайший час , после этого заработает личный кабинет для х100.
  

[Buka]

От себя добавлю, что все заявки на перенос персонажей, которые были отправлены в дни, пока сервер был недоступен, и вплоть до конца недели (14.06) будут бесплатны.

[Heisenberg]

Мы знаем о проблемах со стабильностью работы сервера, уже работаем над поиском и устранением неполадок. В ближайшие несколько часов сервер будет в режиме отладки.

[DeadMouse]

Перезагрузка серверов для установки обновления.

[Buka]

В течение 1-2 часов мы планируем перезагрузку серверов для установки обновлений. За 15 минут до перезапуска будет дано объявление в игре.

[Buka]

Через 15 минут сервер будет перезагружен для установки обновления. Обычно перезагрузка занимает 6-10 минут. Edited August 24, 2020 by Buka

[DeadMouse]

Через 25 минут сервер будет перезагружен для установки обновления. Обычно перезагрузка занимает 6-10 минут.

[Buka]

Сервер x100 завис, о проблеме знаем, ищем причину, работаем.

Просьба проявить терпение и понимание.

Edited September 17, 2020 by Buka

[Buka]

Перезагрузка сервера для включения ЛФР режима Террасы Вечной Весны (рестарт обычно занимает 5-10 минут).

[Buka]

Причина краша найдена, исправление применилось с последним падением сервера. Наблюдаем за ситуацией, но больше крашить не должно.

[DeadMouse]

Через 30 минут сервер будет перезагружен для установки обновления.

 

UPD> Сервера обновлены.

UPD> Проблема с кросс-сервером нам известна, работаем над решением.

UPD> Кросс-сервер снова доступен.

Edited November 3, 2020 by Buka

[Buka]

Через 15 минут сервер будет перезагружен для установки обновления.

[Buka]

Через 15 минут сервер будет перезагружен для установки обновления.

[Zeox]

Сервер PandaWoW x100 отключён для проведения незапланированных технических работ.

 

Сегодня утром начало появляться множество жалоб на исчезновение предметов , после небольшой диагностики проблема была локализирована, оказывается мы вновь столкнулись с той же проблемой, что и была в июне: https://forum.pandawow.ru/showthread.php?t=176&page=38&p=1491793&viewfull=1#post1491793

 

Удивительно то, что это произошло так быстро, по прогнозам должно было потребоваться минимум пару лет для того, чтобы снова заполнить все 4.3 миллиарда GUID предметов.

 

На текущий момент делается самый актуальный полный дамп базы данных PandaWoW x100 (сразу после отключения), после будут запущены процедуры для исправления проблемы. О новостях буду сообщать в этой теме.

Если у вас есть какие-то предложения, что можно сделать, пока сервер отключен - пишите в раздел Предложений.

 

Будет ли компенсация?

Да, будет. Об этом позже.

 

 

[Обновлено 02:15 - 19.11.20] На текущий момент была найдена возможность сократить процесс сортировки для PandaWoW x100, предварительно сервер будет доступен уже утром. Но, есть другая проблема, скорее всего прямо сейчас будет отключен PandaWoW xFun ибо на текущий момент максимальный GUID уже 3.705.742.633 , а это значит что совсем скоро GUID-ы снова закончатся, поэтому лучше сделать сортировку прямо сейчас, чтобы предотвратить проблему с пропаданием вещей после того, как они закончатся. Вторая плохая новость - PandaWoW Cross будет отключен до тех пор, пока PandaWoW xFun не станет доступен. После изучения вопроса потенциально была найдена проблема, из-за которой GUID-ы снова так быстро закончились на PandaWoW x100, это связано с синхронизацией GUID-ов между Cross сервером и серверами х100/xFun, чтобы в будущем этого не допускать нужно прямо сейчас исправить GUID-ы на PandaWoW xFun.

 

[Обновлено 03:22 - 19.11.20] Сервер PandaWoW x100 запускается, технические работы успешно завершены. PandaWoW xFun / Cross отключены, о прогрессе буду сообщать так же в этом сообщении. Так как процедура на PandaWoW x100 заняла всего несколько часов было принято решение не выдавать какую-то особую компенсацию, но игроки с PandaWoW xFun её получат по окончанию технических работ, потому-что они займут не менее 4х дней. Возможно после восстановления работы всех серверов так же запустим какие-нибудь акции. Спасибо за понимание.

 

[Обновлено 16:36 - 19.11.20] На текущий момент прогресс составляет 24% (отсортировано 31.046.493 из 129.106.026).

 

[Обновлено 19:46 - 19.11.20] На текущий момент прогресс составляет 29% (отсортировано 38.319.106 из 129.106.026).

 

[Обновлено 16:13 - 20.11.20] На текущий момент прогресс составляет 66% (отсортировано 85.618.619 из 129.106.026).

 

[Обновлено 21:19 - 21.11.20] Процесс завершён. В течение 1-2 часов сервера PandaWoW xFun / Cross станут доступны, на текущий момент нужно выполнить проверку всех данных, чтобы убедиться что процедура завершилась успешно.

 

[Обновлено 23:24- 21.11.20] Все технические работы завершены, а сервера PandaWoW xFun / Cross уже вновь доступны!

 

Что было сделано:

- Отсортированы GUID всех предметов, ранее это значение было на цифре 3.705.740.260, напоминаю лимит составляет 4.294.967.295 . После сортировки максимальный GUID стал 130.176.582, т.е. теперь мы в полном порядке. :) Это так же положительно влияет на оптимизацию сервера.

- Параллельно была проведена чистка никнеймов персонажей, которые не заходили в игру позднее 1 января 2018 года, итого было очищено 4.260.927 никнеймов. Всем таким персонажам была выдана возможность сменить никнейм при следующем входе в игру.

- В связи с такими длительными техническими работами было принято решение выдать компенсацию всем игрокам, которые заходили на сервер PandaWoW xFun в течение последней недели (12 ноября и позднее) и хоть раз голосовали за проект / пополняли счёт - по 500 золотых монет, итого было выдано 1 789 000 золотых монет.

 

[Обновлено 02:38 - 22.11.20] Мы знаем о проблеме с Void Storage, PandaWoW xFun будет недоступен в ближайшее время, мы работаем над решением. Спасибо за понимание.

 

[Обновлено 03:50 - 22.11.20] Мы закончили восстановление! Всё прошло успешно. :)

Теперь все ваши предметы в Void Storage восстановлены, для тех, кто добавил предметы в Void Storage после того, как возникла проблема - вы получите свои предметы обратно в сумку после входа в игру. Если ваши сумки полны - вещи придут на почту, или просто попробуйте почистить сумки и перезайти в игру.

[DeadMouse]

Кросс сервер снова доступен.

[Buka]

В течение часа мы планируем перезагрузку серверов для установки обновлений. За 15 минут до перезапуска будет дано объявление в игре.

[Buka]

Через 15 минут сервер будет перезагружен для установки обновления.

[DeadMouse]

Через 30 минут сервер будет перезагружен для установки обновления.

[Zeox]

Все веб-ресурсы будут отключены на следующие несколько часов для планового обслуживания.

Это также повлияет на сервер авторизации, поэтому Вы не сможете авторизоваться. Как только работы будут закончены, мы сообщим об этом.

 

Приносим извинения за доставленные неудобства и благодарим за понимание.

[Buka]

Нам известно о проблемах в личном кабинете с невозможностью выставить на продажу персонажей или приобрести в магазине некоторые предметы. Работы над личным кабинетом до сих пор ведутся, решение этих и других проблем в процессе.

[Buka]

Завтра мы планируем провести технические работы и обновление сервера. Сразу же после утреннего рестарта и в течение всех работ сервер будет выключен.

Когда работы будут завершены и сервер снова будет включен, необходимо будет запустить наш лаунчер и обновить его, чтобы он смог обновить файлы игрового клиента.

Edited April 27, 2021 by Buka