Технические работы / проблемы

[Zeox]

На сервере PandaWoW x100 проводятся технические работы, возможны частые дисконнекты.

 

Причина технических работ - множество крашей в последние дни.

[Zeox]

Извиняемся за очень частые краши PandaWoW x100 , работает более информативная система отладки, поэтому чуть что - сервер сразу отключается и создаётся callstack, для того, чтобы мы могли обнаружить причину.

На текущий момент уже получили информацию по 15 причинам крашей / порчи памяти , некоторые повторяются, но тем не менее, работаем над их устранением, после чего будет обновление сервера и продолжим наблюдать за стабильностью сервера.

 

Частые краши пока-что продолжаются, надеемся сегодня побороть проблему.

 

Обновлено 18:30 - Часть правок уже сделана, после следующего краша будет применено.

 

Обновлено 18:53 - Вторая часть правок готова, обновляю сервер и продолжаем дебажить. Сервер будет доступен в течении 10-15 минут.

[Zeox]

В течении 10 минут начнётся обновление серверов.

После обновления на сервере PandaWoW x100 будут отключены 2 рейда: Трон Четырех Ветров и Крепость Барадин

 

Извиняемся за подобные неудобства, но мы продолжаем искать причину частых крашей, это вынужденная мера. Мы сообщим о новостях в этой теме.

[Zeox]

Причина краша была найдена и устранена, как вы уже могли заметить. На днях будет очередное обновление сервера с новыми фиксами.

 

Хотелось бы ещё раз извиниться за доставленные неудобства, спасибо за понимание, хорошо что это позади.

[Zeox]

В ближайшие 30 минут сервера будут отключены для обновления серверного ядра. Предварительное время работ 10-30 минут. О прогрессе буду сообщать в данном сообщение.

 

Обновлено 00:05 - Сервера обновлены и доступны.

 

Обновлено 00:17 - Нам известно о проблемах с кросс сервером, работаем над устранением крашей.

 

Обновлено 00:25 - Краши на кросс сервере должны быть исправлены, будет применено после следующего краша.

 

Обновлено 01:17 - Теперь наблюдаются краши на PandaWoW x100 / xFun , работаем над ними.

 

Обновлено 01:41 - Мы сделали потенциальный фикс и уже обновили серверы. После следующего краша он будет применен. Должно помочь, мы продолжим наблюдать за ситуацией.

[Zeox]

В ближайшие 30 минут сервера будут отключены для обновления серверного ядра. Предварительное время работ 10-30 минут. О прогрессе буду сообщать в данном сообщение.

 

 

Обновлено 03:50 - Сервера обновлены и доступны.

[Zeox]

В ближайшие 30 минут сервера будут отключены для обновления серверного ядра. Предварительное время работ 10-15 минут. О прогрессе буду сообщать в данном сообщение.

 

Обновлено 01:15 - Сервера обновлены и доступны.

[Zeox]

В ближайшие 30 минут сервера будут отключены для обновления серверного ядра. Предварительное время работ 10-30 минут. О прогрессе буду сообщать в данном сообщение.

 

Обновлено 01:41 - Сервера обновлены и доступны.

Edited December 11, 2018 by Buka

[Buka]

В ближайшие 30 минут сервера будут отключены для обновления серверного ядра. Предварительное время работ 10-30 минут. Оповещения о прогрессе будут добавлены к данному сообщению.

 

+30min: Сервера обновлены и доступны.

Edited December 29, 2018 by Buka

[Buka]

В настоящее время игровой мир х100 недоступен.

Команда сервера уже в курсе и мы работаем над решением этой проблемы. Пожалуйста, будьте терпеливы.

[Buka]

Проблема решена, игровой мир снова доступен.

[Zeox]

В ближайшие 30 минут сервера будут отключены для обновления серверного ядра. Предварительное время работ 1-2 часа. Оповещения о прогрессе будут добавлены к данному сообщению.

[Zeox]

Извиняюсь за задержку и отсутствие новостей, мы столкнулись с проблемами, так как в этом апдейте использовались новые технологии, которые потребовали установки новых пакетов и библиотек.

 

Всё это время всеми силами пытался заставить работать на текущей оперативной системе, но это просто невозможно. Сервера запущены на старой версии ядра (которая была до выключения сегодня ночью), в течении сегодняшнего дня опубликую больше информации.

 

Скорее всего нас ожидает оффлайн в пару дней для переустановки оперативной системы на всех серверах, это вынужденная мера для того, чтобы привести всё в порядок и заставить работать то, что было реализовано разработчиками.

[Zeox]

Сегодня нами были заказано новое серверное оборудование для серверов, ожидаем получить на следующей неделе, до тех пор сервера не будут обновляться.

 

После того, как мы получим новое оборудование, сервер предварительно будет отключен на пару дней. В основном так много времени потребуется для того, чтобы перенести базы данных, на x100 это приблизительно 400 GB, на Fun в районе 750GB.

 

Благодаря этому решению:

• Мы перейдём на более современное оборудование.
  
• Будет использована новая версия оперативной системы, соответственно все пакеты, библиотеки и так далее будут обновлены до свежих версий, на текущий момент это всё устарело, так как мы не делали полного обновления оборудования уже достаточно долго.
  

 

Так же на этот раз мы решили подойти к вопросу более комплексно:

• Новая модель управления серверами, которая уже зарекомендовала себя на проектах наших французских партнеров, а так же была создана для нашего будущего BFA проекта.
  
• Благодаря этому мы получим более удобные инструменты для управления сервером, логированием происходящего и т.д.
  
• У разработчиков появятся новые инструменты, которые помогут им в работе, например: PTR сервер с автоматическим обновлением после каких-либо изменений, автоматическая отправка крашлогов всем разработчикам, поэтому теперь в случае каких-то неожиданных крашей разработчики смогут самостоятельно исправить их, а не ждать меня.
  
• Так же будет внедрена новая система автоматических бекапов.
  
• Ну и конечно же с точки зрения безопасности мы перейдём на абсолютно новый уровень.
  

 

О новостях буду сообщать в данной теме.

[Buka]

В настоящее время игровой мир х100 недоступен.

Команда сервера уже в курсе и мы работаем над решением этой проблемы. Пожалуйста, будьте терпеливы.

[Buka]

Проблема решена, игровой мир снова доступен.

[Zeox]

В течении часа все сервера будут отключены для начала технических работ, которые займут минимум несколько дней. Подробнее можно прочесть чуть выше. ( https://forum.pandawow.ru/showthread.php?t=176&page=27&p=1443834&viewfull=1#post1443834 )

 

Актуальная информация постоянно будет публиковаться. Следите за обновлениями в этой теме.

[Zeox]

По состоянию на 16:17 (Московское время).

 

Дампы баз данных успешно сделаны и перенесены на резервные сервера, сейчас, на всякий случай, делается полное физическое копирование всех данных на носителях, чтобы быть уверенными что после обнуления текущих серверов мы ничего нужного на них не забудем. Приблизительно копирование продлится до 6 часов, после чего сервера будут обнулены, а новые будут установлены.

 

Сроков включения серверов пока озвучить не могу. Следите за новостями.

[Zeox]

По состоянию на 23:41 (Московское время).

 

Новое оборудование успешно установлено, оперативная система так же готова. Начались подготовки сервера Fun/Cross, после чего будем устанавливать всё необходимое на x100.

 

Так же параллельно переносятся дампы с резервного сервера, размер дампов: PandaWoW x100 - 260 ГБ, PandaWoW Fun/Cross - 432 ГБ.

На текущий момент перенесено PandaWoW x100 - 128 ГБ, PandaWoW Fun/Cross - 141 ГБ.

 

Есть очень маленькая вероятность что к утру сервер заработает, если не успеем, то предварительно - завтра в течение дня. Следите за новостями.

[Zeox]

По состоянию на 3:31 (Московское время).

 

Мы практически закончили конфигурацию новых серверов, на текущий момент все базы уже функционируют на новом оборудовании, этот этап можно считать завершенным.

 

Теперь продолжаем над подготовкой самих игровых серверов , если всё хорошо, то в течении 1-2х часов будем тестово запускать сервера с ограниченным доступом (только ГМы/модераторы смогут зайти в игру), проверим всё ли хорошо. Если никаких проблем не будет найдено , сервера станут общедоступны. Предварительно сервера станут доступны через 3-4 часа.

[Zeox]

По состоянию на 8:10 (Московское время).

 

PandaWoW x100 / Cross / Личный кабинет - доступны и работают в штатном режиме.

PandaWoW Fun - будет доступен в течении часа.

 

В ближайшее время могут наблюдаться краши и различные проблемы, если вы вдруг заметили что-то необычное, создайте тему на форуме, а мы проверим. В целом, я думаю что всё должно быть хорошо, но на всякий случай предупреждаю.

 

Больше информации опубликую на протяжении дня.

[Buka]

В настоящее время игровой мир х100 недоступен.

Команда сервера уже в курсе и мы работаем над решением этой проблемы. Пожалуйста, будьте терпеливы.

Ориентировочно это может занять еще 40-60 минут.

[Buka]

Игровой мир x100 снова доступен, но мы предупреждаем о возможных затруднениях с задержкой или дисконнектами. Мы следим за ситуацией и возможными крашами.

[DeadMouse]

После следующего краша х100 будет запущен в режиме отладки. Это нужно для того, чтобы отследить проблему с зависаниями х100. Возможны частые краши и высокая задержка. Прошу отнестись с пониманием.

[DeadMouse]

Игровые миры обновлены. Изменения будут актуальны после краша/рестарта. Исправлено 4 причины падения сервера и несколько критичных багов, которые появились после предыдущего обновления. Подробное описание будет позже.