Технические проблемы форума

[VitohA]

akok
Да не очень.
Кешируется в среднем от 25 до 33% трафика. За месяц заблокировал почти 200к "плохих" запросов. Отдельной статистики по ботам нет, но в Bing поисковике мы должны быть где-то в топе, ибо он нас вдоль и поперёк просканил своими краулерами.

[akok]

То он ИИ обучает ))) По поводу кэширования, тут правила добавлять нужно. У меня из два (по идее можно попробовать переписать под себя)

(http.request.uri contains "/css.php?css=")

(http.request.uri contains "/proxy.php?image=")

Нужно смотреть какая статика отдается гостям, и дописывать под себя правила кеширования
Если есть правила кеширования на хостинге, чтоб было единообразно, стоит настройку Browser Cache TTL, установить в Respect Existing Headers

Если настроек нет, то можно попробовать сделать ход конем и разрешить кеширование всей статике

(ends_with(http.request.uri.path, ".7z")) or (ends_with(http.request.uri.path, ".avi")) or (ends_with(http.request.uri.path, ".bz2")) or (ends_with(http.request.uri.path, ".csv")) or (ends_with(http.request.uri.path, ".css")) or (ends_with(http.request.uri.path, ".dmg")) or (ends_with(http.request.uri.path, ".doc")) or (ends_with(http.request.uri.path, ".docx")) or (ends_with(http.request.uri.path, ".eps")) or (ends_with(http.request.uri.path, ".exe")) or (ends_with(http.request.uri.path, ".gif")) or (ends_with(http.request.uri.path, ".gz")) or (ends_with(http.request.uri.path, ".ico")) or (ends_with(http.request.uri.path, ".iso")) or (ends_with(http.request.uri.path, ".jar")) or (ends_with(http.request.uri.path, ".jpeg")) or (ends_with(http.request.uri.path, ".jpg")) or (ends_with(http.request.uri.path, ".js")) or (ends_with(http.request.uri.path, ".mid")) or (ends_with(http.request.uri.path, ".midi")) or (ends_with(http.request.uri.path, ".mp3")) or (ends_with(http.request.uri.path, ".mp4")) or (ends_with(http.request.uri.path, ".mpeg")) or (ends_with(http.request.uri.path, ".ogg")) or (ends_with(http.request.uri.path, ".pdf")) or (ends_with(http.request.uri.path, ".ppt")) or (ends_with(http.request.uri.path, ".pptx")) or (ends_with(http.request.uri.path, ".rar")) or (ends_with(http.request.uri.path, ".tar")) or (ends_with(http.request.uri.path, ".svg")) or (ends_with(http.request.uri.path, ".svgz")) or (ends_with(http.request.uri.path, ".ttf")) or (ends_with(http.request.uri.path, ".webm")) or (ends_with(http.request.uri.path, ".webp")) or (ends_with(http.request.uri.path, ".woff")) or (ends_with(http.request.uri.path, ".woff2")) or (ends_with(http.request.uri.path, ".xls")) or (ends_with(http.request.uri.path, ".xlsx")) or (ends_with(http.request.uri.path, ".zip"))

На а после проверять ответ сервера и смотреть статус кеширования
https://developers.cloudflare.com/ca...che-responses/


Кстати, на закладке AI Audit что-то показывает? А то у меня нет данных постоянно.

[akok]

+++ может помочь в анализе это дополнение
https://community.cloudflare.com/t/c...tension/110166

[VitohA]

Цитата (akok) »

То он ИИ обучает )))

Да однозначно)

Цитата (akok) »

По поводу кэширования, тут правила добавлять нужно. У меня из два (по идее можно попробовать переписать под себя)

Ага, спс за правила.

Цитата (akok) »

Кстати, на закладке AI Audit что-то показывает? А то у меня нет данных постоянно.

Туда даже ещё ни разу не заходил

Цитата (akok) »

+++ может помочь в анализе это дополнение
https://community.cloudflare.com/t/c...tension/110166

Прикольно, посмотрю, что оно покажет.

[VitohA]

Сегодня немного "пошатал" форум.

1. Дубли постов. Воспроизвёл ошибку. По непонятной причине сервер при получении сообщения через POST не возвращал ничего в ответ, AJAX на это делал retry через цать (точно не измерял, секунд 15-20 даётся на повторение запроса) секунд, что и приводило к появлению дубля. При этом данные сервер получал оба раза, т.е. если закрыть вкладку до момента второго POST'а, то новое сообщение появлялось секунд через 15-30 в треде. При этом не нашёл никаких ошибок в логах, они были кристально чисты. Вообще ничего нигде плохого не найдено было.
2. Поэтому полез "шатать" базы, это давно напрашивалось. У нас >90% таблиц в myisam, пробежался по ним OPTIMIZE и RESTORE, что очень сильно нагрузило БД и мы лежали минут 15. По результатам база похудела на 800МБ: с 2.9ГБ до 2.1ГБ. Хороший результат, что по мне. Жаль, что myisam не поддерживает REINDEX, но тут ещё почитаю, может ещё чуть-чуть выжмем из них.
3. Поправил правила кеширования на CF, поместив туда все скрипты и статические картинки:

(http.request.uri.path contains "/clientscript")
(http.request.uri.path contains "/images")

Посмотрим, на сколько это поможет.
В планах добавить ещё кеширующих правил и забанить msn ботов.

[garniv]

VitohA

[Lesnik75]

Цитата (VitohA) »

и забанить msn ботов.

До кучи YandexBot со товарищи, раз они всё равно результаты поиска у нас не выдают.

[akok]

Полезных ботов глушить, себе в ногу стрелять, они в отличии от китайских уважают в robots.txt директиву Crawl-delay: 10

А вот в логах вредных половить стоит (в AWStats), например сразу можно глушить.
User-agent: Bytespider
User-agent: ClaudeBot

Цитата (Lesnik75) »

До кучи YandexBot со товарищи, раз они всё равно результаты поиска у нас не выдают.

Это еще фильтр аффилиат действует?

А в режиме отладки скрипта видно какой конкретно запрос к BD зависает? Доступ к логам медленных запросов?

И да, у cludflare есть отличный сервис zaraz... очень удобно пихать все счетчики туда, а не напрямую в код.

Насчет формата таблиц
https://vbsupport.ru/forum/showthread.php?t=52284

[VitohA]

Цитата (akok) »

Полезных ботов глушить, себе в ногу стрелять, они в отличии от китайских уважают в robots.txt директиву Crawl-delay: 10

Подтюним. Бинг недостаточно уважает эту директиву, но кол-во посещений от них примерно в 10 раз уменьшилось.

Цитата (akok) »

А вот в логах вредных половить стоит (в AWStats), например сразу можно глушить.
User-agent: Bytespider
User-agent: ClaudeBot

Сходу не могу найти, но фильтр для роботс скопипастил с какой-то гитхаб репы, где занесено куча известных плохих ботов.

Цитата (akok) »

А в режиме отладки скрипта видно какой конкретно запрос к BD зависает? Доступ к логам медленных запросов?

Не нашёл такой функциональности у нашего хостера ¯\_(ツ)_/¯
Вообще метрики недоступны, кроме размера базы.

Цитата (akok) »

И да, у cludflare есть отличный сервис zaraz... очень удобно пихать все счетчики туда, а не напрямую в код.

Ага, гляну, спс.

Цитата (akok) »

Насчет формата таблиц

Вопрос про основную таблицу: posts. Это самая большая таблица, гига полтора, где 50\50 данные и индексы.
Логично её оставить в myisam, но вдруг inno даст буст? Дба-шник из меня так себе)
По описанию и профилю нагрузки isam всё же наш выбор, но раз в год и палка стреляет.



З.Ы.: А пока пытаюсь понять, почему правила кеширования не кешируют иконки и js скрипты.

[akok]

Цитата

Не нашёл такой функциональности у нашего хостера ¯\_(ツ)_/¯

Это режим булки
https://vbsupport.ru/forum/showthread.php?t=21132B
++

https://vbsupport.ru/forum/showthread.php?t=25913

Цитата

З.Ы.: А пока пытаюсь понять, почему правила кеширования не кешируют иконки и js скрипты.

А вот с этого места нужны примеры, плагин показывает обратное

[VitohA]

Цитата (akok) »

А вот с этого места нужны примеры, плагин показывает обратное

У меня вот так:

[akok]

а что на закладке "uncached requests"? Внешние скрипты он точно кешировать не будет.

[VitohA]

Там как раз много из scripts и images, т.е. внутренняя статика.

Похоже картинка меняется от CDN сервака к серваку.

[akok]

несколько раз f5, при первом обращении в кеше может и не быть файла + проверь включен ли Tiered Cache (в cloudflare). Ну а вообще, нужно смотреть ответ сервера по каждому проблемному файлу
https://checkmy.ru

[VitohA]

Цитата (akok) »

Tiered Cache

Помог, спс. Кол-во cache hits заметно выросло.

Но, похоже, нашлись и баги при кешировании, но это пока не точно. Копаем.

[VitohA]

Цитата (VitohA) »

Но, похоже, нашлись и баги при кешировании, но это пока не точно. Копаем.

Да, vB_Datastore_Filecache ломает quickchooser как минимум. Бага-с

[VitohA]

Технический оффтоп:

Конвертация основной таблицы post (1.6ГБ, 50/50 данные и индексы) из myisam в innodb потребовала 800ГБ записи
И это добавило ей ещё 0,5ГБ в размере. Вопрос конвертации, смысла inno и всего такого откладывается на неопределённый срок.

[Keper]

Такое себе.
Какие уж там перконы...
Живёт на myisam и... пусть дальше живёт.

[akok]

Странно, обычно размер растет в 1,5 раза всего... в любом случае главное бекап.

[VitohA]

Просим любить и жаловать обновлённый форум. Базовая функциональность проверена, всё работает. Но местами могут лезть ошибки, просим отписываться о них тут, будем фиксить по мере их нахождения.