Дайджест Joomla за Январь 2019
4 мин
Предлагаю вашему вниманию подборку ссылок на новые материалы по Joomla! CMS за Январь 2019. В дайджесте: информация о Joomla 4, новости о Joomla, подборка ссылок на инструменты для разработчиков и вебмастеров.
JAMstack: Как создать свой блог используя Gatsby + Contentful + Netlify
7 мин
Вы уже слышали о новом подходе JAMstack? Возможность писать веб-приложения на любимом фреймворке, управлять контентом из админ панели, а на выходе получать полностью валидные HTML-страницы построенные согласно с самыми последними рекомендациями SEO, PWA и a11y.
Интересно? Тогда вот список рассматриваемых вопросов в этой статье:
- Что это за новый стек и зачем он нужен?
- Как запустить базовое приложение используя Gatsby?
- Работа с Contentful и создание первой порции данных
- Как связать Contentful и Gatsby используя GraphQL?
- Настроить автоматический деплоймент используя Netlify
Почему строить базу знаний компании на основе mediawiki — недурная затея
8 мин
В последнее время Confluence и sharepoint стали почти безраздельно править на рынке баз знаний. Системы отличные, не спорю, но лично мне не хватает их гибкости да и в целом как-то не срослось: вики-возможности sharepoint остались где-то на уровне 2005 года (про работу с офисными документами молчу, с ними все гуд), а Confluence в силу своих особенностей с ростом числа статей неумолимо превращался в свалку, в которой невозможно найти что-либо нужное (но, может, проблема была во мне).
Не умаляя достоинства этих систем, хотелось бы рассказать о том, какие возможности есть у Mediawiki в роли корпоративной базы знаний. Само собой, mediawiki подойдет не всем — в ней нет модной интеграции с jira/tfs/etc, перенос документов с картинками из пакета Microsoft Office доставляет кучу неудобств, да и сама она написана на PHP, что в последнее время служит отпугивающим фактором для некоторых айтишников. Тем не менее, платформа живее всех живых и над ее развитием работает изрядное количество людей, коль скоро на ней базируется семейство проектов фонда Викимедиа.
Своя видео-платформа или чем занять много вычислительных ресурсов. Part 1
4 мин
Сегодня, благодаря доступности нужных сервисов, размещение видео в сети не является сложной задачей. Однако материалов по внутреннему устройству подобных систем не так уж и много, особенно в русскоязычном сегменте.
Я в течение некоторого времени занимался проектированием и разработкой качественной видео-платформы. В этой статье я хочу описать те моменты, которые сам бы хотел знать в начале разработки.
Статья не претендует на статус руководства, в ней я постараюсь описать только интересные или неочевидные моменты, затрагивающие обработку и доставку видео-контента на базе HTML5.
Материал рассчитан на тех, кто уже в теме, либо готов искать расшифровку аббревиатур, терминов и понятий.
Вторая часть.
Почему валидации email регуляркой недостаточно. Проверка MX-записей с примерами на PHP и Ruby
3 мин
Уж сколько раз твердили Миру… Существует давний и, вероятно, нескончаемый спор о том, какой именно регуляркой правильно и нужно проверять поле email пользователя.
Да, проверять регуляркой действительно нужно. Но ведь наши продукты работают в Сети. Так почему бы не использовать её настоящую мощь?
Да, проверять регуляркой действительно нужно. Но ведь наши продукты работают в Сети. Так почему бы не использовать её настоящую мощь?
«CMS» на базе Google Spreadsheets для статических сайтов
2 мин
Туториал
Все чаще для рассказа о мероприятии/товаре/услуге компании создают сайты на базе каких либо конструкторов. Либо своими силами, либо привлекая дизайнеров и без участия программиста. Современные конструкторы позволяют собрать классный, яркий, эффектный сайт, но статичный. Любые изменения нужно вносить «ручками в редакторе» и перепубликовать страницу. Но что делать, если данные меняются очень часто или хочется добавить немного автоматизации — вот тут и могут помочь Гугл Таблицы и Charts Query Language (и знакомы программист).
DataIncrement — дополнение к возможностям phpMyAdmin
3 мин
Когда используешь что-то вроде phpMyAdmin для работы с данными в базе, всегда неудобно что связанное поле отображает просто число из другой таблицы, вместо конкретных данных, которые там прячутся.
Например, в поле `country_id` стоят числа, а не название страны. Приходится прыгать из таблицы в таблицу. Или писать отдельный sql, что бывает зачастую неудобно, если надо по быстрому. Или с телефона набирать sql запрос не с руки. А если нужно обновить страну из поля `country_id`, то опять прыгать из таблицы в таблицу. Короче — неудобно все это.
Проще показать в формате было-стало:
Например, в поле `country_id` стоят числа, а не название страны. Приходится прыгать из таблицы в таблицу. Или писать отдельный sql, что бывает зачастую неудобно, если надо по быстрому. Или с телефона набирать sql запрос не с руки. А если нужно обновить страну из поля `country_id`, то опять прыгать из таблицы в таблицу. Короче — неудобно все это.
Проще показать в формате было-стало:
Как Яндекс.Дзен, плагин кэширования для WordPress и хостинг повысили мое давление
5 мин
Это статья, скорее, из серии «хозяйке на заметку». Ну и еще немного о личных переживаниях и раздолбайстве.
Если вам приходится сталкиваться с сайтами на WordPress, на которых установлен плагин кэширования WP Super Cache, то статья может быть для вас небесполезна. В остальном, это просто небольшая история.
Разные цены для складов в многоскладовости. Доработка 1С-Битрикс
3 мин
Были интернет-магазин и b2b платформа у одной компании на системе 1с-Битрикс. Компания росла и появились свои склады и добавились еще склады партнеров которые нужно было отображать. Возникла необходимость отображения остатков по нескольким складам.
И что нам говорит Битрикс: Пожалуйста переходите на редакцию «Бизнес» и будет всё замечательно и сразу. На редакцию перешли и оказалось, что многоценновость и многоскладовость в 1С-Битрикс живут отдельной жизнью. Первая нужна для отображения разных цен для разных групп пользователей, а второе для отображения остатков на разных складах.
Нам нужно было выводить остатки со своей ценой по каждому складу, так как цена у партнеров и у нас может отличаться на одну и ту же позицию. Штатного такого функционала оказалось, что нет.
И что нам говорит Битрикс: Пожалуйста переходите на редакцию «Бизнес» и будет всё замечательно и сразу. На редакцию перешли и оказалось, что многоценновость и многоскладовость в 1С-Битрикс живут отдельной жизнью. Первая нужна для отображения разных цен для разных групп пользователей, а второе для отображения остатков на разных складах.
Нам нужно было выводить остатки со своей ценой по каждому складу, так как цена у партнеров и у нас может отличаться на одну и ту же позицию. Штатного такого функционала оказалось, что нет.
Как не надо разрабатывать проект на Битрикс
4 мин
За все время своей работы с Битрикс мне довелось поработать с очень большим количеством проектов, которые кто-то разрабатывал до меня. Тут и мелкие доработки, фикс различных багов и ошибки работы логики, редизайн сайта и глобальные изменения существующего функционала. И, как и любой другой разработчик, я терпеть не могу разгребать чужой мусор, костыли и «временные» заплатки, которые на деле помнят еще 8 редакцию продукта.
Сервис uLogin отправляет данные из форм (почта, телефон) на сторонний сайт и молчит об этом
3 мин
Привет сообщество. Это моя первая запись, пусть она и не совсем длинная — но важный посыл в заголовке.Есть такой сервис для авторизации через соцсети — uLogin. Разработчики выпустили много бесплатных плагинов под различные CMS и вот он — сыр в мышеловке.
Видно дела пошли не очень и пользователи начали замечать, что сервис подгружает странные скрипты при работе модуля. Я проводя аудит своего сайта — заметил что грузится counter.yadro.ru несколько раз. В общей сложности, при загрузке страницы, они загружали 18 ресурсов (js, css, прочие запросы) — это много для моего проекта у которого всего 47 запросов. А их сервис добавляет еще 18, включая запросы к сторонним сайтам.
Высокие перегрузки: электронный архив на Alfresco ECM
6 мин
Хотим поделиться опытом по автоматизации работ, связанных с фото-фиксацией грузов, в одной из самых крупных российских транспортных компаний. И рассказать о том, с какими вызовами пришлось столкнуться, и как мы их решали.
Задача фото-фиксации грузов на различных этапах транспортировки является типовой для транспортной компании. Сотрудники компании фотографируют груз, загружают изображение в ERP-систему, из которой он попадает в электронный архив (ЭА). Каждая фотография сопровождается метаинформацией: отделение отправитель, получатель, код и индекс рейса, и т.д. Основная задача электронного архива – организация гибкого, удобного и, главное, быстрого поиска фотографий по метаинформации за последние 3 года.
Задача фото-фиксации грузов на различных этапах транспортировки является типовой для транспортной компании. Сотрудники компании фотографируют груз, загружают изображение в ERP-систему, из которой он попадает в электронный архив (ЭА). Каждая фотография сопровождается метаинформацией: отделение отправитель, получатель, код и индекс рейса, и т.д. Основная задача электронного архива – организация гибкого, удобного и, главное, быстрого поиска фотографий по метаинформации за последние 3 года.
Защита от легкого DDoS'a
5 мин
Совсем недавно на хабре уже появилась рекламная статья о борьбе с DDoS атаками на уровне приложения. У меня был аналогичный опыт поиска оптимального алгоритма противодействия нападениям, может кому пригодится — когда человек в первый раз сталкивается в DDoS-ом его сайта, это вызывает шок, поэтому полезно заранее знать, что всё не так уж страшно.
Ближайшие события
Производительность Joomla на больших объемах контента
4 мин
Joomla очень плохо переваривает базу данных даже с несколькими тысячами статей в таблице _content. При нескольких десятках тысяч запросы в базу стандартных модулей типа mod_articles_popular могут зависать на секунды.
Всё дело в ACL (Access Control List) — политике контроля доступа. Проверка законности доступа пользователя к материалам занимает свыше 98% времени выполнения запроса.
Защита от DDoS атаки на уровне веб-приложений
4 мин
Как известно DDoS атаки на сайт бывают разной интенсивности, имеет значение количество хостов участвующих в атаке, количество сетевых пакетов и объем передаваемых данных. В самых тяжелых случаях отбить атаку возможно только применяя специализированное оборудование и сервисы.
Если же объем атаки меньше пропускной способности сетевого оборудования и вычислительных мощностей сервера (пула серверов) обслуживающих сайт, то можно попробовать “заглушить” атаку не прибегая к сторонним сервисам, а именно включить программный фильтр трафика поступающего на сайт. Этот фильтр будет отсеивать трафик ботов участвующих в атаке, при этом пропуская легитимный трафик “живых” посетителей сайта.
Поддержка IPv6 в CleanTalk Security для WordPress
2 мин
Недавно мы писали о том что сделали поддержку IPv6 в антиспам плагине. Но не только спамеры начали использовать IPv6, для других видов атак на сайты злоумышленники их тоже используют.
Мы реализовали поддержку IPv6 в плагине безопасности для WordPress. Обновлены методы определения IP адресов, хранения и передачи информации в облако.
Мы должны были научить плагин различать, стандартизировать, искать подсети и хранить IPv6 адреса. Несмотря на массу различных готовых решений пришлось делать свою реализацию и главная загвоздка в том что PHP может быть собран с различными параметрами, да и вообще может быть устаревшей версии, поэтому пришлось делать все с нуля.
Мы реализовали поддержку IPv6 в плагине безопасности для WordPress. Обновлены методы определения IP адресов, хранения и передачи информации в облако.
Мы должны были научить плагин различать, стандартизировать, искать подсети и хранить IPv6 адреса. Несмотря на массу различных готовых решений пришлось делать свою реализацию и главная загвоздка в том что PHP может быть собран с различными параметрами, да и вообще может быть устаревшей версии, поэтому пришлось делать все с нуля.
Валидация емейл адресов для защиты от спам ботов на сайте
2 мин
Электронная почта до сих пор остается одним из важнейших и эффективных элементов онлайн бизнеса и маркетинга и является наиболее эффективным каналом получения дохода. Поэтому для любого онлайн бизнеса и владельцев веб сайтов важно быть уверенным, что именно владелец емейла использовал его для регистрации/подписки, чтобы пользователь использовал свой реальный емейл адрес.
Есть несколько важных причин для этого.
Во-первых, это важно для восстановления забытого пароля, например: пользователь допустил опечатку в своем емейл адресе, через некоторое время использовал функцию восстановления пароля и не может получить новый пароль.
Во-вторых, этот пользователь не получит ваших емейл уведомлений.
В-третьих, пользователь, чей емейл был использован спамером для регистраций/подписки, отправит вашу рассылку в спам. В дальнейшем спамеры могут использовать этот емейл для отправки спама, брутфорса и т.д.
Есть несколько важных причин для этого.
Во-первых, это важно для восстановления забытого пароля, например: пользователь допустил опечатку в своем емейл адресе, через некоторое время использовал функцию восстановления пароля и не может получить новый пароль.
Во-вторых, этот пользователь не получит ваших емейл уведомлений.
В-третьих, пользователь, чей емейл был использован спамером для регистраций/подписки, отправит вашу рассылку в спам. В дальнейшем спамеры могут использовать этот емейл для отправки спама, брутфорса и т.д.
CleanTalk Malware Scanner — эвристический анализ кода
2 мин
Мы уже рассказывали о запуске Security сервиса для WordPress в предыдущей статье. Сегодня мы хотим рассказать о запуске эвристического анализа для определения вредоносного кода.
Само наличие вредоносного кода может привести к бану в поисковой выдаче или предупреждению в поиске о том что сайт заражен, оградить пользователей от возможно опасного контента.
Можно найти вредоносный код и самостоятельно, но это и большой объем работы и большинство пользователей WordPress не обладает необходимыми навыками, чтобы найти и удалить ненужные строки кода.
Само наличие вредоносного кода может привести к бану в поисковой выдаче или предупреждению в поиске о том что сайт заражен, оградить пользователей от возможно опасного контента.
Можно найти вредоносный код и самостоятельно, но это и большой объем работы и большинство пользователей WordPress не обладает необходимыми навыками, чтобы найти и удалить ненужные строки кода.
Расширяем возможности CleanTalk Anti-Spam
2 мин
Проверка существующих пользователей Joomla на спам
Сообщения спам-ботов (комментарии) часто замаскированы под обычные сообщения пользователей, но содержат рекламные ссылки или текст. Основными задачами таких сообщений являются, переход пользователя на вредоносный ресурс, рекламу или ссылки для повышения позиций их сайта. Это компрометирует сайт и может испортить репутацию, поисковые системы могут понизить позицию сайта в результатах поиска.
Мы реализовали проверку на спам, для комментариев и пользователей, которые уже существуют на сайте. Это позволяет администраторам веб-сайтов автоматически проверять и идентифицировать комментарии и регистрации спам-ботов, которые не были обнаружены обычными средствами защиты от спама.
5 новых анти-спам плагинов от CleanTalk
4 мин
Мы решили продолжить вести блог и будем в нем рассказывать о своей работе. Начнем с того, что расскажем о том, что нами было нами сделано в 2017 году. За прошедший год нами были разработаны несколько антиспам модулей для CMS, о которых я расскажу подробнее.