Как стать автором
Обновить
30
Карма
0
Рейтинг
Андрей Шмиг @AndrewShmig

ML & JS <3

  • Подписчики 166
  • Подписки 34

В «Яндекс.Такси» начали вычислять социальный рейтинг пассажиров

Искренне благодарен, что вы написали этот комментарий — меня эти чаевые утомили, потому что карта была привязана. Сменил на Google Pay.

PhpStorm 2019.2: Типизированные свойства PHP 7.4, поиск дубликатов, EditorConfig, Shell-скрипты и многое другое

А я после обновления минут 5 очки протирал — никак не мог поверить, что шрифт изменился :)

Дайджест новостей машинного обучения и искусственного интеллекта за июнь

Тренируйте свою нейросеть!

Там dropout уже 100% :)

А по переводу — боюсь, что в терминологии утону, хотя глянуть надо.

Дайджест новостей машинного обучения и искусственного интеллекта за июнь

Отличная подборка!
Последней статьи на русском случаем нет? Устал читать на инглише.

Погружение в свёрточные нейронные сети. Часть 5 / 1 — 9

Приветствую! Посмотрите в моих публикациях — от старых к новым, оригинальный порядок.

Яндекс открывает датасеты Толоки для исследователей

Батюшки! Я надеюсь мне эти данные пригодятся — в закладки, однозначно!

CS231n: Свёрточные нейронные сети для распознавания образов

Минусующие, будьте добры, дайте обратную связь.

Первая модель: набор данных Fashion MNIST

Интересно, благодарю! Буду обращать на это внимание, если упоминания этой методики будут в курсе.

Первая модель: набор данных Fashion MNIST

Таких вопросов много будет по ходу курса и ответов конкретных на них не дают. Вся суть — в последнем блоке и выводах. Просто экспериментируйте с количеством нейронов — получите точность выше / ниже, то можно поздравить / огорчиться!

Введение в машинное обучение

C учетом того, сколько у меня курсов есть полезных в закладках для публикации и переводов — будет в последующих «сериях». Подписывайтесь, отслеживайте. Если есть пожелания по курсам — напишите в личку, добавлю себе в план.

Материалы перерабатываю полностью, поэтому времени занимает прилично, но зато, надеюсь, качество подачи и понимания темы повышается.

Введение в машинное обучение

Решил глянуть англоязычную часть по этому поводу и проверить, правильно ли я перенёс доносимую суть.

По результатам:
  • считают термин feature эквивалентным термину measurable property;
  • признак = свойство объекта или характеристика явления.


Думаю, что в данном случае слово признак является устоявшимся, а термины могут быть взаимозаменяемы.

Shit happens. Яндекс удалил часть виртуальных машин в своем облаке

А я об снимал видео на эту тему… ппц, если бы у меня сейчас всё слетело, то можно было бы «вешаться» и всему бизнесу кранты.

Бекапы бекапами, но на развёртывание, восстановление, судебные иски от заказчиков уйдёт уйма времени, денег, ресурсов и денег.

Гибкая схема хранения данных в MySQL (JSON)

Конфигурации абсолютно произвольные могут быть, поэтому заранее добавить вряд ли имеет смысл. Я рассматривал изначально вариант создания нескольких таблиц: одна для хранения информации о самой форме, а вторая — поля + тип данных + FK на форму родительскую. Правда как потом статистику по этому делать и гибкие выборки с фильтрам — так глубоко и не заходил.

Гибкая схема хранения данных в MySQL (JSON)

Поясните, чайнику, как лучше-то сделать? И как можно это НЕ хранить в БД, если проект многопользовательский и… файлы? Как-то странно их использовать. Какие-то ещё варианты? Смутно представляю себе, чем заменить MySQL в системе без костылей по работе с другим типом хранилища.

Гибкая схема хранения данных в MySQL (JSON)

Коллеги, а может подскажете, как хранить кастомные формы пользовательские — JSON или какие-то структуры с набором таблиц?

Пример: есть проект, у проекта пользователь может создавать произвольную форму из произвольных полей (текст, значение, интервал и т.п.) аля бриф.

Как сию структуру лучше хранить для последующей работы и выборки / формировании статистических данных и группировок?

Генерация документов в doc, excel, pdf и других форматах на сервере

Дополню свой комментарий, потому что я себе весь мозг вынес этим — проблема в том, что текущая реализация библиотеки (от автора поста, да и в целом имеющихся решений) не позволяет работать с несколькими параллельными (для поисковиков: multiple instances in command line libreoffice) инстансами soffice / libreoffice и, как в моём случае, одновременный запуск генерации двух счетов приводит к выбрасыванию исключения.

Как исправить?
Где я нашел решение: document-foundation-mail-archive.969070.n3.nabble.com/How-to-run-multiple-instances-of-Writer-simultaneously-tp4225101p4225390.html

Цитирую, чтобы текст никуда не исчез:

Just wanted to follow up on this thread. Running multiple Writers in the same (single) soffice.bin process seems to incur noticeable performance penalties. Therefore, in order to run several soffice.bin processes:

— Get a uuid string.
— Create random folder in /tmp/soffice-dir-uuid for the soffice.bin process.
— Optional as Matthew Francis suggested: copy a cached soffice folder into /tmp/soffice-dir-uuid (to improve startup performance).
— Run soffice --headless --accept=«pipe,name=soffice-pipe-uuid;urp;StarOffice.ServiceManager» -env:UserInstallation=file:///tmp/soffice-dir-uuid (Or call /path/to/soffice.bin directly.)


Пилим под себя и получаем вот такой итог (с использованием библиотеки от автора поста):

$converter->addOption('--nolockcheck');
$converter->addOption('--accept="pipe,name='. uniqid('libreoffice') .';urp;StarOffice.ServiceManager"');
$converter->addOption('-env:UserInstallation=file://'. sys_get_temp_dir() . uniqid('libreoffice'));


Как предлагали на форуме (возможно в том же треде) — один из вариантов ускорения запуска libreoffice в --headless режиме, так это не создавать каждый раз новую структуру директории для флага UserInstallation, а создать один раз дефолтную и потом её только копировать во временную зону.

Хух. Надеюсь это реально кому-то поможет!

Генерация документов в doc, excel, pdf и других форматах на сервере

Дополню свой же комментарий, потому что пришлось понаступать на грабли. Конвертил я docx в pdf и при запуске из консоли была ошибка LibreOffice с кодом 77. Пофиксил её вот так:

$converter = new Converter('soffice');
$params = (new LowrapperParameters())
            ->setInputFile($docxInvoice)
            ->setOutputFile($pdfInvoice)
            ->setOutputFormat(Format::TEXT_PDF);
$converter->addOption('-env:UserInstallation=file://'. sys_get_temp_dir(), 'libreoffice');
$converter->convert($params);


На что обратить внимание:
$converter->addOption('-env:UserInstallation=file://'. sys_get_temp_dir(), 'libreoffice');


Несмотря на --headless параметр запуска LibreOffice пользовательская конфигурация сохраняется LibreOffice в домашней директории. На сервере (да и у меня локально) пользователь, запускающий процесс LibreOffice не имет доступа к write домашней директории, поэтому, чтобы не давать лишних прав — указываем другое место сохранения настроек. После этого всё заработало как по маслу.

Генерация документов в doc, excel, pdf и других форматах на сервере

Провозился со всеми конвертерами, которые в связке с PHPWord шли — mpdf, dompdf, tcpdf и ни один не смог даже самую простую таблицу отпечатать с отсутствующим border (opacity 0). С кирилицей у 2 из 3 конверторов жестокие проблемы — dompdf, tcpdf и чтобы всё взлетело надо доставлять шрифты, конфигурировать и то не факт, что всё взлетит. Из коробки кирилицу только mpdf подцепил и всё распечатал без ???
С изображениями тоже беда — достаточно в редакторе добавить свойство «Under text» изображению и ни один конвертер не отпечатает изображение, от слова совсем. При попытке позиционирования изображения в режиме absolute — +-1 пиксель куда-то не туда и всё, в генерируемом pdf нет изображения.

В итоге плюнул я на эту возню и решил, что лучше использовать libreoffice с его конвертером. Правда здесь у меня тоже юмор — рабочая машина mac, сервер — centos… надеюсь, что тестировать это будет не так тяжко, как возиться с кучей полурабочих библиотек.

За статью благодарность! За конвертер — отдельно. Хоть велосипеды писать не надо.

Telegram представил собственный сервис Passport для верификации и авторизации пользователей

вне границ какого либо государства.

Вне Земли? На Марсе сервера? Да еще и централизованный вариант… ну это же всё решаемо. :)

Информация

В рейтинге
Не участвует
Откуда
Владимир, Владимирская обл., Россия
Зарегистрирован
Активность