Без redis'а оно тоже работает). А ты предлагаешь на localhost'е в редис асинхронно ходить?
// btw, мне кажется что про асинхронные походы в redis я знаю всё, в свое время было единственной по-настоящему асинхронной либой - https://github.com/ei-grad/toredis/
пока жив конкретный инстанс веб-сокета, сервер может держать в памяти то, что прислал пользователь, без необходимости шарить состояние между всеми инстансами
куда загружаешь CSVшку и нужно перед сохраниением данных из неё дать пользователю, проверить что все поля нормально помапились
сохраняешь в staging bucket, отображаешь чо надо, пользователь коммитит, пол дня работы, да, можно найти более удобный инструмент чем flask-admin, но у него будут свои минусы
select2 во flask-admin не делается гибко и просто? да нормально он делается
пока жив конкретный инстанс веб-сокета, сервер может держать в памяти то, что прислал пользователь, без необходимости шарить состояние между всеми инстансами
Не верно. Dagster - это продукт Nicholas Schrock и его команды в Elementl. Бывший сотрудник Facebook, со-создатель GraphQL. Airflow вырос из Airbnb, одним из основных первых авторов был Maxime Beauchemin. Кажется что они никак не связаны.
Недавно обнаружил, что не знаю как устроена deque. Оказывается это специальная структура данных (а я почему то лет 15 из своего опыта в программировании считал что там двусвязный список под капотом). Иногда название этой структуры данных переводят как "дека". Двусторонняя очередь это тоже название этой структуры? Мне кажется что в статье не хватает краткого описания ее устройства.
Все тоже самое кроме функции активации, теперь она не softmax а sigmoid, и функция потерь
И оптимизатор) короче вообще все другое, кроме "архитектуры") ой, в архитектуре тоже лишний Dense слой появился)
Чем был обеспечен выбор используемых оптимизаторов наверное нет смысла спрашивать?) Используй базовый SGD, он сильно быстрее и экономнее по памяти, ему нужно меньше параметров для подсчета градиентов.
Если вы тащите в образ конду и стараетесь ускорить запуск, то логично было бы добавить сахара для использования conda pack.
Дизайнил-евангелистил в Озоне штуку которая пересекается по философии и функциональности. Правда собственно до adhoc-запускалки при мне мы не дошли, там было больше про поддерживаемость кода, воспроизводимость и удобный запуск airflow-пайплайнов с вычислениями на hadoop yarn кластерах.
Как-как, только подход "неудачники нам не нужны", только хардкор. Видимо в Альфа-Банке этот фильтр применяют ещё до автора статьи на уровне HR, наверное поэтому в статье его нет.
Слишком широкий вопрос. За 10 лет в экосистеме линукс произошло столько всего, что выбрать и указать что-то одно значимое - нонсенс. Конечно можно сказать что это на гибкость ума / cultural fit / и т.п. Но я бы не стал подобный вопрос задавать, слишком высокий риск запороть собес с нормальным кандидатом.
Вспомнилось пожалуй самое тупое собеседование в моей практике. Чувак начитался хабра и ожидал что кандидаты будут ему на такие "свободные и открытые" вопросы по типу "чего вам не нравится в Python" и "чем git от mercurial отличается" отвечать что-то из того чего он тут прочитал. На пару я ответил нормально, ну насколько возможно, чувак ответы не понял, а потом мне надоело и я по-быстрому скипнул/пролистал остальное (просто чтоб понять степень ограниченности собеседующего). Вакансия была - регулярки для сканера писать в positive technologies, хз зачем вообще пошел.
А этот текст точно не yalm-100b писало? RDS? SCD? Spark сотни миллионов строк в минуту? (а я думал он распределённый и масштабируется) Delta Lake инструмент для data quality? Как связаны снимки ФС и партиционирование? Понятно что гуглопереводчик, но не понятно как.
streamlit, gradio
фатальный недостаток :-D
Без redis'а оно тоже работает). А ты предлагаешь на localhost'е в редис асинхронно ходить?
// btw, мне кажется что про асинхронные походы в redis я знаю всё, в свое время было единственной по-настоящему асинхронной либой - https://github.com/ei-grad/toredis/
Не раскрыто совсем. Вот тут смотри аналогичная фигня для телеграм-ботов - https://github.com/ei-grad/telegram-game/blob/master/examples/guess_a_number.py#L34-L61.
сохраняешь в staging bucket, отображаешь чо надо, пользователь коммитит, пол дня работы, да, можно найти более удобный инструмент чем flask-admin, но у него будут свои минусы
select2 во flask-admin не делается гибко и просто? да нормально он делается
ничо вы упоролись, код в студию!
По названию статьи подумал что это про то как аналитики приходят к дата-инженерам чтобы те подкинули ядер им в очередь в yarn :-).
Лучше сразу на apiary.io тогда. Вообще, да, странно в такой статье его не упомянуть.
Не верно. Dagster - это продукт Nicholas Schrock и его команды в Elementl. Бывший сотрудник Facebook, со-создатель GraphQL. Airflow вырос из Airbnb, одним из основных первых авторов был Maxime Beauchemin. Кажется что они никак не связаны.
Спасибо за статью. Как вам живется с Data Vault?
Хоть бы один "переводчик" ссылку на Apache Iceberg исправил, она в обоих статьях на databricks'овый atlas ведёт.
Недавно обнаружил, что не знаю как устроена deque. Оказывается это специальная структура данных (а я почему то лет 15 из своего опыта в программировании считал что там двусвязный список под капотом). Иногда название этой структуры данных переводят как "дека". Двусторонняя очередь это тоже название этой структуры? Мне кажется что в статье не хватает краткого описания ее устройства.
И оптимизатор) короче вообще все другое, кроме "архитектуры") ой, в архитектуре тоже лишний Dense слой появился)
Чем был обеспечен выбор используемых оптимизаторов наверное нет смысла спрашивать?) Используй базовый SGD, он сильно быстрее и экономнее по памяти, ему нужно меньше параметров для подсчета градиентов.
Если вы тащите в образ конду и стараетесь ускорить запуск, то логично было бы добавить сахара для использования conda pack.
Дизайнил-евангелистил в Озоне штуку которая пересекается по философии и функциональности. Правда собственно до adhoc-запускалки при мне мы не дошли, там было больше про поддерживаемость кода, воспроизводимость и удобный запуск airflow-пайплайнов с вычислениями на hadoop yarn кластерах.
Жалко что на диск данные из zswap по какой-то причине сбрасываются не сжатыми.
Как-как, только подход "неудачники нам не нужны", только хардкор. Видимо в Альфа-Банке этот фильтр применяют ещё до автора статьи на уровне HR, наверное поэтому в статье его нет.
Под каким ником в мультиплеере кто бегал?
// GrAd
Вот ни странно ни разу, по рассказу про компанию все ясно, пожалуй кроме названия.
На трёх местах работы мигрировал Python2 -> 3. Но причем тут линукс? PHP5 и хрен бы с ним, в 7 же jit фейсбуковский появился?
Слишком широкий вопрос. За 10 лет в экосистеме линукс произошло столько всего, что выбрать и указать что-то одно значимое - нонсенс. Конечно можно сказать что это на гибкость ума / cultural fit / и т.п. Но я бы не стал подобный вопрос задавать, слишком высокий риск запороть собес с нормальным кандидатом.
Вспомнилось пожалуй самое тупое собеседование в моей практике. Чувак начитался хабра и ожидал что кандидаты будут ему на такие "свободные и открытые" вопросы по типу "чего вам не нравится в Python" и "чем git от mercurial отличается" отвечать что-то из того чего он тут прочитал. На пару я ответил нормально, ну насколько возможно, чувак ответы не понял, а потом мне надоело и я по-быстрому скипнул/пролистал остальное (просто чтоб понять степень ограниченности собеседующего). Вакансия была - регулярки для сканера писать в positive technologies, хз зачем вообще пошел.
А этот текст точно не yalm-100b писало? RDS? SCD? Spark сотни миллионов строк в минуту? (а я думал он распределённый и масштабируется) Delta Lake инструмент для data quality? Как связаны снимки ФС и партиционирование? Понятно что гуглопереводчик, но не понятно как.