У langchain есть для подобных целей DataFrame agent. Правда, у меня не получилось его завести с отличными от openAi моделями (например, для оффлайн работы с LLM, чтобы, как отмечается в статье, не отправлять содержимое фрейма). Кто-то пробовал? Получалось?
А в принципе, в Вильнюсе есть что делать в качестве туриста? В первую очередь интересуют архитектурно красивые или просто уютные кварталы, желательно исторические, необычные здания, замки (если есть).
Как местная кухня, есть чему удивиться? Что с барами: каков ассортимент, есть ли местное пиво или, может быть вино, дорогие ли импортные для Литвы напитки (ну, например, для меня пинта Гинесса за 6-8€ - это нормальная цена, стакан каждодневного Jameson, который не Black Barrel, с колой тоже 7-8€)? Есть ли уютные террасы, чтобы вечером остыть после насыщенных прогулок?
Да, в принципе, если есть нормальный видоискатель (а в нормальных беззеркалках он есть), то зеркалка уже и не нужна. Экономия в массе и на ненужной механике.
В ETL задачах очень часто необходимо использовать джойны. В Nifi это делается сложно и неудобно, потому что изначально не предназначался для этого. При этом, поскольку NiFi умеет в параллельную обработку, то нужно иметь в виду, что параллельные джойны также должны быть конфигурируемы: изменять алгоритм partitionning (по ключу или хэшу, броадкаст на все ноды, распределение по модулю, и т.д.), например, чтобы избежать бесполезных перемещений (шаффлинга) части данных с ноды на ноду.
На мой взгляд Nifi удобный инструмент, если нужно приземлять в реальном времени данные из очередей, перед этим трансформировать их, скажем из json в parquet, оповестить некий сервис о пришедших данных. Возможно, даже будет удобен для микробатчей. Максимум - для заполнения Staging Area. Дальше, когда нужно запускать тяжелые батчи, вроде создания DWH или DataMart, использовать NiFi будет уже тяжеловато.
По поводу no-code ETL: такие действительно существуют, при этом вполне умеют в полноценную параллельную обработку. Например, монструозный динозавр IBM DataStage. Из бесплатных - Talend (не знаю, научились ли они в параллельную обработку, раньше не могли, но наверняка код Spark на нем можно сгенерировать).i.
Ну и обработка в flow-файлах, как вы правильно отметили, не прибавляет скорости обработки. Кроме того, насколько я помню, они даже без сжатия хранятся.
Пожалуйста, не используйте NiFi в качестве ETL и перестаньте позиционировать в качестве такого инструмента. В этой ипостаси он неэффективен. Да, он может своими процессорами извлекать данные и ижектировать и даже траснформировать немного. Но создан он для роутинга данных. Для реально нагруженных ETL пайпланов он вреден и бесполезен.
Пластик иногда хрустит у них. При поворотах головы или если поправлять рукой. Не особо критично, привыкаешь, но можно было и получше собрать их.
Не знаю, вина ли их лично или вообще всех блютус наушников на андроиде, но частенько икают на переходах со светофорами. Видимо интерферирует с сигналами переключения.
Боюсь во многом путанница из-за существования различных размерностей, есть топологическая размерность (которая всегда целая) и россыпь других размерностей (Хаусдорфа, например), вот упомянутый ниже фрактал - это как раз множество, у которых эти две размерности не совпадают. При разговоре о пространственно-временных координатах имеют в виду топологическую размерность.
У langchain есть для подобных целей DataFrame agent. Правда, у меня не получилось его завести с отличными от openAi моделями (например, для оффлайн работы с LLM, чтобы, как отмечается в статье, не отправлять содержимое фрейма). Кто-то пробовал? Получалось?
Спасибо!
@Dagnir, @huder, @miga Спасибо большое за интересные комментарии и фотографии.
А в принципе, в Вильнюсе есть что делать в качестве туриста? В первую очередь интересуют архитектурно красивые или просто уютные кварталы, желательно исторические, необычные здания, замки (если есть).
Как местная кухня, есть чему удивиться? Что с барами: каков ассортимент, есть ли местное пиво или, может быть вино, дорогие ли импортные для Литвы напитки (ну, например, для меня пинта Гинесса за 6-8€ - это нормальная цена, стакан каждодневного Jameson, который не Black Barrel, с колой тоже 7-8€)? Есть ли уютные террасы, чтобы вечером остыть после насыщенных прогулок?
Блин, думаю, чего это YouTube тормозит, а это не YouTube, а VK.
Странный выбор платформы для встраивания видео для статьи на хабре. Есть же все на YouTube.
Сделают свою платформу "Среднячок"
Ну как, промптом:
"В предыдущей книге Си Си Кэпфэл притворился мёртвым, чтоб бывшая жена не затребовала алименты. Придумай крутое продолжение сюжета."
Вот бы ещё исходники vim утекли, а то никак выйти не могу из него
Для одноразовых регистраций и прочего шлака, уже есть же bugmenot, вообще не надо заморачиваться с придумыванием пароля. Но, это так, к слову
Да, в принципе, если есть нормальный видоискатель (а в нормальных беззеркалках он есть), то зеркалка уже и не нужна. Экономия в массе и на ненужной механике.
Единственный минус - расход батареи чуть больше.
Погодите, то есть у иксбокса раньше были геймпады на батарейках? Как я мог это пропустить в халиварах ps vs xbox?
Да тут как бы далеко ходить не надо
Будут ли зарядки для бутылок в Европе? Можно ли будет на них заряжать другие бутылки, от Heineken, например?
Будет ли бутылка сигнализировать, если владелец захочет её держать не двумя руками, или, скажем, отвлечется и не будет постоянно смотреть на неё?
В дизайнерском бюро с высококвалифицированными специалистами Ms Paint:
Есть где-нить лого оператора с белыми буквами на красном квадратном фоне?
Буквы только переставь.
Попытаюсь ответить вам двоим: @KlimenkoIv и @Shadilan:
В ETL задачах очень часто необходимо использовать джойны. В Nifi это делается сложно и неудобно, потому что изначально не предназначался для этого. При этом, поскольку NiFi умеет в параллельную обработку, то нужно иметь в виду, что параллельные джойны также должны быть конфигурируемы: изменять алгоритм partitionning (по ключу или хэшу, броадкаст на все ноды, распределение по модулю, и т.д.), например, чтобы избежать бесполезных перемещений (шаффлинга) части данных с ноды на ноду.
На мой взгляд Nifi удобный инструмент, если нужно приземлять в реальном времени данные из очередей, перед этим трансформировать их, скажем из json в parquet, оповестить некий сервис о пришедших данных. Возможно, даже будет удобен для микробатчей. Максимум - для заполнения Staging Area. Дальше, когда нужно запускать тяжелые батчи, вроде создания DWH или DataMart, использовать NiFi будет уже тяжеловато.
По поводу no-code ETL: такие действительно существуют, при этом вполне умеют в полноценную параллельную обработку. Например, монструозный динозавр IBM DataStage. Из бесплатных - Talend (не знаю, научились ли они в параллельную обработку, раньше не могли, но наверняка код Spark на нем можно сгенерировать).i.
Ну и обработка в flow-файлах, как вы правильно отметили, не прибавляет скорости обработки. Кроме того, насколько я помню, они даже без сжатия хранятся.
Пожалуйста, не используйте NiFi в качестве ETL и перестаньте позиционировать в качестве такого инструмента. В этой ипостаси он неэффективен. Да, он может своими процессорами извлекать данные и ижектировать и даже траснформировать немного. Но создан он для роутинга данных. Для реально нагруженных ETL пайпланов он вреден и бесполезен.
Пластик иногда хрустит у них. При поворотах головы или если поправлять рукой. Не особо критично, привыкаешь, но можно было и получше собрать их.
Не знаю, вина ли их лично или вообще всех блютус наушников на андроиде, но частенько икают на переходах со светофорами. Видимо интерферирует с сигналами переключения.
А было время, когда я ставил российский регион и покупал в м.видео карты, чтоб играть с русской озвучкой.
Боюсь во многом путанница из-за существования различных размерностей, есть топологическая размерность (которая всегда целая) и россыпь других размерностей (Хаусдорфа, например), вот упомянутый ниже фрактал - это как раз множество, у которых эти две размерности не совпадают. При разговоре о пространственно-временных координатах имеют в виду топологическую размерность.
Одни внедряют chatGpt в поисковый движок, другие - вот это вот все.