Краткое и понятное описание подхода RAG (Retrieval Augmented Generation) при работе с большими языковыми моделями.
User
Минимальные SEO знания для предпринимателей
4 min
Recovery Mode
Всем привет!
Хотелось бы дать ещё немного пользы тем, кто делает первые шаги в интернет продвижении. В частности — в SEO. Если вы твёрдо решили, что вам необходим этот вид продвижения (ознакомьтесь с моей статьёй SEO в 2019 году не работает?, если не знаете, какой инструмент подходит именно вам, заметка для вас.
Подборка рабочих примеров обработки данных
4 min
Привет, читатель.
По стопам моего первого поста подборки датасетов для машинного обучения — сделаю подборку относительно свежих датасетов с рабочими примерами по обработке данных. Ведь ни для кого не секрет, что обучение на хороших примерах проходит эффективнее и быстрее. Посмотрим, что интересного нам смогут показать одни из лучших примеров по обработке данных.
Схема работы с текущим постом унаследуется от моего поста про лучшие блокноты по ML и DS, а именно — сохранил в закладки → передал коллеге.
+ бонус в конце статьи — крутой курс от ФПМИ МФТИ.
Итак, давайте приступим.
Suicide Rates Overview 1985 to 2016 — сравнение социально-экономической информации с показателями самоубийств по годам и странам.
Примеры обработки:
По стопам моего первого поста подборки датасетов для машинного обучения — сделаю подборку относительно свежих датасетов с рабочими примерами по обработке данных. Ведь ни для кого не секрет, что обучение на хороших примерах проходит эффективнее и быстрее. Посмотрим, что интересного нам смогут показать одни из лучших примеров по обработке данных.
Схема работы с текущим постом унаследуется от моего поста про лучшие блокноты по ML и DS, а именно — сохранил в закладки → передал коллеге.
+ бонус в конце статьи — крутой курс от ФПМИ МФТИ.
Итак, давайте приступим.
Подборка датасетов с рабочими примерами обработки данных:
Suicide Rates Overview 1985 to 2016 — сравнение социально-экономической информации с показателями самоубийств по годам и странам.
Примеры обработки:
Умный дом / Обновления в Lazurite
3 min
Всем добрый день! Продолжаю развивать свой проект Lazurite. За последние несколько месяцев было проведено много работы по оптимизации и улучшению программы. Об основных изменениях хочу рассказать вам. Прошлая публикация.
Математика для Data Scientist: необходимые разделы
3 min
Математика — это краеугольный камень Data Science. Хотя некоторые теоремы, аксиомы и формулы кажутся слишком абстрактными и далекими от практики, на самом деле без них невозможно по-настоящему глубоко анализировать и систематизировать огромные массивы данных.
Для специалиста Data Science важны следующие направления математики:
В предыдущей статье «Data Science: книги для начального уровня» специалисты Plarium Krasnodar рекомендовали литературу по программированию на Python, а также по визуализации результатов и machine learning. В этой статье они предлагают подборку материалов и книг по математике, полезных в Data Science.
Для специалиста Data Science важны следующие направления математики:
- статистика;
- теория вероятностей;
- математический анализ;
- линейная алгебра.
В предыдущей статье «Data Science: книги для начального уровня» специалисты Plarium Krasnodar рекомендовали литературу по программированию на Python, а также по визуализации результатов и machine learning. В этой статье они предлагают подборку материалов и книг по математике, полезных в Data Science.
О функционале охранных приборов
5 min
При разработке современных охранных систем перед разработчиками порой стоит задача с одной стороны сделать гибко настраиваемый для любого вида объекта прибор, а с другой стороны сделать интуитивно понятным его конфигурирование и работу. В этой статье я постарался описать и обобщить функционал, который обычно реализуют в охранных пультовых приборах.
Руководство по развертыванию моделей машинного обучения в рабочей среде в качестве API с помощью Flask
13 min
Translation
Друзья, в конце марта мы запускаем новый поток по курсу «Data Scientist». И прямо сейчас начинаем делиться с вами полезным материалом по курсу.
Введение
Вспоминая ранний опыт своего увлечения машинным обучением (ML) могу сказать, что много усилий уходило на построение действительно хорошей модели. Я советовался с экспертами в этой области, чтобы понять, как улучшить свою модель, думал о необходимых функциях, пытался убедиться, что все предлагаемые ими советы учтены. Но все же я столкнулся с проблемой.
Как же внедрить модель в реальный проект? Идей на этот счет у меня не было. Вся литература, которую я изучал до этого момента, фокусировалась только на улучшении моделей. Я не видел следующего шага в их развитии.
Именно поэтому я сейчас пишу это руководство. Мне хочется, чтобы вы столкнулись с той проблемой, с которой столкнулся я в свое время, но смогли достаточно быстро ее решить. К концу этой статьи я покажу вам как реализовать модель машинного обучения используя фреймворк Flask на Python.
Введение
Вспоминая ранний опыт своего увлечения машинным обучением (ML) могу сказать, что много усилий уходило на построение действительно хорошей модели. Я советовался с экспертами в этой области, чтобы понять, как улучшить свою модель, думал о необходимых функциях, пытался убедиться, что все предлагаемые ими советы учтены. Но все же я столкнулся с проблемой.
Как же внедрить модель в реальный проект? Идей на этот счет у меня не было. Вся литература, которую я изучал до этого момента, фокусировалась только на улучшении моделей. Я не видел следующего шага в их развитии.
Именно поэтому я сейчас пишу это руководство. Мне хочется, чтобы вы столкнулись с той проблемой, с которой столкнулся я в свое время, но смогли достаточно быстро ее решить. К концу этой статьи я покажу вам как реализовать модель машинного обучения используя фреймворк Flask на Python.
Повествование о том, как мы выбирали весы для автоматизации кассовых мест
14 min
В 2017 году у многих интеграторов возникали вопросы о замене торгового оборудования при переходе на новые условия работы, соответствующие требованиям Закона 54-ФЗ «О применении контрольно-кассовой техники». Поскольку клиенты, которым требовалась замена или дооснащение торговых мест новым оборудованием, понимали его принцип действия и необходимую функциональность, необходимые работы прошли без накладок.
Но 2018 год принес нам большое количество клиентов, ранее не использовавших в своей деятельности контрольно-кассовую технику. Поэтому многие возникающие у них вопросы приходится решать оперативно.
Мы как один из ведущих технических центров города работаем со всеми производителями торгово-кассового оборудования и предлагаем нашим клиентам самую широкую линейку моделей. На данный момент работа только с одним или парой производителей не дает возможность полностью закрыть потребности наших контрагентов. В то же время большой ассортимент моделей обслуживаемого оборудования требует существенных затрат как временных (на обучение пользователей), так и финансовых на необходимый резерв запасных частей.
Но 2018 год принес нам большое количество клиентов, ранее не использовавших в своей деятельности контрольно-кассовую технику. Поэтому многие возникающие у них вопросы приходится решать оперативно.
Мы как один из ведущих технических центров города работаем со всеми производителями торгово-кассового оборудования и предлагаем нашим клиентам самую широкую линейку моделей. На данный момент работа только с одним или парой производителей не дает возможность полностью закрыть потребности наших контрагентов. В то же время большой ассортимент моделей обслуживаемого оборудования требует существенных затрат как временных (на обучение пользователей), так и финансовых на необходимый резерв запасных частей.
Люди выгорают, если не чувствуют своей значимости. Что с этим делать?
7 min
Кеша Скирневский, совладелец компании Zebrainy («Сказбука»), рассказал на конференции ProductSense о мотивации с точки зрения устройства мозга.
Я руководил отделом маркетинга на заводе, основал студию по производству трейлеров и сейчас руковожу компанией Zebrainy, которая разрабатывает детские образовательные проекты. По своему опыту знаю, что люди часто устают и выгорают на работе. Но я давно изучаю мозг и придумал, как этого избежать.
Пока вы не знаете, как работает мозг, вам кажется, что кто-то живет лучше, а кто-то хуже. Вы переживаете: «У меня жизнь такая напряженная, а тот чувак в социальной сети позитивный и успешный». Но мозг вообще не предназначен для того, чтобы человек чувствовал себя счастливым. Наоборот, каждый из нас живет в персональном аду.
Я руководил отделом маркетинга на заводе, основал студию по производству трейлеров и сейчас руковожу компанией Zebrainy, которая разрабатывает детские образовательные проекты. По своему опыту знаю, что люди часто устают и выгорают на работе. Но я давно изучаю мозг и придумал, как этого избежать.
Пока вы не знаете, как работает мозг, вам кажется, что кто-то живет лучше, а кто-то хуже. Вы переживаете: «У меня жизнь такая напряженная, а тот чувак в социальной сети позитивный и успешный». Но мозг вообще не предназначен для того, чтобы человек чувствовал себя счастливым. Наоборот, каждый из нас живет в персональном аду.
Обход noolite роутера через mtrf64+esp8266+MQTT Buddy Android app
7 min
Задача
Обойти роутер noolite и управлять освещением noolite быстро, качественно и без использования домашнего сервера. Глобальная децентрализация и тотальное использование облачных решение в домашних устройствах и интернет вещах. Что?....
Всем привет!
Снова я со своим лаптем и сказом о том, как побороть дорогой роутер noolite, начать управлять освещением и не заморачиваться на пайке плат, контроллеров и вообще — хочу так, что бы включил \ установил приложение и оно работало без дополнительных танцев. Да… об этом пишут все, но мало кто делает, так как зачастую все решения упираются в сложные инструкции. А я Вам покажу, сейчас :) — ну вперед друзья!
DIY порошок для посудомойки: как не растворить посуду и не повторить моих ошибок. Год экспериментов
9 min
Предыдущие публикации:
→ Пудра для мозга или как сделать порошок для посудомойки в 9,7 раз дешевле
→ DIY порошок для посудомойки: разбираем промышленные средства и улучшаем рецепт
Прошло уже больше года с момента последней публикации из серии домашней алхимии, посвященной
Какие игры запустятся на системнике за 3000 рублей? Покупаем и тестируем с Playkey
6 min
Recovery Mode
Три тысячи рублей. Ужин на двоих в не слишком дорогом ресторане или потрёпанный системник?
Выбор очевиден — решили мы. А заодно на нём можно провести уникальные плейтесты самых разных игр. И рассказать об этом в этой публикации!
Системники-претенденты для этой статьи мы искали на Avito. И быстро нашли вот такого красавца:
Хо-хо! Выглядит прекрасно, и начинка за 3000 рублей вполне достойная. Две планки памяти 2x1Gb DDR2-800, встроенная видеокарта Intel GMA X4500, жесткий диск на 320Gb и двухъядерный камень Core2Duo E7400 2800MHz.
Один звонок, и мы уже выдвигаемся забирать этот прекрасный системный блок, чтобы протестировать на нем самые разные игрушки в спектре от TES: Skyrim до Wolf Among Us и Mass Effect. Плюс пару горячих новинок: DOOM и Quantum Break. Готов, системник?
Поехали!
Выбор очевиден — решили мы. А заодно на нём можно провести уникальные плейтесты самых разных игр. И рассказать об этом в этой публикации!
Системники-претенденты для этой статьи мы искали на Avito. И быстро нашли вот такого красавца:
Хо-хо! Выглядит прекрасно, и начинка за 3000 рублей вполне достойная. Две планки памяти 2x1Gb DDR2-800, встроенная видеокарта Intel GMA X4500, жесткий диск на 320Gb и двухъядерный камень Core2Duo E7400 2800MHz.
Один звонок, и мы уже выдвигаемся забирать этот прекрасный системный блок, чтобы протестировать на нем самые разные игрушки в спектре от TES: Skyrim до Wolf Among Us и Mass Effect. Плюс пару горячих новинок: DOOM и Quantum Break. Готов, системник?
Поехали!
Графики АЧХ наушников Bluedio и других брендов: разбираемся, разоблачаем, выбираем
7 min
Recovery Mode
С самого первого моего материала об отличных бюджетных беспроводных наушниках из Китая Bluedio в комментариях просят приводить для каждой модели «ушей» графики амплитудно-частотной характеристики (для простоты дальше буду использовать аббревиатуру АЧХ). Я не делал этого не потому, что мне лень. Просто с этими графиками всё не так однозначно, как может показаться на первый взгляд. Однако я клятвенно обещал почтенной публике сделать материал со сравнением АЧХ, а слово надо держать. И да, по вашим просьбам в этот раз — без смешных картинок.
Протокол Z-Wave становится открытым
3 min
Недавно были опубликованы в открытом доступе спецификации протокола Z-Wave, одного из самых популярных протоколов в домашней автоматизации. Нет, это не утечка, а осознанный шаг компании Sigma Designs, владельца протокола Z-Wave. На сегодняшний день Z-Wave используется внутри десятков миллионов умных домов, и открытие спецификации стандарта явно пойдёт на пользу популярности Z-Wave.
Роджер Шанк — об IBM Watson
5 min
Translation
Американский теоретик искусственного интеллекта, один из основоположников когнитивной психологии и предприниматель Роджер Шанк опубликовал в своём блоге личное мнение о системе Watson. Здесь приведен перевод этой записи.
В IBM не занимаются «когнитивными вычислениями», вне зависимости от того, сколько раз они повторят эти слова.
Вчера я переписывался со старым другом, и он напомнил мне о нашем разговоре, состоявшемся почти 50 лет назад. Я пытался объяснить ему, чем я зарабатываю на жизнь, а он пытался понять, почему заставить компьютеры понять что-либо было более сложным делом, чем анализ ключевых слов. Я объяснял концепции предложений, и то, что предложения состоят из слов, но люди на самом деле не используют слова, когда думают – кроме случаев, когда им необходимо добраться до лежащих в их основе идей, и именно с этим у компьютеров возникают сложности.
Спустя 50 лет ключевые слова всё ещё стоят на первом месте у людей, пытающихся заставить компьютеры работать с языком. Однако на этот раз ключевым словом, при помощи которого люди обманывают общественность, служит ИИ. Люди объявляют, что ИИ существует, ИИ думает, и что мы все должны его бояться, или радоваться его приходу – я забыл, что именно.
В IBM не занимаются «когнитивными вычислениями», вне зависимости от того, сколько раз они повторят эти слова.
Вчера я переписывался со старым другом, и он напомнил мне о нашем разговоре, состоявшемся почти 50 лет назад. Я пытался объяснить ему, чем я зарабатываю на жизнь, а он пытался понять, почему заставить компьютеры понять что-либо было более сложным делом, чем анализ ключевых слов. Я объяснял концепции предложений, и то, что предложения состоят из слов, но люди на самом деле не используют слова, когда думают – кроме случаев, когда им необходимо добраться до лежащих в их основе идей, и именно с этим у компьютеров возникают сложности.
Спустя 50 лет ключевые слова всё ещё стоят на первом месте у людей, пытающихся заставить компьютеры работать с языком. Однако на этот раз ключевым словом, при помощи которого люди обманывают общественность, служит ИИ. Люди объявляют, что ИИ существует, ИИ думает, и что мы все должны его бояться, или радоваться его приходу – я забыл, что именно.
Можно ли заменить Adobe Premiere и Sony Vegas бесплатными видеоредакторами?
3 min
Пару месяцев назад на Хабре вышел обзор бесплатных нелинейных видеоредакторов, под которым быстро собрался тред из сотни комментариев. Некоторые из перечисленных инструментов относятся к профессиональным (Lightworks), другие — претендуют на звание бесплатной альтернативы профессиональным видеоредакторам (VSDC).
Штука в том, что определение «профессиональности» довольно расплывчатое, и какой именно при этом подразумевается функционал неясно. Захотелось выяснить, в чём же всё-таки хороши бесплатные аналоги, и можно ли ими заменить программы стоимостью в несколько десятков тысяч рублей. Забегая вперед, скажем, что получилась ситуация почти как по Гоголю:
Штука в том, что определение «профессиональности» довольно расплывчатое, и какой именно при этом подразумевается функционал неясно. Захотелось выяснить, в чём же всё-таки хороши бесплатные аналоги, и можно ли ими заменить программы стоимостью в несколько десятков тысяч рублей. Забегая вперед, скажем, что получилась ситуация почти как по Гоголю:
Если бы губы Никанора Ивановича да приставить к носу Ивана Кузьмича, да взять сколько-нибудь развязности, какая у Балтазара Балтазарыча, да, пожалуй, прибавить к этому ещё дородности Ивана ПавловичаДругими словами, идеальный инструмент найден не был, но у каждого нашлась, как минимум, одна фича, не уступающая тому, что предоставлено в профессиональных видеоредакторах.
5 действительно бесплатных нелинейных видеоредакторов для Windows
6 min
Этот пост призван помочь тем, кому, как и мне, внезапно стало тесно с Movie Maker.
Видеоредакторы почти не интересовали меня до прошлого месяца, пока с друзьями мы не задумали снять что-нибудь оригинальное к Новому году. Креативность наша ограничилась тем, чтобы, говоря терминами прежде мне неизвестными, применить эффект “Разделение экрана” (Split Screen). То есть реализовать нечто такое:
Видеоредакторы почти не интересовали меня до прошлого месяца, пока с друзьями мы не задумали снять что-нибудь оригинальное к Новому году. Креативность наша ограничилась тем, чтобы, говоря терминами прежде мне неизвестными, применить эффект “Разделение экрана” (Split Screen). То есть реализовать нечто такое:
Simple Solder MK936. Паяльная станция для тех, кто хочет сам
6 min
Tutorial
Всем привет!
В этой статье мы хотим поделиться с общественностью проектом простой паяльной станции со стабилизацией температуры, которую любой сможет собрать своими руками без Arduino и изоленты!
В этой статье мы хотим поделиться с общественностью проектом простой паяльной станции со стабилизацией температуры, которую любой сможет собрать своими руками без Arduino и изоленты!
Искусство написания простых и коротких функций
10 min
Translation
Софт постоянно усложняется. Стабильность и простота расширения приложения напрямую зависят от качества кода.
К сожалению, почти каждый разработчик, и я в том числе, в своей работе сталкивается с кодом плохого качества. И это — болото. У такого кода есть токсичные признаки:
- Функции слишком длинные, и на них слишком много задач
- Часто у функций есть побочные эффекты, которые сложно определить, а иногда даже сложно отлаживать
- Непонятные имена у функций и переменных
- Хрупкий код: небольшая модификация неожиданно ломает другие компоненты приложения
- Плохое покрытие кода тестами или вообще его отсутствие
Всем знакомы высказывания «я не понимаю, как работает этот код», «бредовый код», «этот код сложно изменить» и другие.
Однажды мой коллега уволился, потому что пытался справиться с REST API на Ruby, который было трудно поддерживать. Он получил этот проект от предыдущей команды разработчиков.
Исправление текущих ошибок создавало новые, добавление новых функций рождало новую серию ошибок, и так далее (хрупкий код). Клиент не хотел перестраивать приложение, делать ему удобную структуру, и разработчик принял правильное решение — уволиться.
Такие ситуации случаются часто, и это печально. Но что делать?
СУБД эпохи Интернета вещей
6 min
Уникальная по своим возможностям СУБД HPE Vertica легко справляется с обработкой данных не только бизнес-транзакций, но также межмашинного взаимодействия и Интернета вещей, позволяя управлять миром умных устройств в реальном времени.
Глобальная экономика входит в эпоху Интернета вещей и массового межмашинного взаимодействия. Это значит, отмечает Дэвид Джонс, старший вице-президент и генеральный директор бизнес-подразделения HPE по управлению информацией и ее организации, что уже скоро, примерно к 2020 году, по всему миру придется обрабатывать данные от 50 миллиардов смарт-устройств и одного триллиона приложений ― всего около 44 Збайт. Нет сомнений, что прежние СУБД, ориентированные на обработку транзакционных данных, циркулирующих в традиционных бизнес-приложениях, не справятся с такой нагрузкой. На смену им приходят СУБД нового поколения, изначально рассчитанные на работу с большими объемами и потоками данных. Одна из них ― HPE Vertica, способная анализировать в реальном времени огромные объемы информации, получаемой от всевозможных «генераторов» данных — не только традиционных транзакционных систем, но также датчиков и устройств Интернета вещей, систем межмашинного взаимодействия, АСУТП, веб-сайтов и прочих источников.
Глобальная экономика входит в эпоху Интернета вещей и массового межмашинного взаимодействия. Это значит, отмечает Дэвид Джонс, старший вице-президент и генеральный директор бизнес-подразделения HPE по управлению информацией и ее организации, что уже скоро, примерно к 2020 году, по всему миру придется обрабатывать данные от 50 миллиардов смарт-устройств и одного триллиона приложений ― всего около 44 Збайт. Нет сомнений, что прежние СУБД, ориентированные на обработку транзакционных данных, циркулирующих в традиционных бизнес-приложениях, не справятся с такой нагрузкой. На смену им приходят СУБД нового поколения, изначально рассчитанные на работу с большими объемами и потоками данных. Одна из них ― HPE Vertica, способная анализировать в реальном времени огромные объемы информации, получаемой от всевозможных «генераторов» данных — не только традиционных транзакционных систем, но также датчиков и устройств Интернета вещей, систем межмашинного взаимодействия, АСУТП, веб-сайтов и прочих источников.