Pull to refresh
105
0
Stanislav F. @1nd1go

User

Send message

Интеграция LLM в корпоративные чат-боты: RAG-подход и эксперименты

Level of difficultyEasy
Reading time11 min
Views4.8K

Всем привет! На связи команда AI-Run из X5 Tech, мы занимаемся генеративными сетями в целом и языковыми моделями в частности. В этой статье мы опишем наш опыт работы с большими языковыми моделями (LLM), их внедрение для обработки корпоративных данных, а также поделимся нашими результатами и выводами.

Ещё мы расскажем о нашем подходе к использованию LLM, подробно остановимся на методе Retrieval Augmented Generation (RAG) и рассмотрим примеры использования чат-ботов на корпоративных порталах X5.

Эта статья будет полезна разработчикам, которые интересуются внедрением LLM для работы с корпоративными данными. Она основана на нашем выступлении на митапе, но не ограничивается им, а, скорее, дополняет его. 

Читать далее
Total votes 15: ↑15 and ↓0+17
Comments6

Тестирование VDS-серверов

Reading time6 min
Views6.8K

Привет, Хабр! Недавно я писал статью с обзором хостинг‑провайдеров VDS‑серверов, где поделился своими общими впечатлениями о самих провайдерах, их тарифах, дополнительных услугах и т. д. Сегодня в статье я хотел бы поговорить именно о самих серверах, оценить их производительность по таким критериям, как процессор, оперативная память, диск и скорость интернета.

Читать далее
Total votes 16: ↑16 and ↓0+33
Comments18

Чек-лист по разработке облачных приложений. Часть 2 — аспекты безопасности

Level of difficultyEasy
Reading time10 min
Views1.5K

Всем добрый день, я Станислав Тибекин, CEO компании Nixys. Мы продолжаем серию переводов статей Эяля Эстрина из AWS про особенности создания cloud-native приложений. В этой части обсудим вопросы безопасности.

Посмотреть чек-лист
Total votes 6: ↑6 and ↓0+8
Comments3

LLMOps: не разрешают использовать ChatGPT. Что можно сделать?

Level of difficultyEasy
Reading time3 min
Views10K

Бывают ситуации, когда жизненные обстоятельства не позволяют использовать ChatGPT и приходится разворачивать LLM локально. Там можно остаться и без AI, а этого мужики точно не поймут. Есть ли какие-то способы решения этой проблемы?

Если у вас такая ситуация – можете выдохнуть, решение есть.

Читать далее
Total votes 50: ↑41 and ↓9+40
Comments31

Новостной Telegram бот на Java

Level of difficultyMedium
Reading time4 min
Views4.3K

Долгое время изучаю Java (но работаю с Oracle) и всё время хочется написать что-то полезное и интересное. Так наткнулся на статьи о Телегам ботах, которые меня и надоумили соорудить своего бота Avandy News.

За идеей для функционала далеко ходить не пришлось, т.к. у меня имеется одна более менее успешная программа, которая попала в Реестр российского ПО (о ней и о том как попасть в Реестр я писал в этой статье).

Читать далее
Total votes 4: ↑3 and ↓1+2
Comments11

Краткий курс машинного обучения или как создать нейронную сеть для решения скоринг задачи

Reading time28 min
Views216K
image

Мы часто слышим такие словесные конструкции, как «машинное обучение», «нейронные сети». Эти выражения уже плотно вошли в общественное сознание и чаще всего ассоциируются с распознаванием образов и речи, с генерацией человекоподобного текста. На самом деле алгоритмы машинного обучения могут решать множество различных типов задач, в том числе помогать малому бизнесу, интернет-изданию, да чему угодно. В этой статье я расскажу как создать нейросеть, которая способна решить реальную бизнес-задачу по созданию скоринговой модели. Мы рассмотрим все этапы: от подготовки данных до создания модели и оценки ее качества.

Если тебе интересно машинное обучение, то приглашаю в «Мишин Лернинг» — мой субъективный телеграм-канал об искусстве глубокого обучения, нейронных сетях и новостях из мира искусственного интеллекта.

Вопросы, которые разобраны в статье:

• Как собрать и подготовить данные для построения модели?
• Что такое нейронная сеть и как она устроена?
• Как написать свою нейронную сеть с нуля?
• Как правильно обучить нейронную сеть на имеющихся данных?
• Как интерпретировать модель и ее результаты?
• Как корректно оценить качество модели?
Поехали!
Total votes 51: ↑42 and ↓9+33
Comments43

Бесплатный хостинг Telegram-бота на Google Cloud Platform

Reading time3 min
Views147K

Почему GCP?


При написание телеграмм ботов столкнулся с вопросом, как быстро и бесплатно сделать так, чтобы бот работал постоянно. Варианты с Heroku и Pythonanywhere имеют слишком маленькие лимиты, если у вас более одного бота. Поэтому я решил воспользоваться GCP. Платформа предоставляет бесплатно 300$ на год + огромные скидки при использование этих средств(до 94%).


Как захостить вашего бота?


Шаг 1. Регистрация на GCP


Переходим на сайт GCP и нажимаем Get started for free.
Читать дальше →
Total votes 19: ↑6 and ↓130
Comments18

ИИ-агенты с саморефлексией. LLM на своём сервере

Level of difficultyMedium
Reading time8 min
Views9.4K


Недавно мы обсуждали ИИ-агентов, способных найти решение для произвольных задач и улучшать его до бесконечности. Предполагается, что в будущем множество автономных ИИ-агентов смогут наладить коммуникацию между собой и сформировать коллективный интеллект. Сейчас это одна из самых актуальных тем исследований. Появились даже специальные платформы для разработки и тестирования агентов, такие как SuperAGI.

Один из интересных аспектов обучения ИИ-агентов — внедрение любопытства и саморефлексии, самоанализа. Это позволяет лучше адаптироваться к изменениям среды, обращая внимание на новые и потенциально важные явления вокруг. Примерно тем же занимается человеческий мозг (гиппокамп) во время сна, прокручивая воспоминания за день и оценивая их важность/новизну для долговременного хранения или удаления из памяти.
Читать дальше →
Total votes 33: ↑29 and ↓4+38
Comments2

Паттерн Outbox: как не растерять сообщения в микросервисной архитектуре

Reading time8 min
Views76K

Привет! Меня зовут Михаил Боровиков, я тимлид команды, которая отвечает за систему процессинга заказов Lamoda — Orders Management. Эта система, словно «сердце» Lamoda, через которое проходит самый важный для бизнеса шаг — оформление заказа.

Раньше система представляла из себя монолит. Теперь вместо него у нас много отдельных сервисов, которые общаются по сети. В рамках новой схемы взаимодействия сервисов между собой мы и столкнулись с проблемой потери данных в процессе создания заказа, чего допускать в важной для нас системе было категорически нельзя.

Для решения этой проблемы мы выбрали паттерн Outbox. И в этой статье я расскажу, что он из себя представляет, как мы его применили, почему пошли по пути at-least-once и не положились на работу одного брокера сообщений.

Читать далее
Total votes 28: ↑26 and ↓2+27
Comments27

Плагин для анализа планов PostgreSQL в IDE JetBrains и его разработка

Level of difficultyMedium
Reading time11 min
Views7.5K

Для пользователей explain.tensor.ru - нашего сервиса визуализации PostgreSQL-планов, мы создали плагин "Explain PostgreSQL" для всех IDE от JetBrains, теперь есть возможность форматировать запросы и анализировать планы непосредственно в IDE.

Как использовать плагин и детали о его разработке читайте ниже.

Читать далее
Total votes 17: ↑17 and ↓0+17
Comments21

Мой опыт собеседования в Google [оффер на L5]

Level of difficultyEasy
Reading time8 min
Views56K

Предупреждение: я не смогу привести в статье конкретные вопросы из-за подписанного соглашения о неразглашении (NDA).

Работая в лондонском офисе Facebook в команде Instagram*, я начал задумываться о возвращении в Индию. В ноябре 2022 года со мной связался рекрутер Google. Он сообщил об открытии в Бангалоре должности уровня L5 и спросил, интересно ли мне это.

Так как я уже раздумывал о переезде в Индию, то ранее собеседовался в Google, но мне предложили более низкую должность (L4), чем я хотел; потом я устроился в META* на уровень E5.

Я ответил рекрутеру, что хочу запланировать собеседование на март 2023 года, потому что готовился стать отцом и хотел в этот важный период выделить время для своей семьи.

Рекрутер согласился на мою просьбу и предоставил материалы для подготовки к собеседованию. Он сообщил, что свяжется со мной в марте. До этого момента он регулярно писал мне, чтобы узнать, как проходит моя подготовка.

На этот раз в процессе подготовки возникла уникальная для меня сложность — счастливое пополнение в моей семье, дочка. За моё внимание боролись подгузники и кодинг, было очень сложно выделить время на сосредоточенную подготовку! У меня было примерно 25-30 дней на освоение и искусства ухода за ребёнком, и прохождения собеседования.
Читать дальше →
Total votes 62: ↑58 and ↓4+82
Comments95

Взлом YouTube для быстрого скачивания видео

Reading time9 min
Views74K
Мы неоднократно рассказывали о специальном софте, который позволяет скачивать видео с YouTube. Это в первую очередь youtube-dl (yt-dl) и его клоны, такие как yt-dlp и yt-dlc. С ними воюют могучие копирасты, пытаются удалить их из поисковой выдачи, с хостингов, с Github и так далее, по известной схеме «тотальная война».

Но главным врагом для этих программ остаются даже не правообладатели, а злобная корпорация Google, которая постоянно вносит изменения в YouTube API, чтобы прекратить злоупотребления сервисом помешать людям скачивать файлы, ведь от этого Google никакой прибыли.

Сами программки — просто технические инструменты для скачивания общедоступного контента, они ничего не воруют и не пиратят. Просто доступ происходит нестандартным способом, который не предусмотрен официально. Посмотрим, как это делается.
Читать дальше →
Total votes 123: ↑113 and ↓10+148
Comments421

Двойная бухгалтерская запись в реляционной БД

Reading time9 min
Views20K

От переводчика: в ходе моей работы в нигерийском финтехе пришлось мне создавать с нуля одну платежную систему. Я тогда ничего толком не понимал в вопросах бухгалтерии, в том как именно лучше хранить платежи и балансы. Но было подозрение, что примитивный вариант с одной циферкой баланса в аккаунте пользователя слишком прост, чтобы быть правильным.


Разобраться и избежать кучи граблей в этом деле мне помогла данная статья. При этом информации по теме "как сделать свою платежную систему" довольно мало, а в учебниках по бухучету программисту сходу разобраться не так просто (и очень нудно). Надеюсь, этот материал окажется полезным тем, кто только собирается что-то такое делать.


Сразу извиняюсь за возможные неточности в русскоязычных финансовых терминах — я все-таки программист, а не бухгалтер, и с русской терминологией в этой сфере недостаточно знаком.


Введение


Многие компьютерные системы, использующие реляционные БД, хранят в них какую-то финансовую информацию о балансах и транзакциях. При этом при проектировании и разработке такой БД часто встает вопрос, а как именно хранить эту информацию. Обычно выбор стоит между дешевой "простой записью" и более сложной "двойной записью".



Лука Пачоли, автор самой старой (15 век) дошедшей до нас книги с описанием принципов двойной записи


В системе с "простой записью" числовые значения записываются только один раз. В системе с "двойной записью" каждое значение записывается дважды, как кредит (положительное значение) и как дебет (отрицательное значение). При этом есть набор правил, определяющих связь между этими значениями. Эти правила вам легко опишет любой опытный бухгалтер, хотя он может и не представлять, как именно они могут быть представлены в реляционной БД.


Основные правила таковы:

Читать дальше →
Total votes 20: ↑17 and ↓3+20
Comments54

Вас много, а я одна: обзорная система мониторинга на Prometheus и Grafana

Level of difficultyMedium
Reading time11 min
Views15K

Привет, Хабр! Меня зовут Сева, я работаю backend-разработчиком в Doubletapp, а также занимаюсь некоторыми devops-задачами. В этой статье я расскажу о мониторинге наших backend-приложений: сборе метрик, их визуализации и отправке уведомлений. Покажу примеры конфигов с подробными комментами и дам ссылки на гитхаб.

Содержание:
Конфигурация Prometheus
Сбор метрик
Дашборды для визуализации метрик в реальном времени
Настройка уведомлений

Читать далее
Total votes 9: ↑9 and ↓0+9
Comments0

Как развить навыки стратегического мышления

Level of difficultyEasy
Reading time8 min
Views15K

Стратегическое мышление — один из важнейших жизненных навыков. К сожалению, многие из нас узнают о его недостатке слишком поздно – например, когда босс говорит: «Вы отлично справляетесь с рабочими задачами, однако вам стоит начать мыслить стратегически».

Это сейчас о стратегическом мышлении вещают чуть не из каждого утюга. А на заре моей карьеры об этом понятии мало кто слышал и тем более писал. Я думал, что стратегическое мышление — это что-то про корпорации и высокопоставленных руководителей, которым дана власть принимать важные решения и направлять компанию в нужное русло. Мне и в голову не залетало, что это вовсе не сверхспособность, которую автоматически, вместе с назначением на должность, приобретают большие боссы, а обыкновенный навык. И без него на серьезный пост можно даже не претендовать.

Еще я был уверен, что, как только буду готов к подъему на следующую ступень карьерной лестницы, начальник отправит меня на особые курсы по развитию стратегического мышления, где я смогу освоить его, а затем отточить до совершенства. Да, вы имеете полное право считать меня наивным юнцом. Но именно таким был когда-то корпоративный мир. С тех пор многое изменилось – но далеко не всё. Важность стратегического мышления никуда не улетучилась – напротив, с каждым годом его роль только растет.

Читать далее
Total votes 20: ↑16 and ↓4+19
Comments6

Китайские сайты такие китайские

Level of difficultyEasy
Reading time6 min
Views23K

Приходилось ли вам когда-нибудь посещать китайские веб-сайты? Если владельцы не позаботились об адаптации под западный «глаз», то, скорее всего, они покажутся вам нагромождением иероглифов, кричащих картинок и ярких баннеров. Однако, прежде чем шутить про веб-дизайн нулевых, стоит разобраться, какое влияние на дизайн сайтов оказали поведение пользователе и культурные особенности страны.

В этой статье мы разберем наиболее характерные черты китайского веб-дизайна, затронем местные подходы к UX и даже сравним европейские и китайские версии различных онлайн-ресурсов.

Дисклеймер. Ничего из сказанного ниже не стоит воспринимать как камень в огород китайского дизайна и его создателей. Все, о чем пойдет речь в статье, просто непривычно европейцу.

Читать далее
Total votes 33: ↑29 and ↓4+30
Comments46

Открытие фирмы в Черногории. О чём молчат посредники и ещё философский вопрос (UPD: 11.09.2023)

Level of difficultyEasy
Reading time6 min
Views18K

Гайд, цены, сроки, открытые и закрытые системы.

Кратко:

1. Название

2. ОКВЭДы

3. Юр.адрес

4. Решение об учреждении

5. Устав

6. Приява

7. Пошлины

Итого - 86 евро.

Читать далее
Total votes 15: ↑12 and ↓3+13
Comments25

Как не надо объяснять людям задачи и изменения

Level of difficultyEasy
Reading time11 min
Views11K


Мы меняем процессы разработки в компании, и поэтому я постоянно каждый день объясняю что-то разным людям. Любое изменение — даже банальная постановка задачи на стендапе — требует понимания того, как это надо и как это не надо делать. Смысл в том, что если вы хотите руководить командой, то нужно уметь убедить, договориться, отстоять свою позицию — иначе вы неизбежно будете делать то, что вам скажут. В том числе те, кто разбирается в вопросе хуже вас.

Быть руководителем в ИТ сегодня = быть переговорщиком.

Но этого мало. С подвешенным языком можно только чуть улучшить понимание задачи. Изначально нужно выстроить такую систему, чтобы весь процесс целиком был понятен участникам, они могли на него повлиять и чувствовали это. Хороший лидер не приказывает, а создаёт такие условия, что не выполнить задачу уже невозможно, потому что всем очевидно, что нужно делать.

Сейчас расскажу несколько случаев эпических провалов, когда руководитель хотел сделать что-то хорошее, а получалось только стечь под стол и облажаться.

Ещё нужно понимать, что не со всеми людьми работает логика. Есть прогрессивные разработчики, есть early adopters, есть люди-юристы, есть динозавры-кинестетики. Начну, пожалуй, как раз с последних, потому что в нашем кровавом энтерпрайзе они создают реальные проблемы.
Читать дальше →
Total votes 25: ↑21 and ↓4+25
Comments19

Как я переехала из Москвы в Испанию (без мужа и с зарплатой в тенге)

Reading time12 min
Views25K

Привет, я Света, давайте снова знакомиться. 

В IT я более 10 лет, начинала в Мэйл.Ру в отделе персонала. Пока компания росла от 600 до 6 000 человек, я выросла из ассистента отдела до руководителя направления внутренних коммуникаций. Олды могут меня помнить по митапам Мэйла в офисе Авион, там я раздавала вам пиццу в перерывах. Позже мы с командой организовывали митапы, конференции и мероприятия в башнях. Их многие наверняка тоже помнят.

Сейчас, когда меня спрашивают о работе, я отвечаю, что живу в Европе, работаю в IT, получаю зарплату в валюте, а за несколько месяцев могу накопить миллион. 

Я и правда живу в Испании, а работаю проджектом в Beeline Казахстан. Отсюда возможность накопить миллион и зарплата в валюте — все это про тенге. 

В свободное время делаю DevRel-проекты с разными компаниями, помогаю с Хабром, пишу статьи в Т—Ж и другие издания про IT, деньги и путешествия. 

Я расскажу о том, как переехала в Испанию и почему мой случай эмиграции не совсем типичный. Скорее всего, это будет цикл статей, сегодня — про получение ВНЖ и документы, которые для этого понадобятся. 

Идём оформлять испанский ВНЖ
Total votes 38: ↑31 and ↓7+34
Comments44

Стоимость открытия бизнеса в Дубае

Reading time6 min
Views11K

Рассказ про то, как я потратил 2 недели, посетив все сайты фризон, расспросив с десяток посредников, и все для того, чтобы собрать все цифры в кучу и понять, как открыть бизнес в Дубае.

Мне хватит 10 000 у.е.?
Total votes 10: ↑8 and ↓2+8
Comments13
1
23 ...

Information

Rating
4,246-th
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Registered
Activity