Search
Write a publication
Pull to refresh
4
0
Send message

GPT-4, Claude 3, Gemini Pro или опенсорс — как выбрать LLM под свою задачу?

Level of difficultyMedium
Reading time10 min
Views32K
image

Несмотря на то, что сейчас из каждого утюга рекламируется доступ к ChatGPT и GPT-4, вообще говоря, в мире существует несколько больше разных поставщиков LLM (больших языковых моделей), и некоторые из которых могут гораааздо более эффективнее решать какие-то конкретные задачи.

Я уже полгода веду проект VseGPT.ru с доступом к разным LLM из России по OpenAI API (ну, и через вебчат). Львиная доля работы — подключение новых нейросетей. Сейчас их уже свыше 60, и каждую я попробовал хотя бы раз, ну, когда подключал.

Правда, сайт LLMExplorer, собирающий данные об опенсорс нейросетях с портала Hugging Face, говорит, что их там уже более 33 000 штук. М-да.

В общем, вероятно, я не знаю о текстовых сетках всё, но определенно знаю кое-что — хотя бы в пределах своего скромного опыта в 60 сеток. Так что кому интересно — прошу под кат.
Читать дальше →

Как сбить цензор GPT-3.5 за 250 рублей?

Level of difficultyMedium
Reading time5 min
Views33K

Всего за 3 доллара и 15 минут ожидания можно заставить модель забыть про мораль и безопасный контент. В этой статье мы расскажем, как это сделать, и поделимся своими результатами.

Читать продолжение в источни...

Отладка в SQL Developer

Level of difficultyEasy
Reading time28 min
Views4.2K

Привет! Меня зовут Алексей Маряхин, я разработчик на Oracle. В этой статье продолжим знакомиться с темой отладки PL/SQL-кода.

 В предыдущей статье мы изучили возможности отладки в PL/SQL Developer. В этой предлагаю рассмотреть ещё один инструмент — SQL Developer (версия 21.2.0.187 Build 187.1842). Также обозначим плюсы и минусы этих инструментов в сравнении.

Как оказалось, информации на русском языке на эту тему не так много, а документация по SQL Developer не отвечает на многие вопросы. В статье постараюсь осветить основные моменты касательно использования SQL Developer для отладки. Если тема для вас актуальна, велком!

Читать далее →

17 продвинутых RAG-техник: как превратить прототип LLM-приложения в готовое решение

Reading time18 min
Views14K

GenAI стремительно ворвался в нашу жизнь. Ещё вчера мы с опаской смотрели на него, а сегодня уже вовсю используем в работе. Многие эксперты пророчат GenAI большое будущее, считая его предвестником новой промышленной революции.

И ведь действительно, LLM и мультимодальные модели уже сейчас демонстрируют впечатляющие возможности и при этом относительно просты во внедрении. Создать простое приложение на их основе - дело нескольких строк кода. Однако переход от эксперимента к стабильному и надежному решению — задача посложнее.

Как метко подметил Мэтт Тёрк: если в 2023 году мы боялись, что GenAI нас погубит, то в 2024-м мечтаем хоть как-то приручить его и запустить в "мелкосерийное производство".

Если вы уже успели создать свои первые LLM-приложения и готовы вывести их на новый уровень, эта статья для вас. Мы рассмотрим 17 продвинутых RAG-техник, которые помогут избежать типичных ошибок и превратить ваш прототип в мощное и стабильное решение.

Пристегните ремни, мы отправляемся в увлекательное путешествие по миру AGI! Вместе мы:

Поймем, как система отличает ценную информацию от информационного шума;

Разберемся, как правильно подготовить данные для LLM;

Выясним, можно ли строить цепочки из нескольких LLM;

Поймем, как направлять запросы через разные компоненты системы.

Приятного прочтения(:

Читать далее

Мечтают ли компьютеры строить дома? или Как заставить нейросети определять ремонт в квартирах и улучшать объявления

Level of difficultyEasy
Reading time12 min
Views6.8K

Как для большинства выглядит процесс постройки дома? Котлован, песок, цемент, какие-то блоки, снующие люди и техника, шум, пыль на пару лет и вот, дом готов. На самом деле всё давно не так. Точнее, так, но это, как говорится, frontend. Но строительство уже давно процесс не физический, а киберфизический. Поэтому есть у него и backend. Это работа с данными на всех этапах, от планирования до оценки ремонта, использование нейросетей для анализа объявлений о продаже, построение экономических моделей и множество всего. В общем, создание дома — это IT-проект, который начинается задолго до возведения здания и не заканчивается после сдачи жителям, т.к. во время эксплуатации продолжается сбор и обработка данных. Меня зовут Алексей, я техлид в команде Data Science по направлению Computer Vision в Самолете, и сейчас вам всё расскажу.

Читать далее

10 вопросов, которые задают дизайнерам интерфейсов на собеседованиях

Level of difficultyEasy
Reading time6 min
Views6.2K

Всем привет! Меня зовут Денис, я тимлид команды дизайна в DLS и ревьюер на курсах «Дизайнер интерфейсов» и «Дизайн мобильных и кросс-платформенных приложений» в Яндекс Практикуме.

Я управлял командами с различной квалификацией сотрудников, а также нанимал сотрудников в агентства и продуктовые компании. В этой заметке я расскажу о 10 вопросах, которые задавал на интервью сам — и которые часто задают другие нанимающие специалисты в дизайн-командах.

Читать далее

Отладка в PL/SQL Developer

Level of difficultyMedium
Reading time12 min
Views16K

Привет! Меня зовут Алексей Маряхин, я работаю разработчиком на Oracle и пишу много, очень много кода. И когда программа ведёт себя не так, как ожидалось, на помощь приходит отладка.

Не так давно выяснил, что не все разработчики владеют функционалом отладки или знают её фичи. А если код сложный и баги искать всё равно надо? Литературы на русском языке про отладку практически нет.

Тогда я собрал подробный гайд для коллег и провёл внутренний семинар по обмену опытом. Материал получился настолько подробным и полезным, что решил поделиться им с сообществом программистов. На примере инструментов для работы с СУБД Oracle, которые используются у нас в компании, посмотрим, как работает отладка, сравним их в теории и узнаем, что внутри.

В серии из двух статей подробно расскажу о способах, инструментах и нюанса отладки кода PL/SQL. Первая часть — про инструмент PL/SQL Developer. Поехали!

Читать далее →

История о том, как Graphviz и бор взломали шифр от Sony

Level of difficultyMedium
Reading time9 min
Views14K

Мою первую статью я желаю посвятить истории о том, как я решил заняться исследованием часто встречающихся в модулях PlayStation Portable непонятных байтовых строк. Никакой документации в Homebrew коммьюнити найти не удалось, так что я взялся за дело сам.

Как это было

Дорабатываем чужие сайты: Как написать расширение для Chrome с помощью ChatGPT

Level of difficultyMedium
Reading time5 min
Views6.7K

Часто ли вы сталкиваетесь с такой ситуацией: вы пользуетесь каким-нибудь веб-сервисом и вам очень не хватает какой-то маленькой, но важной функции, которую разработчик не станет добавлять только для вас?

В этой статье я расскажу, как без глубоких знаний о фронтенд-разработке создать собственное расширение для Google Chrome с помощью ChatGPT.

Читать далее

У вас новый ремонт? Лучше! Рисунок нового ремонта. Как мы из Stable Diffusion сделали дизайнера интерьеров

Level of difficultyMedium
Reading time19 min
Views15K

Сейчас технологии машинного обучения и нейронных сетей находят широкое применение в различных сферах, не исключая дизайн и ремонт помещений. Одной из таких технологий является методы генеративных нейросетей, которые позволяют преобразовывать изображения, сохраняя основные элементы оригинала, но добавляя новые детали и стилистические изменения. Меня зовут Алексей Луговой, я работаю с Computer Vision в Самолете и уже обзорно рассказывал на Хабре, как мы применяем искусственный интеллект в строительстве. Сегодня же углубимся в задачу по созданию генеративной сети для создания проекта ремонта. Рассмотрю процесс использования диффузионных моделей с различными дополнениями на примере не самой обычной задачи — преобразования интерьера комнаты, начав с оригинального изображения голых стен и завершая итоговой генерацией в фирменном дизайнерском стиле.

Читать далее

Git. Скачем между ветками как древесные лягушки

Level of difficultyEasy
Reading time6 min
Views33K

Статей на тему много, но, видимо, недостаточно. Последние 10 лет в 4-х разных компаниях время от времени слышу от коллег:

— Не могу пошарить экран с кодом, у меня другая ветка сейчас.

— Не хочу переключать ветку, придется запускать кодогенерацию, у меня сбросятся build-файлы, потом это опять пересобирать!.

— Стаскивать ветку для просмотра ПР? Это же неудобно, надо "стэшить" изменения, ветку переключать.

Читать далее

Как сотрудники могут саботировать работу компании

Reading time6 min
Views50K

Фото из архива УСС. Источник.

Мальчик играет в шпиона: представляет, как работает под прикрытием на чужой территории. Мужчина играет в шпиона: устраивается на должность технического директора в IT-компанию, чтобы снижать ее производительность, сохраняя видимость рвения и лояльности и оставаясь непойманым. Для тех, кто не саботажник: это история о том, как отсеять некомпетентных людей и получить максимальную отдачу от своей команды.
Читать дальше →

Удочка в виде Upwork — процесс регистрации на зарубежной фриланс бирже

Level of difficultyMedium
Reading time4 min
Views7.9K

Продолжая свое путешествие по миру заработка в этих ваших интернетах я наконец то полностью преисполнился и принял тот факт, что доход в бурж сегменте намного выше, чем доход в русскоязычной сфере. Даже такая простейшая схема, как посредничество (берем заказ у русскоязычного пользователя – несем его на бурж фриланс рынок и получаем результат там) в некоторых нишах приносит неплохие плоды (х2 профита, слышал что подобная схема называется барыжничество, но зачем мне продавать свои знания дешево, я не знаю).

Тем не менее, сейчас не про способ заработка, а лишь про то, где взять удочку. А как на этом заработать вы уже будете решать сами. Тем более, что моя тема еще далеко не исчерпала себя и палить ее в паблике нет желания.

Итак, в данной статье я бы хотел разобраться, как зарегестрироваться на бирже фриланса Upwork и начать там зарабатывать, в качестве фрилансера (если у вас неплохой английский, то в честной конкуренции с индусами вы можете урвать неплохие заказы по очень вкусной цене), ну а если пораскинуть мозгами, можно и заработать в качестве заказчика.

С Upworkom следует быть максимально аккуратным, так как одно неверное действие и вы лишились аккаунта. Как говориться, я 100 раз так делал, пока не научился нескольким простым правилам при работе с Upwork.

Читать далее

PandasAI — кратно ускоряем работу аналитика данных в одну строчку

Level of difficultyEasy
Reading time5 min
Views14K

Ускоряем написание кода при работе с таблицами и библиотекой Pandas с помощью PandasAI в несколько раз за пару строк. Хитрецы уже используют ...

Читать далее

.NET: итерируемую в foreach коллекцию изменять нельзя. Или…

Level of difficultyMedium
Reading time4 min
Views9.9K

Сегодня поговорим о неочевидной особенности некоторых коллекций в .NET. Долго вокруг да около ходить не будем и начнём с задачки на самопроверку.

Читать далее

Как IT-специалисту составить резюме: советы рекрутеров

Reading time3 min
Views17K

Рекрутеры и HR-специалисты просматривают десятки и сотни откликов на вакансии и тратят на резюме примерно минуту. Поэтому емкое резюме — залог того, что кандидата заметят. Мы спросили нескольких эйчаров, что должно быть в хорошем резюме, а чего лучше избегать.

А еще попробуйте заполнить резюме на Хабр Карьере — там же его можно красиво скачать в пдф, которую часто хвалят специалисты в отзывах.

Читать далее

Клавиатура Keychron Q1 HE: интересная модель с магнитными свитчами на эффекте Холла

Reading time3 min
Views11K

Еще в январе 2024 года компания Keychron представила клавиатуру Keychron Q1 HE, которая понравилась многим обзорщикам. У нее несколько интересных особенностей, включая наличие беспроводной связи и, как и указано в заголовке, магнитных свитчей. Позиционируется аксессуар как универсальный, но благодаря переключателям и частоте опросов в 1 000 Гц он отлично подходит и в качестве инструмента для геймера. Подробности — под катом.

Читать далее

Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 3: Специализированное машинное обучение

Level of difficultyMedium
Reading time22 min
Views13K

Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor).

В предыдущей статье я поделился материалами для подготовки к этапу по классическому машинному обучению.

В этой статье рассмотрим материалы, которые можно использовать для подготовки к секции по специализированному машинному обучению.

Читать далее

Цикл разработки LLM

Reading time4 min
Views6.3K

В этой статье я использую мой опыт обучения больших языковых моделей (смотрите серию видео на канале Ruslan Dev), чтобы выявить и описать основные фазы разработки собственной LLM.

На сегодняшний день разработчики GenAI моделей, как правило, используют веса базовых (foundational) моделей, а не обучают нейросеть с нуля. В качестве данных для обучения часто используются ответы state-of-the-art LLM, таких как GPT-4. Этот подход получил распространение с тех пор, как создатели Stanford Alpaca показали, что инференс небольшой модели наподобие Llama 7B можно приблизить по качеству к GPT-3 путем файнтюнинга на ответах последней.

С тех пор и коммерческие, и опенсорс-модели шагнули вперед. Я работал с базовой моделью Llama-3, обученной на беспрецедентно огромном корпусе из 15 триллионов текстовых токенов, что дает широкие возможности для файнтюнинга. А датасет для обучения я собирал с помощью последней модели OpenAI - GPT-4o. Как видите, переменные изменились, но уравнение осталось то же - подход Альпаки работает по-прежнему.

Читать далее

Крах самого большого производителя компьютеров: как сгинула компания Compaq (часть 3/3)

Level of difficultyEasy
Reading time17 min
Views19K


Продолжаем историю компьютеров марки Compaq. Это финальная третья часть.

В середине 1990-х корпорация достигла пика развития, они лидировали почти повсеместно. Конкуренты были повержены: IBM, которая кошмарила всех и была олицетворением «большого брата», постепенно ушла с рынка ПК. Apple находилась на грани банкротства. Рынок ПК рос по 15-19% в год, а корпорация Compaq – по 30%. Как же у них получилось обогнать всех? В чем был секрет дешевых и качественных компьютеров? Середина 1990-х – это время, когда снижалась маржинальность; Dell научился продавать ПК онлайн, и с этого начался бум доткомов, который еще больше простимулировал рынок ПК.

В третьей части истории корпорации Compaq нашлось место Илону Маску, а также вы узнаете, как корпоративная парковка способна загубить самую большую и успешную компанию на рынке.
Читать дальше →

Information

Rating
6,925-th
Registered
Activity