Эффективный запуск и инференс LLM на своем сервере с нуля (часть 1)

А через контейнеры Nvidia NIM пробовали инференсить? Там ребята смогли добиться существенного прироста к перфу.

AI-программирование: как я решил задачу, не написав ни строчки кода

Попробуйте Aider - он сам за вас найдет нужные файлы, отправит их LLM и пропатчит старые / добавит новые.

Как использовать GitHub Copilot в IDE: советы, приёмы и лучшие практики

Спасибо, что описали нюансы копайлота. Ещё, хочу отметить, что опыт использования в VS Code и IDE от JB может отличаться. Читал отзывы, что в VS Code расширение работает сильно качественнее. Ещё, для желающих получить автокомплишн полностью локально могу подсказать Tabby, CodeGPT и Continue.

Топ-5 инструментов c AI для начинающих (или не очень) разработчиков

Спасибо за подборку! Кому интересен более полный список инструментов, предлагаю заглянуть в репозиторий https://github.com/rodion-m/awesome_ai_for_programmers , в нем я веду список актуальных AI тулов и полезностей для разработчиков с описанием на русском.

YandexGPT API быстро и без труда с Python SDK. Делимся опытом интеграции

Спасибо за статью. Расскажите, пожалуйста, это вы какую именно версию ChatGPT и YandexGPT тут тестировали?

YandexGPT — метрика 95%
ChatGPT — метрика 97%

«Ревизорро» в IT: тестируем суммаризацию текста в GigaChat и YandexGPT

Спасибо за статью, сравнений российских LLM действительно мало. Поделитесь, пожалуйста, как они смотрятся на фоне популярных опенсорсных решений (OpenChat, Command R(+), llama 3) или, например, в сравнении с Claude 3 Haiku?

Анатомия эффективного собеседования. Что делать и чего не делать на собеседовании

Спасибо, неплохие советы!

Я предпочитаю просить кандидатов писать код в Блокноте или текстовом редакторе без подсветки кода, чтобы видеть, как он/она может думать без дополнительной поддержки. Это просто мое предпочтение, и это максимально приближено к интервью у доски.

Не совсем понятно, для чего проверять возможность думать без дополнительной поддержки, если в реальности эта поддержка всегда есть в IDE, почему бы не разрешить кандидату писать код в его любимой IDE? И что хорошего в интервью у доски?

И поделитесь, плиз, вашим отношением к использованию нейронок на собеседовании - копайлотов и прочих гпт. Просто запрещаете?

await anywhere, взгляд на третью сторону медали: sync vs async vs …

Количество потоков (thread) строго отрегулировано

А просто количество тредов выкручивать пробовали? Чем не подошло такое решение?

Десктопное приложение с нуля на .Net и C# с помощью ChatGPT

А в чем резон использовать GPT-3.5, когда доступна GPT-4? Тем более, а случае использования GPT-4 через Playground не придется платить за подписку.
Ещё интересно будет если вы попробуете сделать все тоже самое через GPT-Engineer, либо GPT Pilot.
https://github.com/gpt-engineer-org/gpt-engineer
https://github.com/Pythagora-io/gpt-pilot
Они как раз предназначены для создания софта с нуля.

Об одном способе веб-скрапинга сайтов, защищенных Cloudflare

Спасибо, подход интересный. Из статьи только не понял, поддерживает ли при таком способе автоматизированный переход на другие страницы?

Как подружить нейросети и разработку: программируем с ChatGPT

Ссылочку на JAIG дайте плиз. Кстати, GPT-4 по качеству кода и сложности решаемых задач - небо и земля в сравнении с GPT-3.5. Ещё, есть простой лайфхак, который может существенно повысить качество кода на выходе - прибавить к промпту "сделай как Senior разработчик". Всевозможные юзкейсы работы с LLM для программиста я собираю в этом репозитории: https://github.com/rodion-m/ChatGPT_for_programmers

Еще раз про асинхронную машину состояний и где именно там аллокации

Да, именно поэтому и еще по ряду причин David Fowler в своем AsyncGuidance не рекомендует делать такие прокси. Поэтому, ответ использовать их или нет
зависит от того, что важнее - корректный стек вызовов плюс другие плюшки, либо мизерный выигрыш от экономии аллокации в куче.

Еще раз про асинхронную машину состояний и где именно там аллокации

Да, вы, конечно, правы! Все-таки этот кусочек логики ChatGPT упустил при рефакторинге, а я недоглядел при ревью. Исправил, спасибо вам за внимательность.

Разработчики развивают проект Jan — открытую альтернативу ChatGPT, которая работает локально

По моему опыту, GPT-4 врёт существенно реже, чем предшественник.

И снова об «Incorrect time zone information for Russian time zones » [.Net bug, ID: 693286]

Для чего-то чувствительного ко времени рекомендую использовать библиотеку NodaTime. Там своя база часовых поясов и они не привязаны к ОС. Ваш код тогда будет выглядеть вот так:

static void Main(string[] args)
{
    DateTimeZone tzMoscow = DateTimeZoneProviders.Tzdb["Europe/Moscow"];
    DateTimeZone tzLondon = DateTimeZoneProviders.Tzdb["Europe/London"];

    System.Diagnostics.Debug.WriteLine("Before Medvedev tricks: " + calcTimeZoneShift(tzLondon, tzMoscow, "2010-01-01T13:00:00Z"));
    System.Diagnostics.Debug.WriteLine("After Medvedev tricks: " + calcTimeZoneShift(tzLondon, tzMoscow, "2013-01-01T13:00:00Z"));    
}

private static long calcTimeZoneShift(DateTimeZone tz1, DateTimeZone tz2, String time)
{
    var date1 = InstantPattern.ExtendedIso.Parse(time).Value.InZone(tz1);
    var date2 = InstantPattern.ExtendedIso.Parse(time).Value.InZone(tz2);;
    return (date2.Offset - date1.Offset).Seconds / 3600;
}

Я пробовал GitHub Copilot, и я в восторге

Пробовал - в среднем, весьма достойные результаты получаются. Контекст проекта он учитывает, как правило. Часто действительно возникает впечатление, будто он читает мысли.

Telegram удалил нашего ChatGPT-бота на 27,000 пользователей без объяснения причин

А куда именно вы передаете имя пользователя? В role или просто в content?

GitHub представил Copilot X с чат-ботом и другими инструментами

Мы уже в новой эпохе. Не все пока осознают, правда.

Telegram удалил нашего ChatGPT-бота на 27,000 пользователей без объяснения причин

Спасибо, пригодится друзьям в РФ. Кстати, для модели GPT-4 вы Reverse Engineered апишку используете?

Blazor: Нужен ли нам .Net в вебе?

Поделитесь, пожалуйста, более подробно какую нагрузку держал сервер, сколько одновременно активных пользователей было на пике и какое железо?