Мы еще не отошли от GPT-4o, как Anthropic вырывается на сцену с новой моделью Claude 3.5 Sonnet, которая по заверениям разработчиков превосходит GPT-4o. Anthropic вновь раздвигает границы возможностей ИИ.

В этой статье мне бы хотелось оценить возможности новой модели и, конечно, проверить не соврали ли нам о функционале Claude 3.5 Sonnet.

Приятного прочтения(:

Каталоги данных стали неотъемлемой частью современной архитектуры данных. Они играют ключевую роль в управлении метаданными, обеспечивая прозрачность, контроль и повышение эффективности работы с данными. В последние годы эта область активно развивается, и на российском рынке также появляются успешные истории внедрения. В этой статье мы рассмотрим текущее состояние open-source решений и уделим особое внимание применению больших языковых моделей в каталогах данных.

Я со своей стороны хочу разобраться в текущем состоянии этой части современного open-source стэка данных и внимательнее посмотреть на некоторые новые аспекты.

В этой статье я использую мой опыт обучения больших языковых моделей (смотрите серию видео на канале Ruslan Dev), чтобы выявить и описать основные фазы разработки собственной LLM.

На сегодняшний день разработчики GenAI моделей, как правило, используют веса базовых (foundational) моделей, а не обучают нейросеть с нуля. В качестве данных для обучения часто используются ответы state-of-the-art LLM, таких как GPT-4. Этот подход получил распространение с тех пор, как создатели Stanford Alpaca показали, что инференс небольшой модели наподобие Llama 7B можно приблизить по качеству к GPT-3 путем файнтюнинга на ответах последней.

С тех пор и коммерческие, и опенсорс-модели шагнули вперед. Я работал с базовой моделью Llama-3, обученной на беспрецедентно огромном корпусе из 15 триллионов текстовых токенов, что дает широкие возможности для файнтюнинга. А датасет для обучения я собирал с помощью последней модели OpenAI - GPT-4o. Как видите, переменные изменились, но уравнение осталось то же - подход Альпаки работает по-прежнему.

Вы что-нибудь слышали об AI-кодерах? Это такие программисты, которые не умеют писать код. Нас ими все пугают, что вот они придут и отнимут нашу работу. Насколько эти опасения оправданы? А вы знаете, что они уже среди нас?

Им пока не просто, им все еще приходится проходить собеседования, притворяясь обычными программистами и заучивая принципы SOLID. Никто из кандидатов в здравом уме не скажет работодателю: "Я не умею писать код, за меня его пишет ChatGPT", и работодатели пока тоже не понимают, что с ними делать, смогут ли они создавать хорошие продукты, они не понимают, как оценивать их работу, сколько они стоят, как их собеседовать.

Я пока тоже отношусь к скептикам, но поскольку я считаю себя человеком с ярко выраженным критическим мышлением, я задался вопросом: а что если?

Я решил провести эксперимент и сделать задачу, не написав ни строчки кода, обладая минимальными техническими знаниями, и вот что у меня получилось. Дабы этот пост влез в рамки 10-15 минутной статьи, я сделал допущение, что проект уже существует, кто-то помог мне развернуть его у себя на машине. У меня стоит PhpStorm, настройки которого были подготовлены старшими товарищами, и я знаю, где находится командная строка, в которую я буду копипастить команды. Задача, которую я буду решать, будет уровня джуниор+.

Многие ИИ-сервисы имеют для нас с вами ограничения и это не может не огорчать. Какие-то сервисы требуют только подключения через VPN, например, ChatGPT от OpenAI, а какие-то, например, Claude от Anthropic, просят душных и долгих танцев с бубном, чтобы просто использовать модель.

Но ладно доступ, а что если хочется расширить функционал, купив подписку? Так же не у каждого есть такая возможность, а потому нам приходят на помощь наши "адаптаторы", которые расшаривают доступ к интересующим нейросеткам и помогают нам избежать трудностей при использовании.

А еще вкуснее, когда любимые модели собраны в одном месте - это же очень удобно, не нужно бегать с места на место, а также платить за несколько подписок. А посему я хотела бы рассмотреть различные агрегаторы, их плюсы и минусы сравнить и понять, стоят они вашего с нами внимания, или нет.

Приятного прочтения!

Если мы хотим использовать большие языковые модели (БЯМ) в своей работе и при этом называть результаты творческими, нам придётся понять, как они работают — по крайней мере, на высоком уровне.

Существует множество отличных руководств о внутренних механизмах языковых моделей, но все они довольно техничны. (Заметным исключением является статья Нира Зичермана в журнале Every о том, что БЯМ — это еда.) Это обидно, потому что есть всего несколько простых идей, которые нужно понять, чтобы получить базовое представление о том, что происходит под капотом.

Я решил изложить эти идеи для вас — и для себя — в максимально свободной от жаргона форме. Приведённое ниже объяснение намеренно упрощено, но оно должно дать вам хорошее представление о том, как всё работает. (Если вы хотите пойти дальше упрощений, я предлагаю поместить эту статью в ChatGPT или Claude).

Готовы? Приступим.

Особенности и отличия семейств LLM в одной статье. Разберемся, что это такое, как они развивались и чем отличаются друг от друга. Рассмотрим характеристики основных моделей (GPT-3, GPT-4, Gemini, LLAMA, Claude и др.). Для новичков и желающих упорядочить знания в сфере LLM.

Хабр, привет! С публикации последнего топа IT-работодателей России прошёл год, а значит, пришло время его обновить. Очередной цикл исследования мы запустили летом этого года. Сказать, что сегодняшний рынок постоянно и стремительно меняется — ничего не сказать, а потому исследовать его как никогда интересно.

Как и всегда, в этом году цель нашего исследования — сделать актуальный срез по тенденциям и приоритетам соискателей, чтобы помочь всем ориентироватьсяв пространстве лучше понимать друг друга. Многие компании ушли из России, кто-то залёг на дно, другие, напротив, активизировались пуще прежнего, поэтому предлагаем оценить наиболее полную картину под катом.

Для начала общие вводные. Всероссийское исследование IT-брендов работодателей проводится ежегодно, с 2020 года мы (команда ЭКОПСИ и Хабра) спрашиваем мнения IT-специалистов о компаниях на рынке труда: насколько та или иная компания им известна как место работы + как они оценивают её привлекательность как работодателя. В 2022 году исследование проходило с 15 мая по 31 августа.

Около десяти лет назад микросервисы получили первое признание. С тех пор масса фирм воспользовалась услугами облачных провайдеров и перенесла свои сервисы к ним. А некоторые из них даже успели разочароваться в облачных технологиях и вернулись к традиционной схеме монолита (или почти к ней). 

Эта статья - не попытка уговорить вас на перенос вашего монолита в облако или отговорить от этого. Это попытка описать мифы по поводу такого переноса. 

JDK 17 с нами уже несколько месяцев и он не только про новые возможности языка Java. Прирост производительности в сравнении с более старыми версиями JDK очень заметен. Это становится особенно очевидно, когда мы сравниваем его с предыдущими LTS версиями: JDK 8 и JDK 11. Большая доля в улучшении производительности происходит из новых функций и оптимизаций в JVM, и в этой статье фокус будет на улучшениях, которые были сделаны в области сборки мусора в JVM

Почему Apache Kafka стала стандартом и основой архитектуры микросервисов. Как Kafka не только заменяет другое промежуточное ПО, но и позволяет создавать сами микросервисы с помощью DDD и нативных API Kafka: Kafka Streams, ksqlDB и Kafka Connect.

package p;
 
import static p.A.x;
 
class A {
    static String x = "A.x";
}
 
class B {
    String x = "B.x";
}
 
class C {
    String x = "C.x";
 
    class D extends B {
        void m() {
            System.out.println(x);
        }
    }
}
 
public class X {
    public static void main(String[] args) {
        new C().new D().m();
    }
}

B.x

Члены суперкласса B скрывают все вложенные элементы класса C, которые, в свою    очередь, перекрывают статический импорт класса A.

Каким же образом все это может привести к ошибкам?

Внимание!

Стоит ли вообще браться за JMeter

Составление сценария