Пишем GPT в 60 строк NumPy (часть 1 из 2)

В этом посте мы начнём реализацию с нуля GPT всего в
60 строках numpy. Во второй части статьи мы загрузим в нашу реализацию опубликованные OpenAI веса обученной модели GPT-2 и сгенерируем текст.
60 строках numpy. Во второй части статьи мы загрузим в нашу реализацию опубликованные OpenAI веса обученной модели GPT-2 и сгенерируем текст.
Проверяя работы студентов на курсе IT рекрутер, я вижу, что тема булевых и x-ray запросов сложная для понимания. Хочу попробовать на примерах рассказать азы так, чтобы стало сильно понятнее.

Веб 2.0 — отличная штука. Сайты на самообслуживании. Пользователи наполняют их сами («постят контент», как сейчас выражаются). Сами напостили, сами посмеялись. А владелец сайта только платит за хостинг и стрижет купоны на рекламе. Удобно же.
Но жизнь наша так странно устроена, что плюсов без минусов не бывает, а нередко недостатки вообще являются продолжением достоинств. Есть проблемы и у самонаполняемых сайтов — баяны. В смысле, дубли.
Дубли многие посетители не любят, особенно старожилы, на зубок помнящие мемасики, появившиеся во времена превед‑медведа и олбанского йазыгга. Каждое их появление они встречают фырканьем и угрозами немедленно отписаться.
Что же делать? Конечно, призвать на помощью железную машину — пусть она сама ищет баяны.


Всем привет, последние пару месяцев я активно изучаю тему веб‑компонентов, собираю и нарабатываю опыт, а затем делюсь своими наработками с другими с целью обменяться опытом, получит новый опыт, фидбек и понять куда двигается разработка в вебе и шагать дальше за новым опытом. Все ниже изложенное не является инструкцией как делать нужно, а является примером того, как сделать возможно на текущий момент в 2023 году, у меня уже набрался небольшой опыт (8 публикаций и 3 веб‑компонента на гитхабе) и я решился попробовать сделать что‑то серьезнее чем просто очередную реактивную кнопку или лайки, в первой части моей публикации я проведу вас по MVP веб‑компонента wc-wisywig, немного затронем философию семантики, браузерные API и обменяемся опытом, потестим HTML5 теги в статье на хабре. Для нетерпеливых сразу вот ссылка на демо и git репозиторий. Остальных ждет техничесий лонгрид, прошу под кат)



Если долго, долго, долго,
Если долго по тропинке,
Если долго по дорожке
Топать, ехать и бежать,
То пожалуй, то конечно,
То наверно, верно, верно,
То возможно можно, можно,
Можно в Африку прийти!
Очень интересен тот факт, что я не вижу никаких свежих описаний ЮАР на Хабре. А зря. Возможно вам будет интересно это место. В нём есть множество недостатков, но наличествует множество достоинств. Возможно вам приглянется. За подробностями прошу под кат.

Привет, это команда ответов на вопросы Маруси.
Этот материал состоит из двух частей. Это вторая часть (первая часть). В ней мы чуть глубже копнём технический аспект того, как устроены ответы на вопросы Маруси.
В первой части мы поверхностно рассмотрели механизм, позволяющий нашему голосовому помощнику понимать вопросы и реагировать на них. Теперь поговорим о том, как мы некоторое время назад создавали систему ответов на вопросы, и с помощью каких решений достигался результат, соответствующий как требованиям пользователей, так и техническим ограничениям.
Материал может быть интересен тем, кто только начинает свой путь в NLP или разрабатывает аналогичные решения, но не обладает несколькими стойками c DGX.

Зачастую на пентест-проектах по внешке или внутрянке нам удается захватить хеши паролей. Это могут быть как соленые MD5, SHA* хеши в вебе, так и NTLMv2/NTLM хеши во внутрянке.
Конечно, успех дальнейшего продвижения напрямую зависит от успеха в атаке на перебор паролей (перебор по словарю или полный перебор по маске). Атаку на подбор паролей обычно называют брутфорс или брут от английского выражения «brute force» или же грубая сила. В последствии мы также будем придерживаться общепринятой терминологии.
И все бы ничего, пароли в латинице отлично перебираются как полным перебором по маске всех символов с инкрементом, так и по заранее сгенерированным региональным и отраслевым словарям с дополнительными правилами и без, но как быть с полным перебором кириллических символов?

Сразу скажу, все шаги повторять не нужно. Можно сразу перейти к схеме и проекту :)
Несколько лет назад Мосэнергосбыт установил у меня в квартире новый электросчетчик "КАСКАД-1-МТ-W1-A1-230-5-60A-S-OV3". Из внешних интерфейсов у этого счетчика есть только оптопорт.
С чего начать? Для начала нужен оптопорт. Забегая вперед, могу сказать, что ничего сложного в нем нет.
Заводские устройства стоят неадекватно дорого, а самоделок практически нет.
Нашел более-менее разумное решение - VR-005. Не буду приводить ссылок, он легко ищется в поисковике. Но были сомнения.
А заработает ли с "Каскад"ом, так как все описание от VR-005 заточено на электросчетчики "Меркурий". Заработал.

Векторы прерывания в формате программирование на ассемблере 6502, можно представить как всем хорошо известный патерн event-observer в высокоуровневых языках программирования. Конечно же можно реализовать данный патерн и на ассемблере но я его привел для большего понимания работы вектора прерывания...

Привет, Хабр!
Посмотрим, что у нас там в мешочке, ру-ру? В предыдущих статьях (раз, два, три) мы оказались в стартовом данже, нашли там монстра и помогли ему переместиться в игру поновее. В награду за это мы получаем лут и много головной боли — айтемы, как и все остальное в Сфере, прекрасны и удивительны. Давайте разбираться.

И кстати, он даже не требует регистрации.
Как можно заметить, сейчас системы а-ля chatGPT начали расти как грибы после дождя. И мне попался такой сайт как perplexity.ai
Этот сайт делает то, что bing только обещает - ищет в интернете за меня и дает ответы, исходя из найденных результатов. Причем для каждого предложения он дает ссылки на источники, откуда он брал информацию.
Сейчас, правда, он отвечает всего парой абзацев и показывает не более пяти источников. Но если он научится анализировать тысячи источников и давать подробное резюме, то он может стать очень удобным инструментом.

Привет! За 10 лет работы в IT, я заметил, что многие не знают все направления по IT-специальностям. Я и сам когда-то не знал полной картины... Но ведь какая может быть польза от этого?
Например, для айтишника уровня middle и senior, такое знание поможет выбрать новое направление, когда понял, что выгорел или достиг потолка. Для начинающего — направит, когда тот выбирает специальность и планирует карьерный путь. Для HR — составить вакансию и список требований. А тем кто далек от IT — даст понимание, кто за что отвечает.
Я собрал весь свой опыт и опыт коллег, проштудировал информацию в интернете и составил модель IT-направлений по уровням — «SLI» (Specializations Levels Interconnection — взаимосвязь уровней специализаций). За основу взял сетевую модель OSI, которую разработали специалисты на Западе еще в далекие 80-е и считают эталоном по сей день.
Разберем схему SLI и ответим на вопросы:



Сергей Журавель | 22 ноября 2022 г.
Встроенные покупки в iOS. Часть 1: создание покупок и добавление их в проект

У человека, не погруженного в тему, внезапно нахлынувший вал сообщений о GPT может оставить противоречивые чувства. Эксперты разделились на два, на первый взгляд, равновеликих лагеря. Одни авторитеты говорят, что это "вау!". Другие уверенно заявляют, что GPT это "генератор бреда". Чтобы вы могли разобраться самостоятельно, я расскажу, как это работает