Привет, Хабр! Я — Игорь Старун, BigData Lead в MPSTATS. Я уже 3 года занимаюсь анализом данных на маркетплейсах, штудируя гигантские объёмы информации и превращая их из непотребного и нечитаемого вида в удобоваримый и анализируемый. Моя задача — собрать и подготовить данные так, чтобы помочь продавцам на маркетплейсах разобраться, что происходит с их товарами, конкурентами и продажами, чтобы они не утонули в хаосе карточек, цен и остатков. В этой статье я расскажу, как мы перерабатываем эти объемы грязных данных и структурируем для дальнейшего анализа. 

Данные о товарах – это основа всего. Каждую неделю мы обходим более 200 миллионов карточек с Wildberries и Ozon. Названия, описания, характеристики, фотографии — всё это мы аккуратно собираем и складываем в базы данных (для разных задач мы используем ClickHouse, Postgres, MySQL и MongoDB) и облачные хранилища. Зачем? Чтобы потом сделать с этим что-то умное и полезное.

Чтобы получить мощную ИИ-модель, ее нужно обучать на качественных данных. Но что делать, если данных мало или они обходятся слишком дорого?

В статье разберем методы, с помощью которых ИИ-стартапы добывают «топливо» для разработки нейросетей. Под катом вы узнаете, как грамотно комбинировать разные подходы к сбору и разметке данных, как компании решают трудности, связанные с защитой тренировочных материалов авторским правом, и почему обучение нейросетей иногда лучше доверить другой ИИ-модели, а не человеку.

Привет! Меня зовут Владимир. Я арт-директор, художник, дизайнер мобильных и компьютерных игр и креативный директор в рекламе. И я почти случайно написал геймифицированную книгу для мальчиков. Вот тут можно ознакомиться с фрагментом книги. Вернее сказать, я написал эту книгу для себя, но для себя десятилетнего. Эх, если бы у меня тогда были эти знания, которые содержатся в этой книге. В книге обыграны советы по прокачке основных характеристик, которые обычно прокачивают игроки в РПГ. Но советы касаются реальной жизни, например, такие:

Мы с дата-саентистом Владимиром Багряновым составили программу обучения «Data Scientist с нуля», которая состоит только из бесплатных курсов. Если вы размышляете над тем, чтобы освоить новую профессию, можете воспользоваться нашей программой.

Не обладая нужными знаниями, не смог создать что то подобное текущему воплощению рассуждений в "топовых" языковых моделях, но моих навыков хватило быть неплохим учителем для модели, проверяя её решения, указывая на ошибки для дальнейшего создания работающего решения, конечно это не обучение с подкреплением, а теорема о бесконечных обезьянах в действии... Результат? Telegram бот, работающий на gpu nvidia и intel, созданный языковой моделью.

Нет - это не очередной кликбейтный заголовок! Это реальный путь и помощь людям без рекламы! Теперь когда мне зададут такой вопрос (в сотый раз) я скину ссылку на эту статью.

Вкратце мой путь:
- образование: РГЭУ "РИНХ" (г. Ростов-на-Дону) экономист, закончил в 2009 году
- с 2010 года работал экономистом, инженером, начальником отдела даже 3 года, диджеем, ну не суть. В общем программирования - null
- лето 2017: понаехал в Москву ведущим инженером по установке приборов учёта
- год 2018: задолбался ездить почти каждый день из Купавны в Москву на электричке, НО, от скуки я начал стоя, зажатый людьми в проходе или тамбуре, изучать Java и SQL
- летом 2019 устроился на первую работу в сфере it, что крайне удивило моего работодателя, от которого я уходил. Да что там - он *****

Поехали..

Если вы только выбираете язык программирования или уже программируете, но не уверены в своём выборе — эта статья для вас. Мы рассмотрим, какие бывают виды языков программирования, почему данные — это основа любой программы, как эти данные хранятся и как с ними работать. В конце статьи я приведу 5 бесплатных ресурсов, которые сам использовал для изучения SQL.

В этой статье отвечу на три вопроса: какие существуют виды языков программирования; почему нужно сначала изучить SQL; как учить SQL бесплатно.

TL;DR Автор рассказывает, как разовая релокация поселила в нём неуверенность в будущем, страх постоянных переездов и как это отразилось на его пет-проектах и сопутствующей инфраструктуре.

Приветствую, коллеги! Меня зовут @ProstoKirReal. Мне бы хотелось с вами обсудить как работает интернет от кабелей на витой паре, соединяющие простые локальные сети до подводных коммуникационных кабелей соединяющие между собой континенты и основные операторские сети.

В предыдущей статье я рассказывал основы работы локальных сетей, использование коммутаторов и сегментацию сети с помощью VLAN и масок. Теперь пришло время поговорить о маршрутизации — ключевом процессе, который позволяет передавать данные между разными сетями и делает возможной работу интернета в привычном нам виде.

В этом цикле статей я не стану учить вас настраивать оборудование и проектировать сети. Я расскажу об основных (и не только) принципах построения сети, а также о функционировании сети и сетевых протоколов в стеке TCP/IP.

Компьютерные сети — критически важный аспект современных технологий. Поэтому начинающие инженеры и ИТ-специалисты должны иметь четкое представление о принципах и методах их работы для создания и поддержки эффективной ИТ-инфраструктуры.

Чтобы сделать это направление в ИТ более доступным, мы подготовили бесплатный курс «Основы сетевых технологий». На курсе вы изучите основные понятия и концепции, протоколы и стеки, принципы функционирования и настройки сетевого оборудования, а также основы маршрутизации, безопасности и базовой диагностики.

Далее мы подробнее расскажем про сам курс и поделимся перечнем материалов по базовым вещам сетевых технологий — то, что может пригодиться для успешного старта карьеры.

В СМИ много говорят о том, что разработчики ПО скоро потеряют работу из-за ИИ. Я в это не верю.

Это не конец программирования. Это конец программирования в том виде, в котором мы его знаем сегодня.

Я фронтенд-разработчик в небольшой команде и 2 месяца назад чуть не лишился работы. После двух лет в компании, сотен часов переработок и десятков исправленных багов меня собирались уволить. И они были правы.

Каждый день я опаздывал, допускал ошибки в коде и срывал дедлайны. А потом тратил ночи на исправление собственных косяков в предыдущих проектах.

На этом моя карьера могла закончиться — но я нашёл выход. 

Сегодня никого не удивить ещё одной простой нейросетью для распознавания изображений на питоне через вычисления над матрицами (но право слово, дополнительно хорошая статья с ещё одним объяснением алгоритма обратного распространения ошибки совсем не помешает).

Но как насчёт нейросети на jave реализованной без использования матриц? Просто нейроны. Просто связанные между собой.

И что если я скажу тебе, что скорость работы этих двух подходов примерно сравнима между собой?

2025 год сделал значительный шаг вперед в области искусственного интеллекта и нейросетей для генерации контента. Среди бесчисленного множества инструментов крайне важно выделить для себя реально качественные и годные, ведь кто не хочет сократить время на бестолковый поиск информации, особенно, когда дедлайны поджимают? (=

Без долгих прелюдий – в сегодняшнем обзоре обсудим лучшие из лучших AI-генераторов, разберем, что они из себя представляют, какой функционал, удобно ли ими пользоваться.

Приятного прочтения! =)

«Учить английский легко»

«Со мной ты выучишь английский за 3 месяца»

«Английский с полного нуля до свободного владения всего за полгода»

«Английский легко и быстро»

Скажи, как часто ты встречаешь подобные заголовки? Хочется же кликнуть на такое? А сам гуглишь подобное?

Если да, то поспешу вернуть тебя с небес на землю.

Я Саша, лингвист по образованию и преподаватель английского языка, и сейчас я поясню тебе, почему подобным заголовкам верить нельзя и причём тут уловки маркетинга, на которые ты ведёшься снова и снова.

Долго размусоливать не собираюсь, поэтому скажу сразу: во фразах по типу «выучить английский легко и быстро» спрятаны сразу два подводных камня.

Психика – довольно парадоксальная вещь, которая подчиняется иной логике, нежели к которой мы привыкли. Несмотря на то, что главная функция психики – это обеспечение выживания индивида, на основе «субъективного отражения объективной реальности», иногда она работает против этой цели. И я говорю сейчас не про экстремальные варианты, вроде появления сверхидеи о питании солнечным светом и не про религиозные суициды во благо вечной жизни. Нет, я говорю об… учёбе, саморазвитии и познании мира.

И это странно, ведь для выживания нужно понимать мироустройство. Но почему же погружение в изучение этого самого мироустройства приводит к обратному результату – ступору, постоянному избыточному планированию, стрессу и дезадаптации? Почему люди, обладающие выдающимися знаниями: ученые, исследователи, профессора – уходят в эзотерику и лженауку? Почему многие из тех, кто должен лучше других понимать этот мир, сталкиваются с таким регрессом и отказываются от своих знаний? И можно ли с этим что-либо сделать?

Я достаточно давно изучаю особенности психики и личности как IT-специалистов, так и людей «от головы» в целом. И про особенности их личности писал ряд статей (часть 1, часть 2, часть 3, часть 4). Но сейчас, когда выборка стала больше и количество наблюдений кратно возросло, мне хочется копнуть чуть глубже и посмотреть не просто на личностные особенности, а на механизмы формирования этих особенностей у людей, обладающих эрудицией, интеллектом и способностью к абстрактному мышлению на более высоком уровне, чем в «среднем по больнице».

Нихао, Хабр! Меня зовут Лера, и этот текст я подготовила для команды спецпроектов МТС Диджитал. В нем подробно расскажу, как начала учить китайский, и поделюсь лайфхаками, которые помогают мне на этом пути. Возможно, мой опыт убережет вас от необдуманных трат, лишних действий, стресса и застревания на месте.

Раньше, когда я слышала словосочетание «китайский язык», мне представлялось что-то жуткое, совершенно непонятное и непостижимое. Мы все привыкли называть то, что нельзя разобрать, китайской грамотой. И еще несколько лет назад я даже не представляла себе, что эта страшная фраза войдет в мою жизнь в прямом значении и круто ее изменит. Но обо всем по порядку.

Привет! Меня зовут Дима, я Backend-разработчик в Doubletapp. Мне хотелось бы поделиться опытом реализации автоматизации изучения большого объёма информации.

В статье я расскажу:
• C какой проблемой я столкнулся
• Про возможное решение
• Про готовые инструменты, использующие SRS
• Notion + ActivePieces + ChatGPT
• Опыт использования: плюсы и минусы
• Про возможное применение