Pull to refresh
-6
Алексей@java3000

Администратор windows умеющий в программирование

Send message

Иногда приходится¹ копаться² в кишках³ Apache Spark

Level of difficultyMedium
Reading time11 min
Reach and readers3.4K

¹ …просто потому, что другого варианта добиться необходимого результата тупо не существует.
² и да, довольно-таки глубоко.
³ нет, серьёзно!



Давайте рассмотрим следующий бизнесовый кейс.


Дано: реально большие данные. Очень много датасетов по много терабайтов каждый, — в сумме объём тянет на петабайты. Лежат в облаке, но это не важно. Важно, что мы эти данные покупаем в «сыром» виде, каким-то образом «готовим», а потом перепродаём конечному потребителю.


Требуется: при подготовке каждого из датасетов разделить его согласно значениям одного или нескольких полей, составляющих его записи, на несколько. И это одна из особенно часто встречающихся в нашем процессе операций.


Довольно-таки сложный, продвинутый ETL у нас. Поясню на типичном примере.

Читать дальше →

Как приручить Горыныча: русская high availability с тремя головами

Level of difficultyMedium
Reading time5 min
Reach and readers5.3K


В одном царстве, в одном хостинг-государстве жил-был сказочный Змей Горыныч. Он был трёхголовым, распределённым и главное отказоустойчивым. Конечно, иногда из-за синхронизации подлагивал, но в целом был зверем, которых на свете мало…

Охранял он, как и положено, всякие ценности. То жар-птицу (high-value asset), то царевну (уникальный бизнес-процесс), а иногда просто всё по периметру выжигал огнём, чтобы в прод лишний никто не сунулся.

Он не был злодеем, просто его так собрали по SLA: доступность — 99,99%, задержка — в пределах 200 мс, а восстановление — автоматическое. Богатыря Горыныч не боялся, потому что он для него не герой, а unplanned human intervention — угроза стабильности.

Давайте разберёмся, что за монстр этот Змей.
Читать дальше →

Настройка ToolChain-a для программирования MCU FlagChip FC7300F8MDT

Level of difficultyEasy
Reading time20 min
Reach and readers4.3K

FC7300F8MDT — это микроконтроллер компании FlagChip as FlagShip.

В этом тексте я показал, как можно запрограммировать микроконтроллер FC7300F8MDT, буквально на пустом компьютере.

Читать далее

AI-агент говорит, что всё сделал. А ты уверен? Что нужно знать про оценку

Reading time6 min
Reach and readers3.1K

Оценка AI-агентов — это процесс анализа и понимания того, насколько эффективно AI-агент выполняет задачи, принимает решения и взаимодействует с пользователями. В силу их автономной природы, качественная оценка агентов необходима для обеспечения их корректного функционирования. AI-агенты должны действовать в соответствии с замыслом разработчиков, быть эффективными и соответствовать определенным этическим принципам AI, чтобы удовлетворять потребности организации. Процесс оценки помогает удостовериться, что агенты соответствуют указанным требованиям.

Читать далее

Синтез речи в 2026: топ-4 бесплатных нейросетей для озвучки текста

Level of difficultyEasy
Reading time19 min
Reach and readers181K

Искусственный интеллект давно перестал быть набором скучных алгоритмов. Это и художник, который рисует словами, и переводчик, что ломает языковые барьеры, и музыкант, играющий на голосовых нотах. Но есть у него ещё одно дело, в котором он преуспел, — синтез речи.

Но всё ли так гладко?

Просто тараторить текст — мало. Настоящий голос должен видеть запятые, чувствовать паузы, играть интонациями и уметь погружать. Он должен звучать не как робот, а как рассказчик с характером. С душой — насколько это вообще возможно для машины.

Поэтому мы устроим кастинг четырём нейросетям. Послушаем, как они звучат, как держат паузы, как справляются с эмоциями. И главное — попробуем понять: насколько близко они подошли к имитации живого рассказчика.

А чтобы было интересно, мы вдохновились атмосферой «Хоббита». Интересно, смогла бы нейросеть рассказать о приключениях лучше самого Бильбо Бэггинса?

Сегодня алгоритмы получат Толкина, омографы, арабский язык — и замок, который может быть замком.

Готовьте Ваши уши — мы начинаем!

Читать далее

Веб-аналитика и open source — какие есть решения

Level of difficultyEasy
Reading time4 min
Reach and readers3.6K

Обычно мы пишем о BI-платформах, которые дополняют облачную экосистему. Облако позволяет анализировать и безопасно хранить данные любого объёма, а также обучать ML-модели, управлять их жизненным циклом и проводить совместные эксперименты. 

Сегодня расширим тему и подробнее затронем веб-аналитику. Open source-формат зачастую позволяет не только использовать, но и дорабатывать такие решения самостоятельно.

Читать далее

Вебинары — как продавать экспертизу, услуги и даже товары, собирая людей в онлайне

Reading time3 min
Reach and readers1.1K

• Как подготовить действительно хороший вебинар?
• Из чего он должен состоять?
• Как собрать на него аудиторию?

В этой статье я постарался интересно и вдумчиво раскрыть тему продаж через вебинары.

Читать далее

Как я нашёл уязвимость в ядре Linux при помощи модели o3

Level of difficultyMedium
Reading time10 min
Reach and readers8.3K

В этом посте я расскажу, как нашёл уязвимость нулевого дня в ядре Linux при помощи модели OpenAI o3. Уязвимость обнаружилась благодаря одному лишь API o3 — не потребовались никакая дополнительная настройка, агентские фреймворки и инструменты.

Недавно я занимался аудитом уязвимостей ksmbd. ksmbd — это «сервер ядра Linux, реализующий в пространстве ядра протокол SMB3 для передачи файлов по сети». Я приступил к этому проекту специально для того, чтобы взять отдых от разработки связанных с LLM инструментов, но после релиза o3 не мог избежать искушения и не использовать в качестве небольшого бенчмарка способностей o3 баги, найденные мной в ksmbd. В одном из следующих постов я расскажу о показателях o3 при обнаружении всех этих багов, а сегодня мы поговорим о том, как в процессе моего бенчмаркинга o3 обнаружила уязвимость нулевого дня. Найденной уязвимости присвоили обозначение CVE-2025-37899 (её патч выложен на Github), это use-after-free в обработчике команды SMB logoff. Для понимания уязвимости необходимо знать о работе конкурентных подключений к серверу и о том, как они в определённых обстоятельствах могут обмениваться различными объектами. Модели o3 удалось разобраться в этом и найти место, где конкретный объект с автоматическим подсчётом ссылок освобождался, но продолжал оставаться доступным для другого потока. Насколько я понимаю, это будет первым публичным рассказом об уязвимости подобного типа, обнаруженной LLM.

Читать далее

Value based маркетинг? Почему в B2B всё ещё говорят о себе, а не о клиентах?

Level of difficultyEasy
Reading time4 min
Reach and readers1.1K

При анализе B2B‑компаний из разных сфер мы постоянно сталкиваемся с одной критической проблемой: компании говорят только о себе, а не о клиентах. Их коммуникации безличны, позиционирование размыто, а сообщения не отражают реальные потребности и ценности для клиента. Это фундаментальная ошибка в B2B‑маркетинге, которая ведёт к низким конверсиям и слабому отклику аудитории.

Главная проблема в том, что B2B‑компании слишком сфокусированы на себе. Они погружаются в технические детали, используют сложный профессиональный жаргон и хвастаются достижениями, забывая, что их клиенты — живые люди с конкретными бизнес‑задачами, KPI и проблемами, которые нужно решить. В результате маркетинговые сообщения становятся неэффективными и не находят отклика у целевой аудитории.

Читать далее

Создаем Telegram-бота для генерации случайных пользовательских данных на Python

Level of difficultyEasy
Reading time6 min
Reach and readers6.1K

Привет, Хабр! Сегодня я хочу поделиться опытом создания полезного инструмента для разработчиков и тестировщиков — Telegram-бота, который генерирует реалистичные пользовательские данные с учетом национальных особенностей. Такой бот может пригодиться при тестировании приложений, заполнении тестовых баз данных или при разработке прототипов.

Читать далее

Руководство по администрированию Linux для начинающих

Level of difficultyEasy
Reading time7 min
Reach and readers55K

Для начинающих в системном администрировании Linux важно не просто знать команды, а понимать, как устроена система и как эффективно управлять её основными компонентами — файлами, сетью и процессами. Эта статья предлагает структурированное и доступное введение в ключевые аспекты администрирования Linux, которые помогут быстро освоить базовые инструменты и заложить прочный фундамент для дальнейшего развития.

Читать далее

Регенерация спинного мозга. Первая в мире терапия проходит испытания на людях

Level of difficultyEasy
Reading time3 min
Reach and readers2.7K

Часто пишу о том, что человечество находится в неком переходном состоянии в разрезе развития технологий. То, что раньше было фантастикой, сегодня становится данностью. Вот и в лечении травм позвоночника зарождается смена парадигмы, во главе которой стоит первая в мире регенеративная клеточная терапия, которая получила одобрение на зарегистрированное клиническое исследование фазы I. Это историческая веха, так как человечество теперь способно лечить то, что ранее считалось неизлечимым заболеванием.

Читать далее

Joomla 6 в разработке. Чего ожидать?

Level of difficultyEasy
Reading time11 min
Reach and readers3.8K

Следующее поколение Joomla уже в работе! С каждой новой версией наша любимая CMS становится лучше и лучше. Наступило время для беседы с релиз-менеджерами Joomla 6: Гарри Баркли и Филом Уолтоном.

Читать далее

Запрещает ли размерность пространства состояний квантовые компьютеры?

Level of difficultyMedium
Reading time6 min
Reach and readers2.7K

Арифметический аргумент против квантовых вычислений такой: квантовый компьютер на тысячу кубитов потребует 2^{1000} переменных для «хранения» состояний, это слишком много. Является ли максимальная размерность пространства состояний непреодолимым препятствием для квантовых вычислений?

Читать далее

Играемся с RTX 5090 (GB202) для инференса

Level of difficultyMedium
Reading time7 min
Reach and readers15K

Продолжаем статьи про практические тесты актуальных картонок от Nvidia (A5000 Ada, A100, 3090 и A10). В этот раз мне предложили (не реклама) денёк погонять Nvidia RTX 5090 в хостинге (себе такую брать я бы не стал), и я не мог отказаться от такого предложения.

За день что‑то стоящее натренировать нынче уже проблематично, поэтому будем «снимать» уже привычных обратно совместимых «попугаев» через gpu-burn и также замерим скорость инференса одной нашей довольно прожорливой сетки в продакшене.

Все шутки про Nvidia давно уже не шутки, санкции и торговые войны идут своим чередом, но тем не менее в России новинки появляются с завидной регулярностью несмотря на все запреты.

На фоне сильно негативного новостного фона со стороны игрового сообщества про новый релиз Nvidia и своеобразных «успехов» Nvidia по наращиванию своей капитализации продвинутой «сегментации» рынка (все уже пошутили про новый коннектор, огромный рост TDP и размера карт), мне лично было интересно, а есть ли рост 50* поколения карт для наших задач против 30* поколения.

Если верить техно‑ и игровым блоггерам, их новое поколение совсем не впечатлило. Меня зато так «впечатлило» 40* поколение, что мы даже не рассматривали апгрейд 3090. Но обо всём по порядку.

Давайте разбираться!

Учёные хотят подарить нам счастье, влияя на крошечные формы жизни, формирующие нашу личность

Level of difficultyEasy
Reading time5 min
Reach and readers5K

Когда вы какаете, ваш организм выбрасывает из кишечника сотни миллиардов микробов, в том числе множество «полезных бактерий», которые помогают поддерживать кишечник и все остальные органы в отличной форме. В 1958 году врачи использовали эти знания для проведения первой современной трансплантации фекальной микробиоты: когда с помощью процедуры колоноскопии людям с проблемами кишечника пересаживается группа микробов из кала здорового донора. Результаты оказались чудесными. Пересадка восстановила недостаток здоровых микробов у реципиентов, увеличив количество «хороших» микробов в их кишечнике. На первых порах подобная пересадка проводилась только для людей с тяжёлыми бактериальными инфекциями или дисбалансом кишечника из-за недостатка полезных бактерий.

Однако, когда исследователи начали понимать, насколько важен здоровый микробиом кишечника для психического здоровья, эту процедуру стали тестировать на людях с тяжёлыми психическими расстройствами, такими как депрессия. Положительные результаты исследований показали, что восстановление сбалансированного микробиома может, как по нажатию кнопки, поменять состояние человека — так проявила себя чёткая связь между микробами кишечника и настроением.

Читать далее

Когда пространство закручивается: как математики раскрыли тайну 126-мерного мира

Level of difficultyEasy
Reading time3 min
Reach and readers16K

Можно предположить, что трёхмерное пространство ведёт себя так же, как пространства более высоких размерностей. Добавление измерения лишь создаёт новое направление для движения, не меняя фундаментальных свойств пространства: его бесконечности и однородности. Однако каждое измерение обладает уникальным характером. Например, в размерностях 8 и 24 шары можно упаковать особенно плотно, в некоторых измерениях существуют «экзотические» сферы, которые кажутся смятыми, а в третьем измерении возможны узлы, которые в более высоких размерностях всегда можно развязать.

Читать далее

Вайбкодинг в 1С 2. Новые сети и инструменты

Reading time6 min
Reach and readers20K

Обзор сетей и инструментов для Вайб кодинга на 1С. Очередная порция сетей: Claude 4, Grok, Qwen3, Llama4, GPT o3 и 4.1. MCP серверы для Cursor для 1С. Плагин EDT для вайб кодинга на 1С.

Читать далее

Попробуй себя в роли продавца игровых ассетов на Fab / Unreal Engine 5

Level of difficultyMedium
Reading time1 min
Reach and readers3.9K

Как и обещал, записываю «быстрый» гайд, как начать продавать игровые ассеты на Fab.

Говорю сразу записываю я его для тех единиц, которые просили дать краткое руководство, с чего начать и что делать для начала!

Не нажимай на эту кнопку

1С: Кабинет сотрудника: Как мы чинили то, что называлось «готовым продуктом»

Reading time7 min
Reach and readers17K

Привет, Хабр (и просто случайные читатели, зашедшие сюда в поисках истины или интересной статейки на пару минут)!

Сегодня я расскажу вам историю о том, как я провёл полгода в тесных объятиях «1С: Кабинет сотрудника» на новой технологии 1С:Элемент — системы, которая обещала сделать кадровый документооборот простым, как бутерброд с колбасой. Но, как выяснилось, бутерброд этот оказался с сюрпризом… то ли огурцом, то ли гвоздём.

Читать далее

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity

Specialization

Десктоп разработчик, Администратор серверов
Младший
From 110,000 ₽
Java
Java Spring Framework
RESTful WebServices.
PostgreSQL
SQL
Hibernate
Linux
Базы данных
Microsoft SQL Server
Разработка программного обеспечения