Search
Write a publication
Pull to refresh
75
0.5

User

Send message

Обвиваем YouTube змеем, или как смотреть и скачивать видео с YouTube без VPN на чистом Python-е. Часть 2

Level of difficultyEasy
Reading time8 min
Views48K

Приветствую! Эта статья является продолжением (2 частью) статьи Обвиваем YouTube змеем, или как смотреть и скачивать видео с YouTube без VPN на чистом Python-е. Часть 1 Если честно, я был приятно удивлен популярностью первой части: 115К просмотров за неделю и 137 голосов, которые принесли мне 21 место в рейтинге Хабра. Учитывая, что эта статья была из песочницы (отдельное спасибо @Ilha за приглашение), для меня это большой результат. Поэтому всем, кто поставил стрелочку вверх – авторское спасибо!)

В этой статье я покажу, как можно скачивать с YouTube каналы и плейлисты. Если кто-то не читал первую часть, настоятельно рекомендую это сделать. По крайней мере, если по мере чтения у вас возникнут какие-то вопросы, скорее всего там есть на них ответы. Напомню, что у нас уже есть средство, которое решает "проблему с устаревшим и изношенным оборудованием Google Global Cache" (к сожалению, оно не у всех работает, учтите), а также мы разобрались с тем, как скачивать с YouTube видео и аудио в любом качестве. Итак, начнём!

UPDATE: По решению Роскомнадзора в марте 2025 г. первая часть статьи была заблокирована на территории России. pdf-версию статьи вы можете скачать здесь

Читать далее

Алгоритм перевода видео/аудио с любого языка на любой язык в 10 шагов

Level of difficultyEasy
Reading time4 min
Views4.2K

Допустим у вас есть задача: перевести свой ютуб канал с русского на английский, перевести свои корпоративные обучалки на другие языки... (напишите, пожалуйста, ещё идеи в комментариях, кому может быть полезен данный алгоритм)

Для этого вам потребуется какой-то сервис, который для вас переозвучит видео. Проведя исследование, я пришёл к выводу, что сейчас самый лучший по качеству сервис предоставляет (раск) rask.ai у них своя нейронка, и стоит их услуга примерно 100$ за 1 час переводов на 1 язык.

В этой статья я расскажу вам об алгоритме перевода видео без специализированных сервисов на любые языки, гораздо дешевле чем это делает раск, но чуть хуже.

Читать далее

Обвиваем YouTube змеем, или как смотреть и скачивать видео с YouTube без VPN на чистом Python-е. Часть 1

Level of difficultyEasy
Reading time13 min
Views171K

Современный мир пресыщен различной информацией, и в наше непростое время её важно уметь не только находить и сохранять. Многие наверняка заметили, что в на YouTube, кроме мусора, котиков и прочих бесполезных вещей (которые мы иногда не прочь посмотреть) есть масса полезного материала по самым различным темам. И иногда этот материал неплохо было бы сохранить себе на будущее, чтобы не зависеть от переменчивых настроений в мире.

В этой статье я хочу рассказать, как можно скачивать видео, аудио (1 часть статьи), плейлисты и целые каналы с YouTube (2 часть статьи) без использования VPN и на чистом Python-е. Сразу оговорка: VPN нам не понадобится, но мы сделаем собственное средство, которое будет решать "проблему с устаревшим и изношенным оборудованием Google Global Cache" (вы поняли, о чём я). Я думаю это средство будет особенно актуально сегодня, когда у многих россиян YouTube почти или совсем не работает.

Читать далее

Выбираем подарок юному электронщику

Level of difficultyEasy
Reading time9 min
Views17K

Новый год - хороший повод положить под ёлочку любознательному ребенку полезный подарок, например, который может заинтересовать и увлечь его электроникой.

Читать далее

Возможности LLM и RAG на примере реализации бота для поддержки клиентов

Reading time9 min
Views6.7K

Одной из ключевых точек контакта компании с клиентами является техподдержка, которая позволяет оперативно решать вопросы и отрабатывать обратную связь. Но клиенты, которые хотят консультацию и информацию по конкретному вопросу, часто создают нагрузку, которую небольшие отделы поддержки обработать не могут. В итоге бизнесу нужно либо расширять штат, либо автоматизировать часть процессов. В этом помогают чат-боты и нейросети.

Меня зовут Александр Волынский. Я технический менеджер продукта в подразделении Applied ML. В этой статье я хочу рассказать об LLM и RAG, вариантах их использования на примере нашего бота для поддержки клиентов, а также о сценариях применения полученной реализации.

Читать далее

Как запускать пет проекты, зарабатывать на них и отправлять на кладбище неуспешные

Level of difficultyEasy
Reading time12 min
Views18K

Всем привет, я думаю у многих на слуху, что такое пет проект. Но давайте поговорим о насущном. А можно ли на них зарабатывать или это только россказни со стороны? Сегодня я хочу поделиться своим опытом на этот счет.

Я - Юра, разработчик и фаундер нескольких продуктов. В этой статье я расскажу о своем подходе к поиску идей, их реализации (без глубиных технических деталей), маркетинге, тайм менеджменте и в целом моментах, которые важны на мой взгляд. Будет мало теории и больше практики из моего опыта.

Также я считаю, что в эпоху AI разработка пет проектов занимает значительно меньше времени, чем это было до этого, поэтому сейчас - точно неплохое время начать что-то делать.

Читать далее

Айсберг софта для чтения и слушания на японском с первых дней обучения

Level of difficultyEasy
Reading time16 min
Views7.1K

По каким-то причинам (sic!), японский язык хочет выучить ужасающее количество программистов. Реально, мой любимый японский подкастер Тэппей говорит, что у него девять из десяти учеников что‑нибудь кодят. Поэтому у нас нет недостатка в отличном софте. Буду рассказывать про кучу инструментов, позволяющих погрузиться в закорючки и взаимодействовать с нативным контентом с первых дней. Японофилы узнают что‑нибудь, о чем они еще не слышали, а если вы учите другой язык — возможно захотите сделать что-то похожее для него.

Читать далее

Как российские разработчики заставили GPT предсказывать биржевые котировки

Level of difficultyHard
Reading time9 min
Views14K

18 мая 2024 на конференции «Тюльпаномания» Тихон Павлов, количественный аналитик «Финансовой компании Викинг» раскрыл секрет использования GPT-4 для прогнозирования биржевых котировок. Тема разделила аудиторию на скептиков и энтузиастов, породив жаркие дебаты о будущем трейдинга. Никто не остался равнодушным.

В статье расскажем про эксперимент, как нам удалось заставить языковую модель принимать числовые данные и предсказывать биржевые котировки.

Мы в Викинге занимаемся разработкой ПО для алгоритмической торговли на российских и зарубежных биржах. Более 20 лет помогаем трейдерам, брокерам и инвестиционным компаниям зарабатывать на финансовых рынках при помощи арбитража.

Прежде чем начнем погружаться в алхимию XXI века (где вместо превращения свинца в золото, мы превращаем массивы данных в профит), мы хотим пригласить вас на следующую конференцию ФК Викинг «Профессиональные инвестиции 2024: Визионерство», которая пройдет 14 декабря 2024 в Москве. На ней Тихон и другие спикеры продолжат удивлять вас актуальными докладами. Регистрация на мероприятие по ссылке fkviking.com/profinvest24.  

Давайте вернемся к теме ИИ.

Читать далее

Хронология блокировок VPN в России 2019-2024. Куда мы пришли за 5 лет и что можно с этим сделать

Reading time7 min
Views91K

В этой статье мы постарались собрать все знаковые события связанные с блокировками VPN в России с 2019 года по сегодняшний день и расскажем о ситуации прямо сейчас, а также постараемся дать рекомендации по выбору характеристик VPN в 2024–2025 году.

*Сразу хотим отметить, что здесь не будет списка заблокированных в России VPN‑сервисов, так как очень сложно отслеживать такие данные с поправкой на разные регионы, а учитывая что ситуация с блокировками меняется каждый день, эти данные могут быть совершенно неактуальны даже на момент публикации статьи.

Читать далее

Быстрее пули: как найти счастье с PostgreSQL

Level of difficultyEasy
Reading time24 min
Views16K

В этой статье мы расскажем о том, как эффективно реализовать полнотекстовый поиск с помощью PostgreSQL. Узнайте, как улучшить скорость и точность поиска по текстовым данным, используя такие инструменты, как tsvector, tsquery и индексы GIN, и как эти возможности могут значительно повысить производительность вашего приложения.

Читать далее

Делаем параллельный корпус из книг с помощью sentence embeddings

Reading time8 min
Views10K

Parallel trucks (image by Unsplash


При поиске параллельных корпусов для своих нужд, — это может быть обучение модели машинного перевода или изучение иностранного языка, можно столкнуться с тем, что их не так уж и много, особенно, если речь идет не об английском, а каком-то редком языке. В этой статье мы попробуем создать свой корпус для популярной языковой пары русский-немецкий на основе романа Ремарка "Три товарища". Любителям параллельного чтения книг и разработчикам систем машинного перевода посвящается.


Задача


Такая задача называется выравниванием текстов и может быть до какой-то степени решена следующими способами:


  • Использовать эвристики. Можно считать количество предложений в текстах, количество слов в них и на основе этого производить сопоставление. Такой способ не дает хорошего качества, но может тоже быть полезным.
  • Использовать sentence embeddings. Наверняка вы слышали про модели типа word2vec или sent2vec или видели такой пример их использования — "король" + "женщина""мужчина" = "королева". Если коротко, то суть в том, чтобы перевести слова (предложения, тексты) в векторное пространство с сохранением семантического расстояния между ними. Такой подход открывает перед нами замечательные возможности по оценке близости текстов и их кусочков по смыслу.
Читать дальше →

Пацанский английский. Ленивый способ наконец выучить английский язык: без курсов, без зубрежки, бесплатно

Level of difficultyEasy
Reading time9 min
Views202K

Привет, Хабр! Я не являюсь преподавателем английского языка, но, как и многие присутствующие, долгие годы хотел постигнуть его дебри. В школе я от всего сердца завидовал ребятам, которым он даётся налегке, без видимых трудностей. Я же зубрил, пытался понять, получал двойки… и люто ненавидел английский язык как школьный предмет. Мечтал владеть, но совсем не хотел учить. После школы и университета приступал к его изучению несколько раз, однако каждый мой всплеск быстро угасал.

Наконец случилось чудо. В одну из очередных попыток я нащупал способ, который позволил продолжать развиваться, делать успехи, осознавать их и разжигать мой огонь всё сильнее и сильнее. Сегодня мне сложно представить день, проведенный без английского языка. И мне не хочется говорить без “изучения”, поскольку не сказал бы, что я именно учу. Скорее — постепенно “прошиваюсь” английским, как это обычно происходит с новорожденным детьми, которые постепенно начинают говорить, слушая и наблюдая за своими родителями. В настоящее время мой словарный запас не такой большой: 9 — 12 тысяч слов (зависит от теста). Я свободно смотрю видео на Ютубе разнообразной тематики (видеоуроки, спорт, фитнес, музыка, путешествия, кулинария, обзоры и т.д.), читаю документацию, компьютерную и популярную литературу, публицистику.

Читать далее

Шесть способов позаботиться о здоровье мозга, когда вам ещё нет 40

Level of difficultyEasy
Reading time4 min
Views5.8K

Деменция не является неизбежным следствием старения. Считается, что около 40 % случаев деменции можно предотвратить (или хотя бы отсрочить), изменив некоторые привычки образа жизни.

В настоящее время известно 12 модифицируемых факторов риска, связанных с повышенным риском развития деменции. Если сосредоточиться на этих факторах и предпринимать активные шаги на ранних этапах жизни, можно значительно улучшить здоровье мозга и общее самочувствие, а также снизить риск развития деменции на поздних этапах жизни.

Вот шесть наиболее важных изменений в образе жизни, которые вы можете внести, пока молоды, чтобы позаботиться о здоровье мозга.

Читать далее

OSINT: инструментарий по анализу профилей VK

Reading time2 min
Views136K

Подавляющее большинство OSINT-тусовки интересует анализ физ. лиц, что-ж, да будет так, подготовил вам подборку различных ботов и сервисов(ГБ и др. в список не включены, о них и ленивый знает, да и не OSINT это вовсе).

В РУ-сегменте основоположником анализа по соц. сетям является VK, телега хоть и стала отдаляться от понятия мессенджера трансформируясь в соц. сеть и набирать всё бОльшую популярность, но пока и рядом не стояла по объёму потенциально важной информации о цели.

Стоит отметить, что ВКонтакте уже начал умирать, и по моим предположениям, уже через два-три года былой актуальности от анализа ждать не стоит, народ заметно реже стал им пользоваться. Всё же, VK остаётся ключевым инструментом при анализе биографии человека, его интересов, окружения, происхождения и др.

1. 220vk Старый, добрый и весьма потрёпанный сервис, позволяющий определить скрытых друзей, узнать на кого подписалась/отписалась цель и её интересы исходя из подписок на сообщества и людей (с временным таймлайном), а также какие были изменения в профиле и др.

2. VKHistoryRobot Бот в тг, даст вам представление о том, как профиль выглядел в прошлом(очень полезен в случае, если профиль закрытый) предоставляет информацию в виде краткого дампа: Ф.И.; URL; фотография.

3. FindClone, search4faces сервисы обратного поиска изображения  по VK, позволяют произвести поиск профиля по загруженной фотографии, search4faces из этих двух - бесплатен.

4. Social Graph Bot бот в телеге, позволяющий выстроить графы взаимосвязей среди списка друзей , с этим инструментом вы поймёте: насколько разноплановое окружение, кто из списка друзей является родственником и т.д; легитимен ли аккаунт и имеет ли он связь с какой либо группой лиц. (применений масса, вот вам гайд с хабра

Ещё больше интересного и познавательного контента у меня в Telegram-канале — @secur_researcher

Читать далее

Три кита продуктивности: воздух, температура и освещение. Но как их улучшить?

Level of difficultyEasy
Reading time13 min
Views9.8K

«Хорошо есть, крепко спать и достаточно пить» — кажется, это самые распространенные «народные» советы для поддержания тела в тонусе, а ума в ясности. Делай так и все будет «окей»!

Но если разобраться, питание, сон и гидратация — это все про внутреннее, про биохимию организма. А что насчёт окружающей среды? Как воздух, которым мы дышим, свет, которым мы освещаемся, и температурный режим, в котором мы находимся, влияют на продуктивность? Они имеют значение?

Обыватель скажет: «Ну конечно, имеют! Если не проветривать комнату, будет душно. Если не включать свет, будет плохо видно и сядет зрение. Ну а беспорядок на рабочем столе — отражение беспорядка в голове!».

На самом деле, все действительно так. Но для многих степень влияния среды на продуктивность все еще не очевидна в полной мере.

Простой пример: превышении нормы CO2 в помещении всего на 20% снижает когнитивные способности на целых 60%. А исходя из общемировой статистики, комната, в которой сейчас находится читатель, превышает норму CO2 минимум в 2 раза!

Читать далее

Как написать свой клиент для YouTube, не привлекая внимания санитаров

Level of difficultyEasy
Reading time3 min
Views24K

Привет, Хабр! Когда‑то давно я наткнулся на ролик, где парень писал консольный клиент для YouTube. Идея была просто потрясающей!

Написать свой минималистичный и быстрый клиент, который не будет надоедать
лентами рекомендаций, рекламой, комментариями и т. д. Но вот беда, автор, не найдя возможности использовать YouTube API, решил спарсить одну из фронтенд обёрток над YouTube.

Стоит ли говорить о том, что такое решение сильно теряет в производительности и абсолютно нежизнеспособно на какой‑либо длительный период времени?

Читать далее

Как зарегистрировать аккаунт разработчика в Google Play в 2024 году: пошаговая инструкция

Level of difficultyEasy
Reading time4 min
Views24K

Мы часто помогаем клиентам не только с модерацией приложений, но и с регистрацией аккаунта разработчика в Google Play. Казалось бы — что такого? Вводишь данные и готово. Но лицензия платная, а на пользователях РФ санкции. Как в таких реалиях создать аккаунт, чтобы опубликовать мобильное приложение — рассказываем в статье.

Читать далее

Как изменилось изучение иностранного языка за 15 лет?

Reading time7 min
Views13K

Личный опыт.

Мир вокруг стремительно меняется, и многие изменения связаны с технологиями. Мы по‑прежнему используем язык для коммуникации с другими людьми, для выражения себя и для поиска информации, но процесс изучения иностранного языка изменился. Я проанализировала свой личный опыт изучения языков — как ученик и как преподаватель.

В 2006 году я поступила на романо‑германское отделение филологического факультета МГУ, чтобы учиться по специальности французский язык. У нас была группа «продолжающих», мы все сдавали вступительный экзамен по французскому. И все равно нам предстояло учить и совершенствовать свой язык следующие 5 лет (о да, я еще застала эпоху специалитета и выпускных/вступительных экзаменов).

Что нам было доступно в качестве инструментов и материалов в универе? У нас не было одного какого‑то учебника, мы занимались по самым разным — чаще всего советским, изданным еще в прошлом веке. Грамматический практикум Поповой‑Казаковой был нашей настольной книгой. Были толщенные бумажные словари — фраза «два километра с Гаком» имела для нас особый смысл. Было множество листочков и записанных конспектов. Листочки с правилами, с текстами, с заданиями. Очень много листочков, которые еще иногда надо было сдавать на проверку. И был лингафонный кабинет (кто не в курсе, это зал с наушниками и мини‑плеерами, куда звук отправляется из студии и записывается по старинке на кассеты), куда мы ходили на уроки фонетики и самостоятельно — записывать на слух длинные тексты и тренировать свою речь.

Читать далее

Как делать дробление бизнеса, чтобы использовать IT-льготы Минцифры

Reading time8 min
Views3K

В марте 2022 года ФНС опубликовала письмо в котором разрешила компаниям выделять IT-направление в отдельное юрлицо без рисков по обвинению в дроблении. В статье рассказываем, как работает этот механизм, в чем выгода для бизнеса и реально ли ФНС «разрешила» дробиться?

Читать далее

Information

Rating
3,609-th
Location
Екатеринбург, Свердловская обл., Россия
Registered
Activity