Как стать автором
Обновить
-5
Карма
0
Рейтинг

Решения для управления персоналом

  • Подписчики 2
  • Подписки 4
  • Публикации
  • Комментарии

Обходим файловый кэш Google Drive в Colab

Python **nix *Облачные вычисления *Big Data *Google Cloud Platform *

Про colab знают, наверное, все. Этот инструмент позволяет независимым исследователям использовать облачную инфраструктуру с GPU и TPU бесплатно или почти бесплатно.

Как всегда, проблемы возникают на больших данных. Если ваш датасэт лежит в google drive (он же Диск), то вы можете обращаться к нему напрямую из colab. Однако, если файл велик, например, 70+ GiB, то процесс обучения будет существенно медленнее, чем если бы этот же файл лежал в локальном хранилище, которое выделяется при создании инстанса.

Выход - скопировать файл с Диска в локальное хранилище (обучение станет быстрее в несколько раз!). Но дело в том, что colab и вся инфраструктура очень умная, файлы с Диска кэшируются каким то неуправляемым вами алгоритмом. И если у вашего инстанса, допустим, доступно ~120 GiB, то 70 GiB с Диска вы не скопируете, у вас закончится свободное место как раз из-за системы кэширования. То есть, команда cp не отработает корректно. И rsync то же. И tar. Кэширование работает на уровне драйвера. По сути файл копируется в локальное хранилище дважды. Шах и мат!

Так что вот вам небольшой костылёк:

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 5.2K
Комментарии 5

Понять кубик Рубика

Мозг Логические игры
✏️ Технотекст 2021

Легко отличить автора гениальной идеи от того, кто её понял и всего лишь пересказал, ведь истинный автор знает предысторию, может показать все предшествующие этапы понимания, чувствует границы применимости и особенности.

То же самое со сборкой этой головоломки: миллионы людей умеют делать это по формулам, но сколько из них понимают, что они делают? А ведь начать чувствовать кубик Рубика не так сложно!

Но сперва давайте договоримся, зачем нам такая головоломка нужна и чем полезна. Вы же уже слышали шутки про то, что кубик Эрно Рубика – штука многогранная? А видите параллели между кубиком Рубика, шахматами и, например, пианино или гитарой?

Читать далее
Всего голосов 32: ↑31 и ↓1 +30
Просмотры 19K
Комментарии 44

Что стоит почитать и посмотреть летом — рекомендации ученых из Университета ИТМО

Блог компании Университет ИТМО Алгоритмы *Разработка систем связи *Читальный зал Лайфхаки для гиков

Сегодня мы решили открыть новую рубрику в нашем блоге на Хабре — делиться «неклассическими» рекомендациями от представителей Университета ИТМО и спикеров нашего подкаста «ITMO Research_». В сегодняшнем выпуске: YouTube- и Telegram-каналы, книги и другой контент, который подойдет для изучения в относительно спокойной обстановке — в отпуске или во время отдыха.

Читать далее
Всего голосов 6: ↑5 и ↓1 +4
Просмотры 9.1K
Комментарии 0

Golang-дайджест № 6 (1 – 30 июня  2021)

Go *

Свежая подборка новостей и материалов

Интересное в этом выпуске

Выпущены версии Go 1.16.5 и 1.15.13, выпущен gopls v0.7.0, создание собственного Ngrok в 130 строках, GopherCon Europe 2021 Online

Приятного чтения!

Читать далее
Всего голосов 16: ↑15 и ↓1 +14
Просмотры 5.1K
Комментарии 0

Отношения науки и философии (как Стивен Хокинг преждевременно похоронил философию)

Блог компании RUVDS.com Читальный зал Научно-популярное Будущее здесь
Выступая на организованной компанией Google конференции Zeitgeist Conference в 2011 году, Стивен Хокинг высказался следующим образом об отношениях философии и науки применительно к вопросам познания Вселенной: «Большинство из нас не думают об этом всё время, но, время от времени, почти каждый задумывается — зачем мы здесь? Откуда мы появились? Исторически, это считалось вопросами философии. Но философия мертва. Философы не поспевают за современными достижениями науки, в особенности физики. Теперь учёные приняли эстафету открытий в нашем квесте познания».
«Fundamental questions about the nature of the universe could not be resolved without hard data such as that currently being derived from the Large Hadron Collider and space research.»
Стивен Хокинг
Несмотря на то, что Хокинг «похоронил» философию, едва ли найдётся хотя бы один философ, который возразит по поводу ценности и нужности научных данных — поэтому спорил великий физик тут не столько с философами, сколько со своим собственным представлением о философии. Это высказывание — хороший повод для серьёзного об отношениях науки и философии, точнее — об отношении философии с научным методом.
Аристотель — отец науки и философии — не видит, в чём проблема
Читать дальше →
Всего голосов 56: ↑48 и ↓8 +40
Просмотры 23K
Комментарии 433

Масштабируем продакт-менеджмент, часть 2: продукт

Блог компании Deutsche Telekom IT Solutions Управление разработкой *Управление продуктом *

В предыдущей статье были тезисно расписаны основные идеи правильного масштабирования продукт-менеджмента в компаниях энтерпрайз уровня. Настало время рассмотреть каждую из идей в отдельности. Сегодня мы поговорим про то, что является продуктом в сложном решении, состоящем из множества подсистем.

Для того, чтобы понять проблему определения продукта проще всего описать ее на примере. Ниже вы можете видеть набор систем, представляющий из себя некое решение по предоставлению абстрактной услуги.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 2K
Комментарии 2

Масштабируем продакт-менеджмент: как управлять продуктом, который разрабатывают 50 команд

Блог компании Deutsche Telekom IT Solutions Управление разработкой *Управление продуктом *
Всем привет!

Меня зовут Максим, и последние восемь лет я работаю в крупных компаниях на позициях бизнес-аналитика и владельца продукта. Сегодня я хотел бы поделиться с вами своими мыслями по поводу продуктовой разработки, организованной с применением большого количества дев-команд.

image

Интересующимся и желающим пообщаться на эту тему — добро пожаловать под кат.
Читать дальше →
Всего голосов 7: ↑5 и ↓2 +3
Просмотры 3.6K
Комментарии 6

Как мы замиксовали Agile для внедрения новой ERP-платформы

Блог компании Северсталь ERP-системы *Agile *

Привет, Хабр! Мы – Антон Кузнецов и Ксения Краснова, Agile coach и руководитель Программы проектов в компании «Северсталь». Расскажем, как мы применили гибкие подходы для внедрения новой ERP-системы S/4HANA.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Просмотры 3.3K
Комментарии 16

Как подготовиться к найму сотрудников с РАС в ИТ-компанию

Блог компании SAP Блог компании Хабр Карьера Управление персоналом *Карьера в IT-индустрии

В начале года мы выпустили совместный материал с компанией SAP о том, что инклюзивный найм окружен большим количеством мифов и домыслов, но на самом деле они все преодолимы и не представляют для бизнеса серьезной проблемы.

Сегодня мы публикуем текст SAP о трудоустройстве людей с расстройствами аутического спектра в ИТ. Скажем сразу, это статья не о РАС как таковых, а именно о найме людей с РАС. И речь идет не о благотворительных проектах! Коллеги из SAP рассказали о том, в каких технологических сферах сотрудники с РАС наиболее эффективны, поделились кейсами своих партнеров и дали несколько советов, как компаниям подготовиться перед приглашением на работу таких сотрудников. 

Читать далее
Всего голосов 30: ↑28 и ↓2 +26
Просмотры 2.6K
Комментарии 0

Сообщество как услуга. Бизнес-модель XXI века

Блог компании Alconost Управление проектами *Управление сообществом *Бизнес-модели Социальные сети и сообщества
Перевод

На дворе 2021 г., и начинает казаться, что каждый первый разработчик делает собственный SaaS-продукт. Появилась возможность очень быстро реализовывать свои идеи, стало популярным вести разработку публично — что само по себе здорово. Но на фоне этого развивается другая парадигма, которую не так легко заметить и понять. Что, если пользователи захотят платить не за постоянный доступ к ПО, а за постоянный «доступ» к другим людям? Тот, кто организует простой и удобный обмен такого рода, сможет хорошо заработать.

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 3.1K
Комментарии 3

Разработка REST-серверов на Go. Часть 2: применение маршрутизатора gorilla/mux

Блог компании RUVDS.com Программирование *Серверное администрирование *Go *
Перевод
Перед вами второй материал из серии статей, посвящённой разработке REST-серверов на Go. В первом материале этой серии мы создали простой сервер, пользуясь стандартными средствами Go, а после этого отрефакторили код формирования JSON-данных, вынеся его во вспомогательную функцию. Это позволило нам выйти на достаточно компактный код обработчиков маршрутов.


Там мы говорили об одной проблеме нашего сервера, которая заключается в том, что логика маршрутизации разбросана по нескольким местам нашей программы.



Это — проблема, с которой сталкиваются все, кто пишет HTTP-сервера, не используя зависимости. Если только сервер, принимая во внимание систему его маршрутов, не является до крайности минималистичной конструкцией (например — это некоторые специализированные серверы, имеющие лишь один-два маршрута), то оказывается, что размеры и сложность организации кода маршрутизатора — это нечто такое, на что очень быстро обращают внимание опытные программисты.
Читать дальше →
Всего голосов 39: ↑35 и ↓4 +31
Просмотры 8.2K
Комментарии 0

GraphQL на Rust

JavaScript *API *Rust *Микросервисы *
✏️ Технотекст 2021
Tutorial

В этой статье я покажу как создать GraphQL сервер, используя Rust и его экосистему; будут приведены примеры реализации наиболее часто встречающихся задач при разработке GraphQL API. В итоге API трёх микросервисов будут объединены в единую точку доступа с помощью Apollo Server и Apollo Federation. Это позволит клиентам запрашивать данные одновременно из нескольких источников без необходимости знать какие данные приходят из какого сервиса.

Читать далее
Всего голосов 27: ↑26 и ↓1 +25
Просмотры 7.1K
Комментарии 42

Всему свое время: геронтологи определили предельный возраст человека в 150 лет

Блог компании Selectel Читальный зал Научно-популярное Здоровье
Перевод

В современном мире известен всего один задокументированный случай, когда человек дожил до 122 лет. В 1997 году скончалась старейшая жительница Земли — француженка Жанна Кальман. Ученые до сих ставят эту историю под вопрос. Они считают подозрительным, что за последние два десятилетия рекорд никто на побил, хотя стабильно наблюдается рост продолжительности жизни. Возможно, и на этот вопрос скоро будет найден ответ. Пристальным изучением проблем долгожительства занимается группа геронтологов из России, Сингапура, США и биотех-стартапа Gero.

Ученые во главе с Петром Федичевым и Тимофеем Пырковым изучили не максимальную выносливость организма, что вроде бы логичнее, а оценили скорость его старения. С помощью показателей общего анализа крови они построили модель возрастных изменений организма и выделили главные факторы влияния на здоровье современных людей.
Читать дальше →
Всего голосов 75: ↑74 и ↓1 +73
Просмотры 20K
Комментарии 45

Орден куколки

Читальный зал Научная фантастика
Прошу считать пятничным постом! Это как бы научная фантастика, но

правда важный дисклеймер
1. Научная фантастика понятие очень широкое. Этот рассказ-эссе я смею предложить только тем, кто нормально относится к углу {Лем, Кларк, Воннегут, Пелевин, Лэнгфорд...}. Простите меня, если в вашем представлении научная фантастика это что-то совсем иное, и я зря вторгся в вашу ленту.

2. Позиция автора может не совпадать с убеждениями лирического героя.



1. Марсианские каналы


Я даже не могу вспомнить, о чем думал, когда ввязывался во все это. Как именно представлял себе?

Неужели действительно был так наивен, что в голове гуляло:
— Ваш платеж подтвержден, и вот вам ваша таблетка. Глотаете ее, и отныне…

Столетия, тысячелетия, миллионы лет — твои.

Пусть не таблетка, пусть инъекция, или неделя изматывающих процедур в стационаре, какая разница? Важно лишь, чтобы был миллион, оплатить это. Ну, десять. Да хоть сто! Зато уж если хватило — дело сделано.

Неужели я и правда представлял себе это так?
А если без поддавков?
Всего голосов 51: ↑46 и ↓5 +41
Просмотры 17K
Комментарии 38

Как получить давление в 100 000 атмосфер?

Блог компании RUVDS.com Научно-популярное DIY или Сделай сам Электроника для начинающих

Многим любителям доступен достаточно простой способ получения поистине потрясающих давлений. Зачем это нужно и как это можно использовать — в этой статье.

Электрогидравлический эффект с первых дней его открытия был и остается постоянным источником рождения множества прогрессивных технологических процессов, которые сейчас уже широко применяются во всем мире. Этим обусловливаются его непреходящее значение и все возрастающий интерес, проявляемый к нему в самых различных отраслях науки, техники и экономики.
Всего голосов 106: ↑103 и ↓3 +100
Просмотры 39K
Комментарии 52

Разработка веб-приложения для транскрибирования аудиозаписей с использованием Python, Streamlit и AssemblyAI

Блог компании RUVDS.com Веб-дизайн *Разработка веб-сайтов *Python *Программирование *
Перевод
Автор статьи, перевод которой мы публикуем сегодня, хочет рассказать о том, как, пользуясь Streamlit, создать веб-приложение, которое позволяет пользователям транскрибировать аудиозаписи, выгружая их на специальный сервер. В проекте будет использован API AssemblyAI, позволяющий преобразовывать звукозапись речи в текст. Интерфейс проекта, достаточно строгий, будет украшен анимациями.

Приложение, о котором тут пойдёт речь, можно испытать здесь.

image

Веб-приложение в действии
Читать дальше →
Всего голосов 32: ↑32 и ↓0 +32
Просмотры 6.9K
Комментарии 2

Возможности QR-кодов

Блог компании Маклауд Научно-популярное
image

Многое было сказано о форматах самих qr-кодов, но не менее важно то, что кодирует сам штрих-код. Как правило, qr-коды кодируют какой-то текст, однако этот текст может содержать различные команды для сканера, которые, например, сообщают ему, что закодированный текст — это ссылка и что ее необходимо открыть в браузере.


В qr-коды можно закодировать самый различный текст с указаниями для сканера, как этот текст интерпретировать и какую информацию показать пользователю. Например, в qr-код можно закодировать контактную информацию с командой добавить ее в контакты телефона. Однако, чтобы каждый сканер мог понять, какой тип информации и какие команды зашифрованы, нужны стандарты.


В этой статье будут рассмотрены некоторые из этих стандартов и описаны возможные типы данных, которые можно спрятать в qr-код.


Читать дальше →
Всего голосов 63: ↑56 и ↓7 +49
Просмотры 16K
Комментарии 25

Использование LoRa для интеграции кота в IoT

Блог компании RUVDS.com Геоинформационные сервисы *Интернет вещей DIY или Сделай сам Будущее здесь
✏️ Технотекст 2021

Увлекательные приключения кота Барсика в нидерландской деревне и его интеграция в интернет вещей с помощью LoRa радио и The Things Network.

Читать далее
Всего голосов 134: ↑134 и ↓0 +134
Просмотры 26K
Комментарии 103

Как работать с Postgres в Go: практики, особенности, нюансы

Блог компании Конференции Олега Бунина (Онтико) Блог компании Авито Высокая производительность *PostgreSQL *Go *


Неожиданное поведение приложения в отношении работы с базой приводит к войне между DBA и разработчиками: DBA кричат: «Ваше приложение роняет базу», разработчики — «Но ведь до этого всё работало!». Хуже всего, что DBA и разработчики не могут помочь друг другу: одни не знают про нюансы работы приложения и драйвера, другие не знают про особенности, связанные с инфраструктурой. Было бы неплохо такой ситуации избежать.


Надо понимать, часто недостаточно полистать go-database-sql.org. Лучше вооружиться чужим опытом. Еще лучше, если это будет опыт, полученный кровью и потерянными деньгами.

Всего голосов 76: ↑73 и ↓3 +70
Просмотры 71K
Комментарии 29

MikroTik Скрипт: Уведомление о успешном входе на устройство или простой парсер журнала MikroTik

Системное администрирование *Сетевые технологии *Сетевое оборудование
Из песочницы

Разбираем скриптом внутренний журнал событий MikroTik отбирая уведомления вход/выход пользователей на устройство. Отправляем события на почту или Telegram.

Написать свой скрипт меня сподвигло желание упростить монструозные скрипты, которые можно найти по этому запросу в интернете, выполняющие это несложное действие (например с Wiki MikroTik). Статья разбирает пример скрипта уведомления вход/выход пользователя, особенность журнала MikroTik и почему инженеры MikroTik живут в Лондоне.

На примере скрипта вы с легкостью можете перенастроить отправку сообщений на любое событие в журнале устройства MikroTik.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 21K
Комментарии 25

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Зарегистрирован
Активность