Скоро будет возможен такой лайфхак — возить с собой пяток телефонов с детскими тарифами. Чтоб в случае неотвратимой аварии другие автономные машины предпочитали самоубиваться (вместе с заплатившими за это авто пассажирами) о что-то другое, спасая (как думает ИИ) много человеческих жизней. Дивный новый мир!
В идеальном мире все ошибки должны отлавливаться на этапе тестирования, но у нас однажды баг утёк в продакшн и некоторые сообщения в топике стали рушить десериализатор. В «обычной» системе, когда проекты обмениваются информацией через базу данных, можно пойти к DBA, и те, грязно ругаясь, в виде абсолютного исключения, могут стереть дефектные данные прямо в PROD базе. Весьма опасный сценарий, но плохой план починки лучше чем ничего.
В кафке же, «что написано пером, то не вырубишь топором», поэтому пришлось срочно патчить консумеры, причём другой команде разработчиков, не виновных в этом косяке. На 2 повреждённых записи приходилось 8 нормальных, поэтому просто «перемотать» руками оффсеты в consumer group и перепрыгнуть весь плохой кусок означало потерю нужных даных.
Это проблема не только кафки, а всех append-only event log, но интересно кто как это решает?
С одной стороны, Avro активно пропагандируется изобретателями Кафки как компактный, а главное документирующий формат.
С другой — по отзывам из разных фирм многие всё же используют JSON, потому как так «проще и гибче»
При этом закрадывается подозрение, что JSON решает проблемы на стороне продюсера (нет схемы — нет проблем), но при этом перекладывает ответсвенность за правильную интерпретацию на консумера. Получатель должен знать особенности структуры данных отправителя, а это противоречит идее независимых команд разработчиков, обменивающихся данными через небольшое количество хорошо определённых интерфейсов.
В первом докладе Avito часто упоминается Avro, вы выбрали его?
Вопрос по второму докладу, о Booking.com: Если вы скрываете настоящее имя топиков за абстракцией в самописной библиотеке, то как конечные пользователи могут определить, что нужные им данные уже есть в Кафке?
Например: Команда А получила от бизнеса заказ на новую фичу и ей нужны исходные данные из другой области. Возможно в фирме уже есть какая-то другая команда Б, в другом проекте, а может даже федерации, которая уже публикует нужные записи. Как команды находят друг друга? Смотрят в Кафку и пытаются по имени топиков определить что там внутри? Пишут email во внутреннюю рассылку? Идут на SchemaRegistry сервер (при условии что сериализация в Avro) и ищут там? Одиним словом как вы поддерживатете знание о содержимом топиков, если их 3k+ штук?
Но с такой информацией к директору идти нельзя, ведь от нас хотели получить вероятность возврата кредита каждым заемщиком. Что делать? Ответ простой — нам нужно как-то преобразовать функцию f(w,x)=..., значения которой лежат в диапазоне (-Inf; +Inf) на функцию, значения которой будут лежать в диапазоне [0; 1]. И такая функция существует, ее называют функцией логистического отклика или обратного-логит преобразования.
Я это интерпретировал как «нам нужна функция, отображающая всю числовую прямую на отрезок [0;1]». Таких функций можно придумать много и разных, например 0,5+1/2*sin(x). Даже если дополнительно потребовать непрерывности, монотонности и как следствие существования обратной функции, то кандидатов тоже можно измыслить предостаточно, например 0,5+arctg(x)/Pi.
Вопрос был почему из всего многообразия вариантов было решено использовать именно логит.
Upd: выше уже назвали аргументы в пользу logloss. Спасибо!
Переместить интервал (-Pi/2; +Pi/2) в (0;1) можно простым умножением и прибавлением константы, это не проблема. Вопрос без подвоха, действительно интересно почему выбрана именно функция с экспонентой, а не какая-либо другая.
Вспоминается история четырёхлетней давности, когда IBM по заказу безопасников из TSA разработала «Randomizer App» для iPad, единственной функцией которого является случайным образом показывать стрелку влево или вправо. За 336413 долларов, плюс ещё больше миллиона на необозначенные расходы.
В конце шага 02 для отображения всей числовой прямой на отрезок [0; 1] предлагается использовать функцию логистического отклика. Почему именно её? Например арктангенс тоже непрерывно и монотонно отображает все числа на отрезок. Чем обратное-логит преобразование лучше?
Немецкая бюрократия обычно нервирует, но то что благодаря ей все коммерческие сайты в Германнии обязаны размещать Impressum с реквизитами, очень облегчает жизнь конечным пользователям.
Кроме андроидов можно купить смартфон с другой ОС, которая имеет долгую историю многолетней поддержки старых моделей. Одни покупатели готовы «переплачивать» за поддержку, другие всё равно меняют телефоны часто, а значит предпочтут модель на андроиде с лучшим соотношением цена/хард. Или пропатчат сами, если хватит знаний.
В зоопарке IoT ситуация намного печальней — даже если какой-то производитель будет вкладываться в дорогую многолетнюю поддержку старых устройств и регулярно выкатывать патчи (и тщательно тестировать их на всём разнообразии производившихся за последние 10 лет девайсов), он проиграет по цене менее ответственным конкурентам, которые тяп-ляп и выпускают в продакшн новейший мега-хит первой половины зимы 2020. Одним словом "рынок лимонов" со всеми его недостатками. Покупатель, глядя в магазине на одинаковые списки фич на коробке, естественно выберает более дешёвый девайс.
Думаю проблему можно разрешить лишь законодательно обязав производителей указывать срок поддержки устройства прямо на коробке, чтоб покупатель сам мог осознанно выбрать что ему лучше. Если устройство раньше указанного срока прекращает оказывать все заявленные в рекламе услуги, то это должно быть основанием для возврата с полной компенсацией цены. А там уж рынок всё расставит на места — одни выберут дешёвое устройство с короткой поддержкой, другие «переплатят» за то, что им и через 10 лет будут патчить полюбившийся «умный чайник».
PS: смартфоны обошлись без регулирования извне, используя репутацию как залог долгой техподдержки. Именно репутацию пытается создать директор Sonos Патрик Спенс своим заявлением, но не уверен, что это сработает на сильно фрагментированном рынке IoT. Лучше уж закон.
Жду примеров реальных проектов, где «программистам нужна математика»
Не то чтоб сильно «нужна», но когда в последнем Advent of Code дошёл до 22-й задачи, пришлось отложить клавиатуру в сторону и разобраться с теорией конечных полей. Ничуть не жалею о потраченном времени.
А если серьёзно, то например у нас на складе софт используется для управления потоками сотен тысяч единиц товаров ежедневно, и знание статистики очень помогает. Символы Ландау тоже пришли из математики, а без них в оценке производительности серьёзных систем никак.
Думаю обсуждение вопроса кидается в крайности из-за того, что Гитхаб это очень многогранная система, и каждый вкладывает в это понятие собственное толкование.
Навскидку, Гитхаб это:
Для многих первый шаг к контролю версий. Даже на Хабре, особенно в статьях «для менеджеров» бывает смешивают понятия «Git», «GitHub» и «VCS».
Площадка для хостинга open-source проектов.
Коммерческий сервис для хостинга закрытых репозиториев.
Активное сообщество программистов, которые находят баги, требуют фич, обсуждают, бранчат, фиксят, мерджат и релизят.
Источник для загрузки зависимостей в разннообразных пакет-менеджерах. Каждый кто хоть раз заглядывал в node_modules знает, что зависимостей, явных и неявных, от проектов самого различного происхождения, будет со временем только больше.
Продукт частной компании, подчиняющейся американским законам и капризам заокеанского президента, которая оставляет за собой право удалять данные и банить аккаунты.
Обязательство следовать Content- и Conduct-Restrictions, которые меняются вслед за социальными течениями американского общества. Иногда трудно предсказуемым образом.
… добавить своих пунктов по желанию.
Скопировать весь спектр Гитхаба это огромная задача, тут 2 миллиарда это просто смешная сумма, да и не нужно это делать. Искусственно пытаться дробить сообщество из 4-го пункта на «наших» и «других» было бы вредно и даже преступно. А вот иметь «План Б» на случай если по каким-то внешним причинам для России сломают пункт 5, выглядит вполне здравой и дальновидной идеей.
В общем будем ждать технических подробностей, что именно понимают в министерстве под «свой гитхаб».
Однако ни немцев, ни китайцев от гитхаба не отключали.
А до прошлого года никому не могло прийти в в голову, что платящих пользователей Adobe Creative Cloud целой страны могут отключить из-за одного указа заморского президента. Политики только открывают Интернет в качестве инструмента борьбы, так что нас ещё ждут чудные открытия. Особенно по мере того, что всё чаще мы импортируем из-за границы не сам товар (будь то электронная книжка, или «умный» трактор), а ограниченную лицензию на право использования, с возможностью одностороннего отказа от оказания услуг без объяснения причин.
каким образом гитхаб стал «критичным для государственной инфраструктуры»
«Software eats the world», так что потихоньку становится. Особенно для той стороны государства, которая повёрнута к гражданам. Исходники разрабатываемых на народные деньги софта и научных исследований, статистические данные в открытом доступе, API для взаимодействия с государственными структурами и документация к нему… Наконец программа министерства образования с возможностью сделать пул-реквест, или хотя бы с открытой историей правок.
В случае конфликта между политиками и санкций, военным скорей всего ничего не будет, а вот гражданским системам, где в качестве источника пакетов повсюду будет прописан гитхаб, могут изрядно попортить крови.
Но неужели каждой стране нужно иметь собственный полный набор всех возможных сервисов?
Всех не обязательно, а вот критичных для государсвенной инфраструктуры очень желательно. Иначе государство не является реально независимым.
Из Terms of Service GitHub-a:
We do not pre-screen User-Generated Content, but we have the right (though not the obligation) to refuse or remove any User-Generated Content that, in our sole discretion, violates any GitHub terms or policies.
We have the right to remove content or close Accounts if we need to.
Сам элемент в серединке бутерброда между холодным и горячим радиатором.
Родной 12-вольтовый мотор на вентиляторе заменил на вибромотор из пульта от X-Box, ему хватает пары вольт.
В кафке же, «что написано пером, то не вырубишь топором», поэтому пришлось срочно патчить консумеры, причём другой команде разработчиков, не виновных в этом косяке. На 2 повреждённых записи приходилось 8 нормальных, поэтому просто «перемотать» руками оффсеты в consumer group и перепрыгнуть весь плохой кусок означало потерю нужных даных.
Это проблема не только кафки, а всех append-only event log, но интересно кто как это решает?
В первом докладе Avito часто упоминается Avro, вы выбрали его?
Например: Команда А получила от бизнеса заказ на новую фичу и ей нужны исходные данные из другой области. Возможно в фирме уже есть какая-то другая команда Б, в другом проекте, а может даже федерации, которая уже публикует нужные записи. Как команды находят друг друга? Смотрят в Кафку и пытаются по имени топиков определить что там внутри? Пишут email во внутреннюю рассылку? Идут на SchemaRegistry сервер (при условии что сериализация в Avro) и ищут там? Одиним словом как вы поддерживатете знание о содержимом топиков, если их 3k+ штук?
Я это интерпретировал как «нам нужна функция, отображающая всю числовую прямую на отрезок [0;1]». Таких функций можно придумать много и разных, например 0,5+1/2*sin(x). Даже если дополнительно потребовать непрерывности, монотонности и как следствие существования обратной функции, то кандидатов тоже можно измыслить предостаточно, например 0,5+arctg(x)/Pi.
Вопрос был почему из всего многообразия вариантов было решено использовать именно логит.
Upd: выше уже назвали аргументы в пользу logloss. Спасибо!
Государственные заказы они такие, по всему миру.
В зоопарке IoT ситуация намного печальней — даже если какой-то производитель будет вкладываться в дорогую многолетнюю поддержку старых устройств и регулярно выкатывать патчи (и тщательно тестировать их на всём разнообразии производившихся за последние 10 лет девайсов), он проиграет по цене менее ответственным конкурентам, которые тяп-ляп и выпускают в продакшн новейший мега-хит первой половины зимы 2020. Одним словом "рынок лимонов" со всеми его недостатками. Покупатель, глядя в магазине на одинаковые списки фич на коробке, естественно выберает более дешёвый девайс.
Думаю проблему можно разрешить лишь законодательно обязав производителей указывать срок поддержки устройства прямо на коробке, чтоб покупатель сам мог осознанно выбрать что ему лучше. Если устройство раньше указанного срока прекращает оказывать все заявленные в рекламе услуги, то это должно быть основанием для возврата с полной компенсацией цены. А там уж рынок всё расставит на места — одни выберут дешёвое устройство с короткой поддержкой, другие «переплатят» за то, что им и через 10 лет будут патчить полюбившийся «умный чайник».
PS: смартфоны обошлись без регулирования извне, используя репутацию как залог долгой техподдержки. Именно репутацию пытается создать директор Sonos Патрик Спенс своим заявлением, но не уверен, что это сработает на сильно фрагментированном рынке IoT. Лучше уж закон.
Не то чтоб сильно «нужна», но когда в последнем Advent of Code дошёл до 22-й задачи, пришлось отложить клавиатуру в сторону и разобраться с теорией конечных полей. Ничуть не жалею о потраченном времени.
А если серьёзно, то например у нас на складе софт используется для управления потоками сотен тысяч единиц товаров ежедневно, и знание статистики очень помогает. Символы Ландау тоже пришли из математики, а без них в оценке производительности серьёзных систем никак.
Навскидку, Гитхаб это:
Скопировать весь спектр Гитхаба это огромная задача, тут 2 миллиарда это просто смешная сумма, да и не нужно это делать. Искусственно пытаться дробить сообщество из 4-го пункта на «наших» и «других» было бы вредно и даже преступно. А вот иметь «План Б» на случай если по каким-то внешним причинам для России сломают пункт 5, выглядит вполне здравой и дальновидной идеей.
В общем будем ждать технических подробностей, что именно понимают в министерстве под «свой гитхаб».
А до прошлого года никому не могло прийти в в голову, что платящих пользователей Adobe Creative Cloud целой страны могут отключить из-за одного указа заморского президента. Политики только открывают Интернет в качестве инструмента борьбы, так что нас ещё ждут чудные открытия. Особенно по мере того, что всё чаще мы импортируем из-за границы не сам товар (будь то электронная книжка, или «умный» трактор), а ограниченную лицензию на право использования, с возможностью одностороннего отказа от оказания услуг без объяснения причин.
«Software eats the world», так что потихоньку становится. Особенно для той стороны государства, которая повёрнута к гражданам. Исходники разрабатываемых на народные деньги софта и научных исследований, статистические данные в открытом доступе, API для взаимодействия с государственными структурами и документация к нему… Наконец программа министерства образования с возможностью сделать пул-реквест, или хотя бы с открытой историей правок.
В случае конфликта между политиками и санкций, военным скорей всего ничего не будет, а вот гражданским системам, где в качестве источника пакетов повсюду будет прописан гитхаб, могут изрядно попортить крови.
Всех не обязательно, а вот критичных для государсвенной инфраструктуры очень желательно. Иначе государство не является реально независимым.
Из Terms of Service GitHub-a:
Можно даже за полцены — ведь тратиться нужно только на свой блэкджек.