К сожалению я не могу рассказать о чем речь.
Но можно сказать, что таким образом можно классифицировать данные.
Если правильно проставить score для каждого регулярного выражения, то сумма все очков и классов регулярных выражений может определить в какую категорию попадает тот или иной кусок данных, причем с ОЧЕНЬ высоким качество близким к 99.99999% — это куда лучше чем человек может сделать в ручную. Кстати, проблема проставления скоров для всех этих рег. выражений та еще задачка, при задействовании достаточно мощных вычислительных ресурсов это занимает более 2-х суток чтобы добиться вот этого 99.99999%.
зы. Миллион это цифра с потолка, на самом деле их гораздо больше. Большая часть из них генерируется автоматически.
Например задача пропустить миллион Regexp против какого-то набора данных и собрать все хиты. Время прогона такого количества регулярных выражений против 5-10 килобайт данных занимает несколько секунд. Таких кусочков данных может быть по несколько миллионов, что в сумме дает несколько сотен гигабайт. Мелоч, даже пол терабайта нет. Но долго очень.
Данные бывают разные. Иногда обработка какого-то маленького кусочка может занимать минуты. И в случае даже одного гигабайта такого типа данных обработка на одном хосте не целесообразна. Из практики: на 100 достаточно мощных машинках подобного рода задача занимала около 1 часа.
Так что, если данные тривиальны для процессинга и 100терабайт для хадупа может быть мало. Все зависит от того, что и как вы делаете.
Не понимаю почему не будет работать с отрезанным пальцем. Если палец еще «тепленький» и его держать руками другого человека, все электромагнитные искажения будут работать. Или речь о том что палец полежит в холодильнике(на воздухе и так далее) недельку и испортиться на столько, что уже эпидермальная структура будет нарушена?
Представляю диалог: Дорогая, я вчера пока гладил одежду скачал фильм на утюг, перекинь пожалуйста на микроволновку, потом на холодильнике посмотрим за ужином.
Все как раз я правильно считаю :) От того и брал «переплаты» в кавычки. Везде есть свои нюансы и опции. То что вы написали, это все верно и абсолютно никак не расходиться с тем, что я сказал.
С физической точки зрения это тоже верно. Посмотрите на качество картинок сделанных полнокадровой и кропнутыми зеркалками при низком уровне освещенности и том же самом количестве мегапикселей. При ярком освещении разница практически полностью нивилируется.
Есть еще один «штатовский» нюанс. Берете вы телефон с контрактом или без — на том же самом операторе вы будете платить за мобильную связь столько же, так что на выходе как бы «переплаты» и нет. При-пэйд более менее человечный только у T-mobile, но в некоторых штатах уровень их сервиса и покрытия очень сильно хромает.
Написанное в этой статье это сильно усредненный доход, который наверняка включает и интернов и уборщиц и охранников. У специалистов со стажем от 8-10 лет зарплаты только начинаются от 140 тысяч в год в силиконовой долине. К этому накладываются еще акций штук 500-1000, а в случае их текущей стоимости у гугла это ого-го сколько. Но акции не становятся доступными все и сразу, а на протяжении 3-х лет по сколько-то штук в квартал.
Также еще еще простые бонусы которые колебляться от 10% в год до 100% и более в зависимости от позиции. 10% это обычно начинающие, 20-30% это синьер инженеры. Техлиды 40-50%. Principal Engineers около 80-100%.
Вот такая вот кухня.
Вообще смотря в эти статьи, складывается ощущение, что их писали на заказ работодатели. Семья размером в 4 человека в Северной Калифорнии на 105 тысяч еле выживет. Одна только оренда 2-бедрум квартиры сейчас под 3 тысячи в месяц.
А по теме, врядли потери являются на столько большими. Сколько раз стыкался с заменами. Да тяжелее, но не так чтобы караул и не так чтобы такие уже высокие затраты даже в так себе случаях замены.
Недавно проводил исследование на время реакции компаний на новые угрозы. В общем картина достаточно плачевна. К сожалению, не могу вдаваться в подробности, но результаты оказались весьма неожиданными. Некоторые аутсайдеры упомянутые тут оказались вполне на уровне, и явные казалось лидеры, немного хуже. В целом же статистика показала, что количество пропущеных угроз у самого лучшего решения подходит к 25%. У лидеров рынка этот показатель около 50%. Были и мало известные решения, которые показали просто «великолепный» результат ближе к 15%, но с ужасными показателями ложных срабатываний около. Такие вот дела. На антивирусы надейся… а сам… Наверное стоит сказать, что под новыми угрозами подразумевается только что обнаруженый зловред системами глубокого анализа с использованием сендбоксинга. Часто обнаруженные малвари недобавлялись в базы АВ компаний неделями.
Это скорее относится к категории зазубривания. Такие знания легко теряются если не подкреплены практикой и хорошим пониманием.
Для меня важны три вещи, чтобы помнить долго или «вечно»:
1. Получить информацию.
2. Понять ее не просто на уровне базового понимания и высоких абстракий, а на «аппаратном» уровне.
3. Опробовать на практике.
Каждый питонячий поток представлен отдельной структурой состояния
Ох уж этот питонячий поток :) Скорее всего стоит перевести как: Каждый поток в питоне представлен отдельной структорой состояния.
Но если кто-то возился с потоками в питоне и понимает все недостатки GIL, для тех «оригинальный перевод» может быть наиболее подходящим так как порой выразиться хочется еще более «элегантно».
Ближе, но всеравно логики не мало в целом. Если потребуется массивная выборка данных, по несколько тысяч записей, создание тысяч микро объектов займет время. Выборка ненужных данных также займет не мало времени. Как возможный частичный выход попробуйте генерировать код классов с объявленным __slots__, что снизит накладные расходы на инстанцирование.
Я имею ввиду кодо-генератор. На подобие Protobuf. Вы описываете необходимые структуры/схему базы данных, а «компилятор» генерирует код который работает с такой БД. Фактически получая статический код, который отсылает прямые запросы на сервер без лишних телодвижений построения сложных запросов ибо уже все построено. Само собой это накладывает ограничение на гибкость, но ничто не запрещает добавить необходимый набор «инструкций» описывающих необходимые операции.
Все ORM будут всегда тормозить. Надо построить нечто «компилируемое» в код Python в зависимости типа базы данных и прочее, что позволит без лишних операций и тысяч уровней абстракций производить необходимые действия. Фактический получится RAW SQL с человечным интерфейсом.
Мой комментарий не несет смысловой нагрузки «что хочу то и делаю». И я не делаю, что хочу, когда это может мешать другим или создавать трудности. Я переживаю за свою собственность и только.
Меня удивляет другое, не умение людей смотреть нейтрально на проблемы такого рода и входить в положение каждого из сторон. А если уж это не получается, пусть аргументируют свое мнение. Неважно отрицательное оно или благосклонное.
Но можно сказать, что таким образом можно классифицировать данные.
Если правильно проставить score для каждого регулярного выражения, то сумма все очков и классов регулярных выражений может определить в какую категорию попадает тот или иной кусок данных, причем с ОЧЕНЬ высоким качество близким к 99.99999% — это куда лучше чем человек может сделать в ручную. Кстати, проблема проставления скоров для всех этих рег. выражений та еще задачка, при задействовании достаточно мощных вычислительных ресурсов это занимает более 2-х суток чтобы добиться вот этого 99.99999%.
зы. Миллион это цифра с потолка, на самом деле их гораздо больше. Большая часть из них генерируется автоматически.
Так что, если данные тривиальны для процессинга и 100терабайт для хадупа может быть мало. Все зависит от того, что и как вы делаете.
Также еще еще простые бонусы которые колебляться от 10% в год до 100% и более в зависимости от позиции. 10% это обычно начинающие, 20-30% это синьер инженеры. Техлиды 40-50%. Principal Engineers около 80-100%.
Вот такая вот кухня.
Вообще смотря в эти статьи, складывается ощущение, что их писали на заказ работодатели. Семья размером в 4 человека в Северной Калифорнии на 105 тысяч еле выживет. Одна только оренда 2-бедрум квартиры сейчас под 3 тысячи в месяц.
А по теме, врядли потери являются на столько большими. Сколько раз стыкался с заменами. Да тяжелее, но не так чтобы караул и не так чтобы такие уже высокие затраты даже в так себе случаях замены.
Для меня важны три вещи, чтобы помнить долго или «вечно»:
1. Получить информацию.
2. Понять ее не просто на уровне базового понимания и высоких абстракий, а на «аппаратном» уровне.
3. Опробовать на практике.
Что собственно ведет к коментарию iLLuzor.
Ох уж этот питонячий поток :) Скорее всего стоит перевести как: Каждый поток в питоне представлен отдельной структорой состояния.
Но если кто-то возился с потоками в питоне и понимает все недостатки GIL, для тех «оригинальный перевод» может быть наиболее подходящим так как порой выразиться хочется еще более «элегантно».
Меня удивляет другое, не умение людей смотреть нейтрально на проблемы такого рода и входить в положение каждого из сторон. А если уж это не получается, пусть аргументируют свое мнение. Неважно отрицательное оно или благосклонное.