All streams
Search
Write a publication
Pull to refresh
81
0
Alexander Komarov @izard

software optimization: CPU, GPU

Send message

В следующем комменте ниже Илья привел ссылку на видеоролик с секундами. Я тогда жил в Штатах и видел, когда Байден произнес эти слова по телевизору. Остальных (Валенски и Фаучи) в тот же день не видел, но потом нашел ролики.

От вакцины зависит. Например, вакцину от столбняка и от энцефалита я себе делал не для коллективного иммунитета.

"почему принимались конкретные решения. По маскам, режимам изоляции и т.п., то принимали их на основе конкретных математических моделей"

Помню скачал самую первую модель в день публикации 4 года с небольшим назад, британские ученые на гитхаб выложили. При запуске с одними и теми же данными разные результаты получались. Монте-Карло там не было, а датарейсы были. Потом аж из Microsoft прислали пулл реквест с фиксом.

"When people are vaccinated, they're not going to get infected" - Fauci, 2020

"You're not going to get Covid if you get these vaccinations" - Biden, 2020

"Vaccinated people do not carry the virus and don't get sick" - Walensky, 2020

llama.cpp поддерживает MPI прямо из коробки после коммита https://github.com/ggerganov/llama.cpp/pull/2099

Мейнтейнер написал автору - "> Thanks for your patch, but I wanted to fix it differently. Can you try > the patch below and make sure it fixes the bug for you?"

Не вижу особенного хамства.

Цель мейнтейнера - иметь качественный код в своей подсистеме, а не унижать авторов. Унижение авторов опционально, Линус это хорошо умел, кстати. Я тогда тоже обиделся, и рассказал на линуксконе через пару лет мейнтейнеру системы на уровень выше, и он мне сказал, что это все так и должно работать.

Если новый патч действительно лучше, то в чем проблема? Так обычно и бывает. Я как-то лет 15 назад решил проблему клиента, пропатчив ему ядро, и отправил патч мейнтейнеру подсистемы. Мейнтейнер переписал патч с нуля, гораздо лучше и правильней, чем я; потом продал его моему клиенту и конкурентам клиента, а потом засабмитил свой патч в ядро. И все молодцы.

Прикольно, что часть Apache harmony много лет после закрытия нашей питерской команды еще была в google android, пока они не переписали сами.

Увольнения VIP? А про увольнения ACT будет?

Отличная была поездка, когда SES еще были в Анахайме! "Заболтавшись с кем -то, пропустил правильный поворот на автостраду" Мы в это же время тоже ехали с другого пляжа назад в отель. И наш водитель Женя, заболтавшись с кем-то из пяти пассажиров в машине, подрезал полицейского. Который тут же включил люстру, и очень удивился, пересчитав пассажиров. Но даже не оштрафовал, а лишь подробно объяснил, как добраться до Хайята.

Для конторы, конечно, architecture feedback важнее. Отличная идея же - AE находят в поле идеи, какие фичи помогут их клиентам в будущем, это где-то консолидируется, и в новых продуктах появляются оптимизации, помогающие настоящим классам ворклоадов, а не спекцпу. Но для решения конкретной проблемы с производительностью надо просто подумать и поработать, а для architecture feedback надо очень много взаимодействовать с разными группами внутри Интела.

"пусть это был indirect revenue, никто в SSG близко не имел даже этого"

У Application Engineer'ов была такая же метрика. Мой личный счет за 12 лет - 90 миллионов revenue (в-основном Xeon'ы) в design win's когда удалось решить проблему с производительностью, из-за которой клиент точно бы выбрал процессор конкурента. К сожалению, в SSG/DRD основной метрикой для инженеров был architecture feedback, а не деньги.

Да, надо бы конечно объективно оценивать. Мы пока с сыном как Сири используем, и Викунья кажется повеселее. Но в ней раздражает особенность, которой не было в Лламе и Альпаке - если "попросить" короткий ответ, то ответ может быть прерван. А если длинный - то она начинает повторять ответ с вариациями.

Да, 13B Vicuna примерно как 30B Alpaca отвечает (если не лучше), и последний патч llama с mmap тоже хорошо все ускорил.

Про мальчика и 10х ускорения помню байку, наверное тот же BDM рассказывал. А вот про "«Ты как выглядишь? Ты в зеркало на себя смотрел? Хочешь ходить по клиентам с нами — иди купи себе приличный костюм. И ботинки купи вместо кроссовок. Галстук мы тебе простим. Так уж и быть» что-то не помню. Так 12 лет и пробегал к клиентам с BDM'ом в кроссовках и джинсах. Только в банки в 2007 приходилось "униформу" надевать, в которой я когда-то женился.

нет, в скрипте запускаю из wav, который просто ffmpeg записывает с стопом по silence_detection.

Контекст получается легко. Я пропатчил апльпаку, чтобы ### instruction/ ### Reponse тегами управлял мой скрипт в явном виде, поэтому получаются сквозные диалоги типа: - Who is the fastest animal on earth? - It is cheetah ...подробности о гепарде.. (или иногда falcon говорит) - is it faster than a car? - No, car is faster than cheetah. То есть прошлые реплики "помнит", если промпт просто постоянно наращивать.

ясно, спасибо! whisper с моделью medium достаточно быстр и точен, а с large добавляется всего пара секунд.

Спасибо, в выходные попробую. Хотя Coqui TTS уже достаточно хорошо.

Information

Rating
Does not participate
Location
München, Bayern, Германия
Registered
Activity

Specialization

Performance engineer
Lead
Performance Tuning