Как стать автором
Обновить
70
0
Alexander Komarov @izard

software optimization

Отправить сообщение

Мейнтейнер написал автору - "> Thanks for your patch, but I wanted to fix it differently. Can you try > the patch below and make sure it fixes the bug for you?"

Не вижу особенного хамства.

Цель мейнтейнера - иметь качественный код в своей подсистеме, а не унижать авторов. Унижение авторов опционально, Линус это хорошо умел, кстати. Я тогда тоже обиделся, и рассказал на линуксконе через пару лет мейнтейнеру системы на уровень выше, и он мне сказал, что это все так и должно работать.

Если новый патч действительно лучше, то в чем проблема? Так обычно и бывает. Я как-то лет 15 назад решил проблему клиента, пропатчив ему ядро, и отправил патч мейнтейнеру подсистемы. Мейнтейнер переписал патч с нуля, гораздо лучше и правильней, чем я; потом продал его моему клиенту и конкурентам клиента, а потом засабмитил свой патч в ядро. И все молодцы.

Прикольно, что часть Apache harmony много лет после закрытия нашей питерской команды еще была в google android, пока они не переписали сами.

Увольнения VIP? А про увольнения ACT будет?

Отличная была поездка, когда SES еще были в Анахайме! "Заболтавшись с кем -то, пропустил правильный поворот на автостраду" Мы в это же время тоже ехали с другого пляжа назад в отель. И наш водитель Женя, заболтавшись с кем-то из пяти пассажиров в машине, подрезал полицейского. Который тут же включил люстру, и очень удивился, пересчитав пассажиров. Но даже не оштрафовал, а лишь подробно объяснил, как добраться до Хайята.

Для конторы, конечно, architecture feedback важнее. Отличная идея же - AE находят в поле идеи, какие фичи помогут их клиентам в будущем, это где-то консолидируется, и в новых продуктах появляются оптимизации, помогающие настоящим классам ворклоадов, а не спекцпу. Но для решения конкретной проблемы с производительностью надо просто подумать и поработать, а для architecture feedback надо очень много взаимодействовать с разными группами внутри Интела.

"пусть это был indirect revenue, никто в SSG близко не имел даже этого"

У Application Engineer'ов была такая же метрика. Мой личный счет за 12 лет - 90 миллионов revenue (в-основном Xeon'ы) в design win's когда удалось решить проблему с производительностью, из-за которой клиент точно бы выбрал процессор конкурента. К сожалению, в SSG/DRD основной метрикой для инженеров был architecture feedback, а не деньги.

Да, надо бы конечно объективно оценивать. Мы пока с сыном как Сири используем, и Викунья кажется повеселее. Но в ней раздражает особенность, которой не было в Лламе и Альпаке - если "попросить" короткий ответ, то ответ может быть прерван. А если длинный - то она начинает повторять ответ с вариациями.

Да, 13B Vicuna примерно как 30B Alpaca отвечает (если не лучше), и последний патч llama с mmap тоже хорошо все ускорил.

Про мальчика и 10х ускорения помню байку, наверное тот же BDM рассказывал. А вот про "«Ты как выглядишь? Ты в зеркало на себя смотрел? Хочешь ходить по клиентам с нами — иди купи себе приличный костюм. И ботинки купи вместо кроссовок. Галстук мы тебе простим. Так уж и быть» что-то не помню. Так 12 лет и пробегал к клиентам с BDM'ом в кроссовках и джинсах. Только в банки в 2007 приходилось "униформу" надевать, в которой я когда-то женился.

нет, в скрипте запускаю из wav, который просто ffmpeg записывает с стопом по silence_detection.

Контекст получается легко. Я пропатчил апльпаку, чтобы ### instruction/ ### Reponse тегами управлял мой скрипт в явном виде, поэтому получаются сквозные диалоги типа: - Who is the fastest animal on earth? - It is cheetah ...подробности о гепарде.. (или иногда falcon говорит) - is it faster than a car? - No, car is faster than cheetah. То есть прошлые реплики "помнит", если промпт просто постоянно наращивать.

ясно, спасибо! whisper с моделью medium достаточно быстр и точен, а с large добавляется всего пара секунд.

Спасибо, в выходные попробую. Хотя Coqui TTS уже достаточно хорошо.

Ну "немного" это преувеличение. Секунд 10 надо ждать начала ответа, но потом идет бодренько. У меня практически неограниченное количество топового железа Эппл, поэтому для себя можно и так. Спасибо за идею о саммари! А то я просто все скармливал, и добавил стоп-слово для обнуления. Оно держало контекст примерно в 6-8 реплик максимум.

Whisper.cpp, тоже от Григория. Я проапгрейдил модель с 7B на 30B, качество повысилось, но стало немного притормаживать. Так что пора наоборот менять Mac mini на Mac studio, а не на orange pi 5 :)

У Coqui TTS отличный голос, уже перешел на нее с flite. Спасибо! Я сейчас вместо SBC использую Mac mini с неродным корпусом, но надо будет заменить на что-то более простое.

Как раз на выходных мы с 8-летним сыном засунули в большую мягкую игрушку тигра небольшой комп (мак мини без корпуса) с whisper+alpaca+flite и скрипт на питоне, который их соединяет, с которым теперь ведем длинные беседы. Жаль, что приходится к электрической сети подключать, надо бы найти что-то с батарейкой. Для связной беседы приходится повторять историю предыдущих промптов, разумеется. Вместо flite надо бы найти что-то с более приятным голосом, кто-нибудь может посоветовать?

Бакалавр/Магистр

Информация

В рейтинге
Не участвует
Откуда
Portland, Oregon, США
Дата рождения
Зарегистрирован
Активность