Скажем так -- мне по-работе приходилось писать токенизаторы для GPT всех версий.
Размер промпта не обязан быть равен максимальной ёмкости модели. Как Вам писали в других комментариях, чистую оценку может дать только Playground. Размер промпта + размер истории + резерв на технический ответ + резерв на ответ для пользователя = максимально ограниченный размер промпта. Здесь слишком много переменных для точной оценки.
Вообще этот параметр, что вы пытаетесь оценить, называется max tokens (и измеряется, да, в токенах). Но это не совсем память. Память может быть по идее намного больше, поищите например, что такое Retrieval (Enhanced) Transformers.
В вашей методологии есть несколько ошибочных посылок:
GPT-3.5 и 4 используют другой токенизатор, нежели GPT-3.
Нет никакой "рабочей памяти" модели, просто размер истории чата подрезается под размер входного ограничения модели, то есть в какой-то момент просто часть сообщений больше не передается модели.
Предельный размер "памяти" скорее всего ограничен не только ограничением модели, но и размером "технического" промпта, куда добавляется история чата.
Ну для внутреннего тула, сделанного по фану на хакатоне за пару дней, он вполне неплох. Хорошо, что у кого-то хватило сил и ресурсов довести его до PowerToys..
Для открытия кода и протокола нужно провести очень большую дополнительную работу, и обычно это не так как интересно, как написать еще пару-тройку интересных утилит на хакатонах.
Mouse Wthout Borders по сути софтварное решение, транслирующее изменение координат мыши через UDP пакеты между машинами. Удобно, когда лаптоп лежит рядом с рабочей машиной. Но решить проблемы с загрузкой Hyper-V хоста это не поможет... :)
Прочитал, но это даже на 2011 год далеко не всё, что используют поисковики, а сейчас и подавно, к сожалению. У вас ограничение только текстовым поиском, некий аналог PageRank и частотный анализ документов. Это меньше 10% от поиска, увы.
Удалось ли поторговаться по зарплате? Вы с мужем вместе нашли позиции, или только один, а другой "паровозиком"? Во втором случае -- хватает ли одного работающего для обеспечения семьи? Много ли бытовых трудностей из-за незнаний шведского?
Ну оффер сильно зависит от страны и определяется как "конкурентный уровень зарплаты" в сравнении с тем, что платят другие компании в данной локации для данного уровня. Будет очень сильно отличаться в Сербии, Чехии и Германии, например.
Задачи определяются позицией и ролью, то есть они могут исходно быть различны для разных позиций, но будут одинаковы для всех кандидатов, претендующих на данную позицию. В зависимости от позиции может отличаться композиция интервью (system design или скорее больше кодинга). Это решает hiring manager и сообщает об этом всем интервьюерам.
Для каждой позиции есть вилка уровней, ну и соответственно различные ожидания для каждого уровня. Вилка обычно на 1-2 уровня в пределах одного band, то есть например для junior это было бы 59 или 60, мидл - 61 или 62 и так далее. Для уровней выше сениора есть отдельные требования и подходы.
Скажем так -- мне по-работе приходилось писать токенизаторы для GPT всех версий.
Размер промпта не обязан быть равен максимальной ёмкости модели. Как Вам писали в других комментариях, чистую оценку может дать только Playground. Размер промпта + размер истории + резерв на технический ответ + резерв на ответ для пользователя = максимально ограниченный размер промпта. Здесь слишком много переменных для точной оценки.
Вообще этот параметр, что вы пытаетесь оценить, называется max tokens (и измеряется, да, в токенах). Но это не совсем память. Память может быть по идее намного больше, поищите например, что такое Retrieval (Enhanced) Transformers.
Это понятно, но ни одна из них не использует GPT-3, насколько мне известно.
В вашей методологии есть несколько ошибочных посылок:
GPT-3.5 и 4 используют другой токенизатор, нежели GPT-3.
Нет никакой "рабочей памяти" модели, просто размер истории чата подрезается под размер входного ограничения модели, то есть в какой-то момент просто часть сообщений больше не передается модели.
Предельный размер "памяти" скорее всего ограничен не только ограничением модели, но и размером "технического" промпта, куда добавляется история чата.
Ну для внутреннего тула, сделанного по фану на хакатоне за пару дней, он вполне неплох. Хорошо, что у кого-то хватило сил и ресурсов довести его до PowerToys..
Для открытия кода и протокола нужно провести очень большую дополнительную работу, и обычно это не так как интересно, как написать еще пару-тройку интересных утилит на хакатонах.
Mouse Wthout Borders по сути софтварное решение, транслирующее изменение координат мыши через UDP пакеты между машинами. Удобно, когда лаптоп лежит рядом с рабочей машиной. Но решить проблемы с загрузкой Hyper-V хоста это не поможет... :)
Прочитал, но это даже на 2011 год далеко не всё, что используют поисковики, а сейчас и подавно, к сожалению. У вас ограничение только текстовым поиском, некий аналог PageRank и частотный анализ документов. Это меньше 10% от поиска, увы.
Удалось ли поторговаться по зарплате?
Вы с мужем вместе нашли позиции, или только один, а другой "паровозиком"? Во втором случае -- хватает ли одного работающего для обеспечения семьи?
Много ли бытовых трудностей из-за незнаний шведского?
Точно, что-то я пролетел сразу!
Отличная статья!
По поводу enum, можно использовать Extension Method чтобы сделать что-то подобное. Вот набросал простой пример:
DDG использует Бинговый индекс для показа веб результатов, но сам работает над поисковыми ответами. Он не принадлежит Майкрософту конечно же.
Интересно было бы посмотреть на пример гайдлайнов, написанных тимлидом...
Получилось то добраться до Майкрософта?
Ну у него много значений, get past -- это просто добраться до чего-то, что находится позади другого.
I didn't get past the first 10 pages of the book -- я застрял на первых 10 страницах книги ("не прошёл дальше первых 10 страниц").
Но в целом и Ваш вариант возможен, хотя кажется мне менее вероятным.
Я понимаю это как "не ушёл сильно дальше глав по написанию парсера". И это более логично в контексте.
Хорошо, спасибо! Те, что в статье, я тоже уже читал :)
Что посоветуете из книг "на архитекта"?
Ну оффер сильно зависит от страны и определяется как "конкурентный уровень зарплаты" в сравнении с тем, что платят другие компании в данной локации для данного уровня. Будет очень сильно отличаться в Сербии, Чехии и Германии, например.
Задачи определяются позицией и ролью, то есть они могут исходно быть различны для разных позиций, но будут одинаковы для всех кандидатов, претендующих на данную позицию. В зависимости от позиции может отличаться композиция интервью (system design или скорее больше кодинга). Это решает hiring manager и сообщает об этом всем интервьюерам.
Для каждой позиции есть вилка уровней, ну и соответственно различные ожидания для каждого уровня. Вилка обычно на 1-2 уровня в пределах одного band, то есть например для junior это было бы 59 или 60, мидл - 61 или 62 и так далее. Для уровней выше сениора есть отдельные требования и подходы.
Поздравляю! И когда начинаете?
Для этого можно и нужно использовать Fiddler, он во все это умеет.