Давно это было, поэтому сразу и не вспомнил правильно. Make: Books "Making Things See" by Greg Borenstein. Есть несколько изданий. Есть еще и такие:
Making Things Talk Making Things Move DIY
Если интересно получать 3D то сейчас и камеры такие есть, у них каждый пиксель работает как ToF (Time of Flight) сенсор. Например, недорогие от ArduCam.
Вот ещё устройство - Microsoft Kinect. Работает примерно так: проектор создаёт картину точек, случайным образом распределенных по освещаемой поверхности. (Случайным, чтобы "не попасть" на регулярные структуры и легче понять, где какие точки). Эти точки попадают на две камеры, разнесенные в пространстве, и по углу параллакса определяется расстояние до каждой из этих точек. Есть описание, как это делать на Arduino и Processing в соответствующей книжке.
А насчёт знакомства с девушками - еще задолго до лазеров мы использовали зеркальца. Из дома напротив меня "слепили" зайчиками девчонки, а когда Солнце переходило на мою сторону, то я их в ответ. Как на грех, по соседству оказался писатель. Он написал новеллу о первой любви в местную газету... Ещё делали как: сворачивали из ватмана большой (очень) рупор. Из открытого окна далеко на открытой местности через этот рупор говорили что-нибудь и девчонкам, и прохожим, например, что они обронили кошелек. Прохожие оглядывались по сторонам и ничего не понимали...
Очень круто! Это поймёт тот, который проделал подобный путь. Увидел Вашу следущую за этой статью и попал сюда. Про RustGPT я тоже узнал и решил попробовать. (Даже для этого прочитал несколько книг по Rust, многому научился.) Еще были форки у проекта, например: https://github.com/ryancinsight/RustGPT Было у него здорово, но под конец он запутался в куче всего. Но авторы их забросили. Спустя время, я понял, почему... В общем, хотя я смог находить физические адреса в памяти, где "сидит" модель, но на Rust было сложно. Начал делать на языке C. Он мне "роднее". Мне нужно (почти всегда) докопаться до основы, Поэтому начал с самого-самого малого. Получилось с генерацией имен из букв, как у Андрея Карпаты. Запустил на Raspberry Pi на "голом железе".
Кстати, на Rust и Python работает очень медленно, по сравнению с C. Например, у Карпаты на его Macbook с M4 (кажется) обучение было за минуту, На Raspberry Pi Zero 2W - 6 секунд. Rust тоже "тормозил" нещадно.
Цель такая - сделать некоторую микроштуку, чтобы можно было с ней слегка общаться. Монолитные модели не привлекают, поэтому сразу ориентировался на обучение "на лету". То есть, вводим предложение, обучаем, модель потом уже знает эти данные. Словарь тоже можно дополнять в диалоге.
Кстати, Microsoft тоже задавалась вопросом о "минимальности" модели. Загнали Tiny Stories (сказки) в модель ~ 10 Мб.
Еще что - тут пишут, что модель будет знать только то, чему ее обучили. Но хотелось бы это немного дополнить. Модель может "обобщать", это - один из критериев правильной работы.
Наппример, в исходных данных есть строки:
cat tom
tom cat
he tom
he cat
cat drinks milk
cat eats mouse
dog maga
maga dog
she maga
she dog
dog drinks water
dog eats meat Кот (самец) по кличке Том пьет молоко и ест мышь Собака (самка) Мага пьет воду и ест мясо
Причем написано, что кот ест и пьет, и что собака ест и пьет. Модель выдает, что "он" (или "Том") пьет молоко, а "она" ( или "Мага") пьет воду.
работа программы в терминале
Видно время обучения, косинусное сходство между "он" его кличкой, котом, собакой и ее кличкой. И про "нее" тоже. Потом модель делает инференс про "молодую девочку". Программа ~ 71 Кбайт, текст - 500 строк.
Потом добавил настройку по инструкциям, Страны, города, столицы стран и животные из стран.
Capital of England | London
Capital of France | Paris
Capital of Italy | Roma Это - образцы, символ "|" - разделитель инструкции (не участвует в обучении) и правильного ответа модели (обучается). По этому шаблону из трех строк модель потом понимает и выдает столицы других стран. И животных из них. Причем, достаточно всего 64 строк обучающего текста!
В исходном RustGPT работает, мягко говоря, неправильно, не проводит аналогий.
Спасибо Вам и удачи!
P.S. Рабаотать с текстом на Хабре слегка непривычно, поэтому огрехи
Отличная статья, спасибо. Очень понятно написано. Мне не было ясно, как сделать доступ не по паролю, а по ключу. И параллельно вопрос: современные системы после ввода неверного пароля блокируют доступ на 10 минут, каким тогда образом взломщики могут его подобрать? На сервер я захожу из Far manager, это очень удобно. А если через терминал, то команды надо подавать вручную.
Хороший пример для подражания. Реклама с громким звуком имеет обратный эффект. Хочется ненавидеть то, что рекламируют. Обычно звук сразу выключаем, но в первый момент травмируем слух соседей и свой. И, конечно, обрушиваем массу негативной энергии на таких рекламщиков. Вот раньше была реклама, например, водки "Абсолют", где по залу проносят поднос с бутылкой и через нее проецируются люди и предметы, как бы они выглядели. Или реклама автомобиля "Fiat", где синьорина хлопает дверью, бьёт по колесу ногой и сумкой по капоту...
Вы упомянули процессор DX40, у меня был SX33 MHz. Было мнение, что 33 работал быстрее. Всё из-за частоты шины в 33 MHz. Процессор с тактовой частотой выбирал данные через 20 наносекунд, но они поставлялись через 33 наносекунды и процессору приходилось ждать ещё один цикл, то есть, ещё 20 наносекунд, всего 40 нс. В то же время 33 мегагерцовый процессор делал все за свои 33 наносекунды. Если это правда, то какой смысл в 40 MHz, кроме маркетинга, шина PCI тоже работала строго на 33 наносекундах.
А мессенджеры нужны разные. Я подумывал об IP-телефонии, но она у нас под запретом, похоже.
Интересно, можно ли запустить приложение Windows 11 для Intel - на ARM архитектуре, например на Raspberry Pi 5 с Debian Trixie. Как водится, в документации про это если и сказано, то не найти. (Что вообще за манера делать документацию, не выделяя главного).
Спасибо, сработало, (на пока). Chrome не открывал сайты через сервер dns. Причем на более старых Андроидах открывап, а на современном chrom / android не работало, пользовался другим браузером.
пока Россия интегрирована в международную систему охраны интеллектуальной собственности
Насколько мне известно, если мы что-то патентуем в России, то другие страны могут это не признать. Поэтому для надёжности патентуют, например, в США. Но это ещё дороже.
Спасибо! Отличная архитектура, в институтах, насколько я знаю, до сих пор студентов учат по ней.
А мы писали программы в машинных кодах, потом появился ассемблер. Я купил книгу М.Сингер "Мини-ЭВМ PDP-11 Программирование на языке ассемблера и организация машины". И после этого процесс не пошёл, а полетел. Еще купили массу документации на английском языке. А потом по RSX-11 на русском.
Кстати, есть сайт pdp11.org, там много интересного. До сих пор помню многие машинные коды.
А дифференциальные автоматы (АВДТ) не ставите? Ещё для ванных комнат и душевых есть какие-то новые штуки (не помню название, но можно поискать). И не так давно увидел плоские медные провода, чтобы не штробить стены, не везде это возможно.
Кроме магии есть ещё и гипноз, существование которого трудно отрицать. Пока непонятно, что это и как работает. Как-то показывали кадры, на которых лягушка сама идет в пасть змеи. Противится, но идет. Жесть какая-то.
А насчёт "на каком языке думает сознание" можно думать на своем языке, на иностранных языках, вообще без слов, если потренироваться и "заглушить" в мозгу слова. Животные, наверное, так и делают. А словестный вывод - это, возможно, верхние слои наших нейронных сетей при инференсе. И входные - при обучении. Еще речь очень помогает разбить задачу на шаги действий (план действий). И обоснование своих выводов.
Интересно, как получилось, что электронной версии нет в наличии?
Электроны в розетках издательства закончились.
Давно это было, поэтому сразу и не вспомнил правильно.
Make: Books "Making Things See" by Greg Borenstein.
Есть несколько изданий.
Есть еще и такие:
Making Things Talk
Making Things Move DIY
Если интересно получать 3D то сейчас и камеры такие есть, у них каждый пиксель работает как ToF (Time of Flight) сенсор. Например, недорогие от ArduCam.
Вот ещё устройство - Microsoft Kinect. Работает примерно так: проектор создаёт картину точек, случайным образом распределенных по освещаемой поверхности. (Случайным, чтобы "не попасть" на регулярные структуры и легче понять, где какие точки). Эти точки попадают на две камеры, разнесенные в пространстве, и по углу параллакса определяется расстояние до каждой из этих точек. Есть описание, как это делать на Arduino и Processing в соответствующей книжке.
А насчёт знакомства с девушками - еще задолго до лазеров мы использовали зеркальца. Из дома напротив меня "слепили" зайчиками девчонки, а когда Солнце переходило на мою сторону, то я их в ответ. Как на грех, по соседству оказался писатель. Он написал новеллу о первой любви в местную газету...
Ещё делали как: сворачивали из ватмана большой (очень) рупор. Из открытого окна далеко на открытой местности через этот рупор говорили что-нибудь и девчонкам, и прохожим, например, что они обронили кошелек. Прохожие оглядывались по сторонам и ничего не понимали...
Кстати, на Rust и Python работает очень медленно, по сравнению с C. Например, у Карпаты на его Macbook с M4 (кажется) обучение было за минуту, На Raspberry Pi Zero 2W - 6 секунд.
Rust тоже "тормозил" нещадно.
Цель такая - сделать некоторую микроштуку, чтобы можно было с ней слегка общаться.
Монолитные модели не привлекают, поэтому сразу ориентировался на обучение "на лету".
То есть, вводим предложение, обучаем, модель потом уже знает эти данные. Словарь тоже можно дополнять в диалоге.
Кстати, Microsoft тоже задавалась вопросом о "минимальности" модели. Загнали Tiny Stories (сказки) в модель ~ 10 Мб.
Еще что - тут пишут, что модель будет знать только то, чему ее обучили. Но хотелось бы это немного дополнить.
Модель может "обобщать", это - один из критериев правильной работы.
Наппример, в исходных данных есть строки:
cat tom
tom cat
he tom
he cat
cat drinks milk
cat eats mouse
dog maga
maga dog
she maga
she dog
dog drinks water
dog eats meat
Кот (самец) по кличке Том пьет молоко и ест мышь
Собака (самка) Мага пьет воду и ест мясо
Причем написано, что кот ест и пьет, и что собака ест и пьет.
Модель выдает, что "он" (или "Том") пьет молоко, а "она" ( или "Мага") пьет воду.
Видно время обучения, косинусное сходство между "он" его кличкой, котом, собакой и ее кличкой. И про "нее" тоже. Потом модель делает инференс про "молодую девочку".
Программа ~ 71 Кбайт, текст - 500 строк.
Потом добавил настройку по инструкциям, Страны, города, столицы стран и животные из стран.
Capital of England | London
Capital of France | Paris
Capital of Italy | Roma
Это - образцы, символ "|" - разделитель инструкции (не участвует в обучении) и правильного ответа модели (обучается).
По этому шаблону из трех строк модель потом понимает и выдает столицы других стран. И животных из них. Причем, достаточно всего 64 строк обучающего текста!
В исходном RustGPT работает, мягко говоря, неправильно, не проводит аналогий.
Спасибо Вам и удачи!
P.S. Рабаотать с текстом на Хабре слегка непривычно, поэтому огрехи
Отличная статья, спасибо. Очень понятно написано. Мне не было ясно, как сделать доступ не по паролю, а по ключу. И параллельно вопрос: современные системы после ввода неверного пароля блокируют доступ на 10 минут, каким тогда образом взломщики могут его подобрать? На сервер я захожу из Far manager, это очень удобно. А если через терминал, то команды надо подавать вручную.
Хороший пример для подражания. Реклама с громким звуком имеет обратный эффект. Хочется ненавидеть то, что рекламируют. Обычно звук сразу выключаем, но в первый момент травмируем слух соседей и свой. И, конечно, обрушиваем массу негативной энергии на таких рекламщиков. Вот раньше была реклама, например, водки "Абсолют", где по залу проносят поднос с бутылкой и через нее проецируются люди и предметы, как бы они выглядели. Или реклама автомобиля "Fiat", где синьорина хлопает дверью, бьёт по колесу ногой и сумкой по капоту...
Тут речь не о ширине шины, а частоте, на которой она работала...
Вы упомянули процессор DX40, у меня был SX33 MHz. Было мнение, что 33 работал быстрее. Всё из-за частоты шины в 33 MHz. Процессор с тактовой частотой выбирал данные через 20 наносекунд, но они поставлялись через 33 наносекунды и процессору приходилось ждать ещё один цикл, то есть, ещё 20 наносекунд, всего 40 нс. В то же время 33 мегагерцовый процессор делал все за свои 33 наносекунды. Если это правда, то какой смысл в 40 MHz, кроме маркетинга, шина PCI тоже работала строго на 33 наносекундах.
А мессенджеры нужны разные. Я подумывал об IP-телефонии, но она у нас под запретом, похоже.
Да, давно это было.
Хотел бы добавить, что папку TEMP я тоже давно сделал на RAM диске.
Спасибо! Попробую.
Спасибо за ответ.
Время будет, всё -таки попробую запустить, возможно, если там на уровне API, то и пройдёт. Как вариант, ещё протестирую на Mac mini с Intel Core i7.
Интересно, можно ли запустить приложение Windows 11 для Intel - на ARM архитектуре, например на Raspberry Pi 5 с Debian Trixie. Как водится, в документации про это если и сказано, то не найти. (Что вообще за манера делать документацию, не выделяя главного).
Три месяца - это ещё мало. У сотни тысяч (это в интернете такие цифры были, насколько помню) Nexus 7 "окирпичился" после обновления. Навечно.
Интересно, свою Gemini они не привлекали к решению проблемы?
Ждём надувную...
Спасибо, сработало, (на пока). Chrome не открывал сайты через сервер dns. Причем на более старых Андроидах открывап, а на современном chrom / android не работало, пользовался другим браузером.
Насколько мне известно, если мы что-то патентуем в России, то другие страны могут это не признать. Поэтому для надёжности патентуют, например, в США. Но это ещё дороже.
Это Вам повезло, дёшево модуль купили...
Спасибо! Отличная архитектура, в институтах, насколько я знаю, до сих пор студентов учат по ней.
А мы писали программы в машинных кодах, потом появился ассемблер. Я купил книгу М.Сингер "Мини-ЭВМ PDP-11 Программирование на языке ассемблера и организация машины". И после этого процесс не пошёл, а полетел. Еще купили массу документации на английском языке. А потом по RSX-11 на русском.
Кстати, есть сайт pdp11.org, там много интересного. До сих пор помню многие машинные коды.
А дифференциальные автоматы (АВДТ) не ставите? Ещё для ванных комнат и душевых есть какие-то новые штуки (не помню название, но можно поискать). И не так давно увидел плоские медные провода, чтобы не штробить стены, не везде это возможно.
Кроме магии есть ещё и гипноз, существование которого трудно отрицать. Пока непонятно, что это и как работает. Как-то показывали кадры, на которых лягушка сама идет в пасть змеи. Противится, но идет. Жесть какая-то.
А насчёт "на каком языке думает сознание" можно думать на своем языке, на иностранных языках, вообще без слов, если потренироваться и "заглушить" в мозгу слова. Животные, наверное, так и делают. А словестный вывод - это, возможно, верхние слои наших нейронных сетей при инференсе. И входные - при обучении. Еще речь очень помогает разбить задачу на шаги действий (план действий). И обоснование своих выводов.