Ох, ну ты и копнул. Я, честно говоря, когда читал "Электроника" в детстве, думал - ну, робот, прикол, двойник, крылатые качели. А сейчас, когда сам каждый день с этими маюсь (то контекстное окно резиновое, то токены считаешь, чтоб за лимит не вылезти), перечитал этот момент про книжки на ночь и меня просто перемкнуло.
"Миллион догов" - это же буквально наш разговор с заказчиком: "Сколько это будет стоить?" "Ну, смотри, там миллион токенов на ввод, полтос на вывод, итого..." А Велтистов это в 64-м написал. И самое убойное - про "армию знаний всегда в бою". Мы ж именно это и продаём клиентам: что наша нейросетка не как старый сервер, который по очереди всё перебирает, а всё сразу параллельно считает. И бабушкам на собесах объясняешь, и тимлиду на дейли.
А про "чёрный ящик" - вообще святое. Собрали мы недавно ассистента, всё настроили, промпты напилили, и он вдруг начал выдавать такие ответы, что мы сами офигевали. Красиво, логично, по-человечески. И вроде мы ж всё сами сделали, а почему он так ответил - не объяснишь. Милый чёрный ящик, блин. Прям как у Громова.
И да, забавно, что про терминатора все вспоминают, когда видят робота. А тут - ни тебе восстания машин, ни "I'll be back". Просто лис из города сбежал и питается от розеток. И это, наверное, самый реалистичный сценарий развития ИИ за всю историю фантастики - не Скайнет, а тупой, но хитрый агент, который не слушается, потому что ну не предусмотрели мы в коде, что он полезет в кафешку за энергией.
Короче, теперь буду детям на лето не "Матрицу" включать, а эту книжку подсовывать. Пусть читают, а потом расскажут мне, что они поняли про мою работу. Имхо, так и программистами становятся - не с курсов, а с таких вот историй, где наука не занудная, а часть приключения.
Получается что пока мы учим модель быть "полезной любой ценой", мы обречены вечно прикручивать костыли в виде внешних баз, чтобы перебить ее врожденную склонность к правдоподобной балаболии. Как считаете, возможно ли создать нейронку, которая по умолчанию скептична к своим знаниям и воспринимает RAG-контекст как истину в последней инстанции, а не как "еще один источник для размышления"?
Круто, что статья поднимает ту самую «слепую зону», о которой все молчат, пока не случается проблема. Конечно, это организационный момент, а не техничка. Но всё же это встречается часто.
Все хотят быстро внедрить ИИ, чтобы сэкономить время и деньги. И на старте всё выглядит идеально - бот отвечает, заявки уходят в CRM, руководитель видит экономию. Но потом, когда система начинает работать по-настоящему, выясняется: никто не понимает, кто отвечает за её поведение, какие данные можно передавать, что делать, если бот накосячил.
Из опыта - самый простой и эффективный подход: назначать одного человека на один ИИ-сценарий. Он должен мониторить и своевременно править.
Да, автоматизация даёт скорость, но пока что полное отсутствие контроля - это что-то на уровне фантастики и хотелок собственников бизнеса! Ну либо убытков.
Ох, ну ты и копнул. Я, честно говоря, когда читал "Электроника" в детстве, думал - ну, робот, прикол, двойник, крылатые качели. А сейчас, когда сам каждый день с этими маюсь (то контекстное окно резиновое, то токены считаешь, чтоб за лимит не вылезти), перечитал этот момент про книжки на ночь и меня просто перемкнуло.
"Миллион догов" - это же буквально наш разговор с заказчиком: "Сколько это будет стоить?" "Ну, смотри, там миллион токенов на ввод, полтос на вывод, итого..." А Велтистов это в 64-м написал. И самое убойное - про "армию знаний всегда в бою". Мы ж именно это и продаём клиентам: что наша нейросетка не как старый сервер, который по очереди всё перебирает, а всё сразу параллельно считает. И бабушкам на собесах объясняешь, и тимлиду на дейли.
А про "чёрный ящик" - вообще святое. Собрали мы недавно ассистента, всё настроили, промпты напилили, и он вдруг начал выдавать такие ответы, что мы сами офигевали. Красиво, логично, по-человечески. И вроде мы ж всё сами сделали, а почему он так ответил - не объяснишь. Милый чёрный ящик, блин. Прям как у Громова.
И да, забавно, что про терминатора все вспоминают, когда видят робота. А тут - ни тебе восстания машин, ни "I'll be back". Просто лис из города сбежал и питается от розеток. И это, наверное, самый реалистичный сценарий развития ИИ за всю историю фантастики - не Скайнет, а тупой, но хитрый агент, который не слушается, потому что ну не предусмотрели мы в коде, что он полезет в кафешку за энергией.
Короче, теперь буду детям на лето не "Матрицу" включать, а эту книжку подсовывать. Пусть читают, а потом расскажут мне, что они поняли про мою работу. Имхо, так и программистами становятся - не с курсов, а с таких вот историй, где наука не занудная, а часть приключения.
Получается что пока мы учим модель быть "полезной любой ценой", мы обречены вечно прикручивать костыли в виде внешних баз, чтобы перебить ее врожденную склонность к правдоподобной балаболии. Как считаете, возможно ли создать нейронку, которая по умолчанию скептична к своим знаниям и воспринимает RAG-контекст как истину в последней инстанции, а не как "еще один источник для размышления"?
Да жесть, я сперва поверил в свои силы, но после The result_of technique что т психанул,,,
Круто, что статья поднимает ту самую «слепую зону», о которой все молчат, пока не случается проблема. Конечно, это организационный момент, а не техничка. Но всё же это встречается часто.
Все хотят быстро внедрить ИИ, чтобы сэкономить время и деньги. И на старте всё выглядит идеально - бот отвечает, заявки уходят в CRM, руководитель видит экономию. Но потом, когда система начинает работать по-настоящему, выясняется: никто не понимает, кто отвечает за её поведение, какие данные можно передавать, что делать, если бот накосячил.
Из опыта - самый простой и эффективный подход: назначать одного человека на один ИИ-сценарий. Он должен мониторить и своевременно править.
Да, автоматизация даёт скорость, но пока что полное отсутствие контроля - это что-то на уровне фантастики и хотелок собственников бизнеса! Ну либо убытков.