Comments 8
С точки зрения ML и обучения работа прикольная - применение Text-To-Image к необычному домену, пусть даже результаты пока не очень.
Но с точки зрения исследования материалов непонятен смысл: допустим, вы преодолеете все проблемы и научитесь генерировать правдоподобные изображения наночастиц в СЭМ - зачем они? Кажется, что область применения генеративных сетей и точных измерительных приборов не пересекается.
Разве что deep-fake в научных журнала публиковать.
если предсказания достаточно точные, то можно виртуально менять процесс под требуемую форму. и уже ее тестировать в реале
На самом деле идея именно та, которую озвучил ascent1. Исследователи так или иначе когда проводят эксперименты пытаются использовать какие-то знания или интуицию, чтобы понять как поменять методику чтобы получить результат чуть лучше. Просто в этом им будет ещё и ИИ помогать, то есть эксперименты делать все равно придется, но может быть просто их надо будет чуть меньше, что уже хорошо
"Микрофотографии наночастиц" мне почему-то резануло глаза.
Вы можете попробовать взять Bert натренированную на химической литературе. Есть Bert обученная извлекать химические реакции из текста, может поможет. На HuggingFace лежит:
https://huggingface.co/jiangg/chembert_cased
Насколько результаты, полученные на датасете по карбонату кальция, применимы к другим соединениям?
Мы не случайно выбрали именно эту систему. Во-первых в случае карбоната кальция можно получить очень большое количество вариаций в плане форм и размеров и у нас в датасете в целом это отражено, поэтому система уже обучена на самых разных изображениях. Во-вторых сама методика синтеза достаточно классическая и мы использовали там самые разные модификации в плане синтеза, то есть добавление полимеров, растворителей и так далее. Так что по сути дообучить модель на новой системе будет не очень сложно, но это уже следующий этап. В идеале конечно хотелось бы набрать данных из статей и обучить систему на всех возможных синтезах, но пока надо посмотреть насколько хорошо получается для более конкретного случая, но при этом не очень узкого.
Как можно применить генерацию изображений в химии для предсказания наноматериалов