Как мы превратили iPhone в лабораторный микроскоп с AI и BLE: real-world edge-приложение

[vesowoma]

Спасибо, познавательно. Не совсем понял зачем делать такой большой скан, обычно же считают по сетке "в поле зрения" с пересчетом. Это потому что смартфон не человеческий мозг, и может быстро просчитать больший размер поля?

PS: Статья 8-летней давности, где неплохо разъяснили основы клинического анализа крови: Клинический анализ крови: от светового микроскопа к гематологическим анализаторам

[ansaril3]

Для анализа крови надо набрать не менее 100 лейкоцитов. Чтоб их собрать на увеличении объектива 100x, надо отсмотреть порядка 100 полей зрения.

Так выглядит поле зрения на 100x

[nikolz]

Можете пояснить:

1) Чем вызвана необходимость высокой скорости съемки 50 кадров в секунду?

получаем видео H.264 с разрешением 1280x720 и битрейтом около 40 Мбит/с.

2) Для Н.264 скорость потока 40 Мбит/c соответствует разрешению 4000x3000. Чем обусловлена у Вас такая высокая скорость потока при разрешении всего 1280x720 ?

3) какая разрядность коэффициентов у Вашей нейро сети?

[ansaril3]

1. Высокий FPS нужен для автофокусировки. Мы оцениваем на каждом кадре степень размытия и оперативно корректируем высоту столика. Чем выше FPS, тем аккуратнее идет автофокусировка.

[nikolz]

Поясните, зачем постоянно крутить фокусировку? У Вас же всегда одно и тоже расстояние до объекта наблюдения.

[ansaril3]

На больших увеличениях неравномерность мазка становится заметной. Условно, нам надо попадать в слой <0.01мм - иначе клетка будет размытой.

[pnmv]

Автоматические системы микроскопирования хороши, но стоят дорого

Данное решение сильно дешевле?

[ansaril3]

Да, мы на порядок дешевле.
Наша цена:
HW: $2k комплект моторизации + 3k микроскоп (если у клиента нет).
SW: подписка, в зависимости от объема тестов, в среднем $3k/год.

У конкурентов HW ~ $50-100k

[nikolz]

Правильно я понял, что iPhone Вы превратили в лабораторный микроскоп добавив к нему микроскоп:

Вопрос: какая цена получилась такого лабораторного микроскопа?

[ansaril3]

Да, мы поставляем клиенту комплект моторизации (iPhone/линза/роботизированный столик) - он стоит $2k. Плюс подписка на софт (несколько тыс $/год)

[nikolz]

Поясните, почему бы не взять цифровой микроскоп и соединить его с вычислителем (можно и со смартфоном) ? Зачем соединять iPhone c линзой и микроскопом?

[ansaril3]

Вопросы цены - профессиональные цифровые микроскопы стоят десятки тысяч долларов

[DASpit]

Если хочется использовать решения от Apple, почему бы не подключить МакБук? Сильно удобнее было бы. Специализированные камеры для микроскопов также имеются. Не сильно дороже, но явно мощнее.

[pnmv]

у макбука камера не с той стороны.

[DASpit]

Тег "сарказм" не проставлен... USB камеры для микроскопов - подключаются как обычная вебка. Стандартное оборудование.

Ещё в 2001 году в мединституте баловались с цифровой микроскопией мазка крови. Характеристики оборудования тогда намного хуже были и нейросеток для стандартного мазка не сильно нужно было - достаточно посчитать площадь ядра относительно контура клетки.

[ansaril3]

У нас была задача сделать максимальное доступное решение - поэтому взяли смартфон (их камера сопоставима с хорошей микроскопной USB камерой)

[Bardakan]

я правильно понимаю, что вы используете iPhone XR и только его?

[ansaril3]

Не, поддерживаем все от XR и выше. Сейчас, например, переходим на 16e

[Bardakan]

Говорить будем на примере iPhone XR  (A12 Bionic, 2018), как некий baseline, хоть и старый.  Даже на нем у нас получалось:

• Линза-адаптер —  подключение смартфона к окуляру микроскопа

У одного из адаптеров был артефакт оптической дисторсии на изображении. В результате клетка, которая должна быть круглой, кажется вытянутой или кривой, особенно по краям кадра.  Мы использовали калибровку на шахматной сетке и OpenCV cv::undistort() для восстановления геометрии кадра

и параллельно рассказываете про то, как в приложении используете всякие модные технологии, про тестирование ПО и т.п...
Что помешало сделать аналогичное с железом? Неужели соединять микроскоп с айфоном через линзу проще чем разделить устройство на две части - одна записывает и/или передает изображение, другая его обрабатывает? Тогда бы ушли проблемы вроде бракованной линзы или производительности с перегревом. Возможно даже цену удалось бы снизить, потому что не у всех есть конкретная модель айфона, но у всех есть другие телефоны или вообще компьютеры.

[ansaril3]

Вопрос цены. Разделение (камера + ноутбук) vs обработка на месте (iPhone + линза) - получается дороже. Но подход имеет право на жизнь - действительно, тогда ряд вещей можно было бы сделать проще.