Научили нейросеть искать герпес, или телемедицина в Канаде
ЗаказчикРами и доктор Худдами, владельцы дерматологического бизнесаЗадачаРеализовать мобильное приложение, где
Рами иммигрировал в Канаду из Ирана много лет назад. На Родине у него остался партнер по бизнесу — доктор Худдами, профессиональный дерматолог. Вместе они решили сделать приложение, где нейросеть будет определять дерматологический диагноз по фото проблемной кожи — и доверили эту задачу нам. Цель приложения — помочь пациентам по всему миру лечить кожные заболевания.
Киллер-фичей будущего приложения стал искусственный интеллект, способный дать первичную диагностику по фото.
Почему AI? Во-первых, это единственный способ автоматически дать диагноз по фотографии проблемного участка кожи. Нейросеть позволяет автоматизировать процесс и дать пользователям базовые рекомендации. Во-вторых, использовать AI как инструмент телемедицины — мощный пиар-ход для продвижения приложения.
Концепция будущего приложения
Рами и доктор Худдами на старте определили главный пользовательский сценарий:
- Пользователь с проблемным участком кожи делает его фотографию и загружает в приложение.
- Искусственный интеллект ставит первичный диагноз — определяет заболевание и рекомендует, как его вылечить.
- Сразу же после этого пользователь может записаться на консультацию к профессиональному дерматологу.
Сразу продумали основной вариант монетизации. Дерматолог, который зарегистрировался на платформе и подтвердил свою квалификацию, будет отдавать небольшую комиссию с каждой платной консультации. Запланировали и другие опции монетизации: стандартная реклама в приложениях и спонсированные статьи в разделе «Полезные материалы».
Как мы начали работать вместе
Задача амбициозная — превратить нейросеть в профессионального диагноста по кожным заболеваниям. С ней Рами пошел на Upwork, и тут в игру вступаем мы, Unistory!
«Я выложил задачу на Upwork, и один из откликов был от команды Unistory. Кейсы компании впечатлили меня: детали, технологии, опыт работы в медицинской сфере. Я сразу решил, что эти ребята нам отлично подходят, и не ошибся: с того момента и до сих пор все было потрясающе. Изначально мы с доктором Худдами не были уверены, что сможем реализовать свою идею —, но Unistory справились». Рами, ко-фаундер Dermadex
Наша команда проработала структуру проекта и подобрала технологии: для мобильного приложения решили использовать React Native, а бэкенд реализовать на C#.
Вместе с заказчиком сразу определились, что в первую очередь сконцентрируемся на поиске датасетов, выборе нужной модели AI и ее обучении. Все остальное — потом. Сначала нам нужна киллер-фича!
Как мы обучали искусственный интеллект
Первым этапом разработки стала подготовка Proof of Concept (PoC). Мы часто работаем с экспериментальными проектами, еще чаще — на технологиях блокчейн и AI, поэтому для создания PoC у нас есть специальный сотрудник — R&D-инженер. Именно он проверяет самые рискованные технические гипотезы —, а значит, экономит деньги и время на разработку всего продукта. Прочитать подробнее о том, кто такой R&D-инженер, можно у нас в телеграм-канале.
На этом этапе решили, что для проверки гипотез и разработки Proof of Concept будет достаточно научить нейросеть определять шесть групп заболеваний. Следующая задача — найти данные (датасеты) для обучения нейросетей.
Исследовали open-source репозитории, и нашли 21 датасет. К нашему разочарованию оказалось, что качественного материала в них не так много. Чтобы решить эту проблему, решили полагаться на zero-shot и few-shot при тестировании.
Разработчики протестировали несколько моделей AI, и выбрали CLIP — базовую модель, которая позволяет классифицировать изображения, находить на них объекты и генерировать текст на основе изображений.
Тестировали выбранные модели в два этапа:
- Zero-shot. Оценивали возможности моделей без предварительного обучения на датасетах. Это означает, что модель тестировалась на задачах или датасетах, с которыми до этого не имела дела.
- Fine-tuning (few-shot). Здесь модели проходили дополнительное обучение на наших датасетах.
Научили CLIP находить 60+ разных заболеваний, объединенных в шесть больших групп:
- Акне
- Герпес
- Экзема
- Розацеа
- Псориаз
- Витилиго
Главная проблема, с которой столкнулись разработчики, все та же — нехватка данных и недостаточно качественные датасеты из открытого доступа. Решением стала аугментация данных — мы расширили базу, сгенерировав искусственные данные на основе реальных. Добавив незначительные искажения в изображения, смогли существенно расширить базу для обучения модели.
Сейчас продолжаем искать датасеты для обучения, цель — научить CLIP работать с 30 группами заболеваний.
HIIPA
Пока наш R&D-инженер работал над Proof of Concept, а менеджеры готовили структуру, заказчик занимался юридическими вопросами. Рами изучил, каким должно быть приложение, чтобы пройти стандартизацию HIPAA для будущего запуска в США. HIPAA — сертификация, говорящая о том, что продукт удовлетворяет требованиям безопасности по отношению к данным пациентов.
Чтобы получить лицензию HIPAA, мы заранее проработали логирование всего и вся: каждый запрос пользователя должен записываться в базу данных. Информация должна сохраняться о всех действиях пациентов, врачей и администраторов. При этом доступ к данным о пациентах не должен иметь никто.
Рами сейчас планирует масштабироваться на рынке США и Европы. Запуск будет идти поэтапно, ведь в каждой стране свои нюансы здравоохранения.
Но и это еще не все. Рами и доктор Худдами уже обсуждают отдельную версию приложения для работников пансионатов. Пожилые люди — отдельная целевая аудитория для дерматологической сферы: мало движения = больше проблем с кожей. Вместе с нашими заказчиками мы планируем создать кастомную версию приложения. Эта версия продукта будет с самого начала заточена под потребности медицинских работников в пансионатах.
***
DermaDex — не единственный проект, где мы обучаем AI решать нестандартные задачи. Больше интересного про блокчейн-дев, ChatGPT, разработку Proof of Concept и вейпы в офисе — в моем Телеграм-канале про жизнь, мысли и проекты студии Unistory. Подписывайся!
Полный текст статьи читайте на CMS Magazine
