Искусственный интеллект для бизнеса: разработка, внедрение, поддержка

В последние годы современные технологии позволили обрабатывать огромные объёмы визуальных данных и алгоритмы Компьютерного зрения (Computer vision, CV). В результате технологию всё чаще используют во многих областях, таких как медицина, розничная торговля, производство. Как использовать нейросеть для контроля допуска на территорию Читать подробнее Сельское хозяйство, животноводство и агрономия не являются исключениями из сфер применения технологий компьютерного зрения. Отмечается, что использование компьютерного зрения и других технологий поможет достичь экономии в обработке сельскохозяйственных культур до 50%.   Системы CV позволяют фермерам и другим сельскохозяйственным работникам автоматизировать рабочие процессы, используя алгоритмы искусственного интеллекта (далее — ИИ) в реальном времени.  Помимо этого, методы компьютерного зрения вместе с удалёнными камерами позволяют использовать датчики, разработанные специально для сельскохозяйственного сектора (например, датчик оповещения человека при нестандартном поведении животного, датчик сорняка и другие). Коротко от Computer vision (CV) Computer vision (CV) или компьютерное зрение — это современная технология и раздел искусственного интеллекта, который позволяет машинам интерпретировать визуальные данные (изображения или видео) так же, как это делает человек.   CV включает в себя алгоритмы глубокого обучения для анализа визуальных данных и извлечения из них соответствующих шаблонов для понимания содержимого. Системы компьютерного зрения используют массив визуальных данных для обучения в реальном времени и могут помочь отслеживать, маркировать, описывать, предсказывать и оценивать конкретные объекты в этих визуальных данных. Например, согласно исследованию, некоторые данные (активность, температура, кашель и другие) собирают с помощью датчиков и камер, и анализируют методами компьютерного зрения. По результатам система начинает роботизированный надой. Технологии компьютерного зрения позволяют применять индивидуальный подход в сельском хозяйстве и фермерстве. Например, в данном примере качество и объем удоя увеличивается, чем при стандартном подходе, когда процесс происходит «по часам». Для чего нужно CV в сельском хозяйстве Сельское хозяйство играет жизненно важную роль в обеспечении глобальной продовольственной безопасности, поскольку является основным источником производства продовольствия для населения. Скот и птица, например, обеспечивают большую долю (30%) ежедневного потребления белка за счет таких продуктов, как мясо, молоко, яйца и субпродукты. С постоянно растущим населением мира, которое, по оценкам, достигнет почти 10 млрд к 2050 году, ожидается, что спрос на продовольствие значительно возрастет.  Производители сталкиваются с растущим давлением, связанным с предоставлением качественного ухода за всё большим количеством животных или площадью посева на единицу управления. Это становится еще более сложным, учитывая ожидаемый дефицит рабочей силы для сельскохозяйственных работ в будущем. Поэтому использование систем компьютерного зрения дает конкурентное преимущество: Позволит снизить интенсивность труда: автоматизированные системы, управляемые компьютерным зрением, сокращают потребность в ручном труде при мониторинге и управлении фермами.  Поможет анализировать данные для принятия решений: компьютерное зрение генерирует большие объемы данных, намного превышающие объем, собранный вручную, которые можно анализировать для получения необходимой информации.  Например, круглосуточное наблюдение за скотом с помощью CV позволяет одновременно делать оценку веса, поведения, температуры животных за любой заданный промежуток времени (день/ час / минута) для последующего анализа состояния скота, что превышает возможности ручного труда.  С помощью новых технологий можно улучшить управление сельским хозяйством, повысить урожайность, снизить издержки из-за болезней почвы и растений. В целом системы машинного зрения на базе ИИ позволяют извлекать информацию с минимальным участием человека, оставляя людям лишь настройку датчиков и техническое обслуживание оборудования. Это позволяет фермерам сосредоточиться на более стратегических и сложных аспектах управления сельскохозяйственными угодьями.   Примеры применения компьютерного зрения в сельском хозяйстве Когда говорят о применении CV в области сельского хозяйства, то в большинстве случаев подразумевают дроны. За последние несколько лет технология дронов приобрела огромную популярность благодаря своим возможностям автономного полета. Благодаря маневренности они легко добираются до нужной территории и обследуют ее с помощью встроенной камеры, делая высококачественные снимки. Поэтому они стали важным элементом в точном земледелии и фермерстве. Состояние растений и спелость с/х культур С помощью дронов можно осуществлять мониторинг урожая в режиме реального времени, обнаруживая едва заметные изменения, которые могут быть невидимы невооруженным глазом. Высококачественные камеры делают подробные снимки, которые при обработке с помощью технологии компьютерного зрения дают представление о состоянии растений, дефиците питательных веществ и уровнях гидратации. Эти сведения позволят принимать решения, которые оптимизируют урожайность и использование ресурсов. Таким образом, алгоритм определения спелости продукта, например, помидора, может выглядеть следующим образом:  снимки, полученные дроном, предварительно обрабатываются для улучшения качества, удаляются шумы; затем обработанные снимки подвергаются сегментации, в процессе чего изображение делится на две области: фон и помидор; ввиду того, что спелость томата в основном характеризуется его цветом, из сегментированного изображения извлекаются цветовые признаки, такие как среднее значение цвета (для каждого из 3 цветов Red Green Blue), однородность цвета, контраст, интенсивность и т.д.  затем набор полученных признаков передается в нейронную сеть для классификации спелости томатов  Но, конечно,чтобы этот алгоритм работал корректно, необходимо правильно подобрать методы предобработки, найти наиболее подходящую модель сегментации, подобрать наиболее информативную комбинацию признаков, и самое главное — обучить модель классификации на размеченных тренировочных данных. Состояние почвы Качество почвы оказывает на урожайность наибольшее влияние среди всех факторов. Именно свойства почвы определяют, какие культуры подойдут для посадки и насколько хороший урожай будет. Поэтому на этапе планирования посевов важно знать её свойства. Обычно это длительный и трудоемкий процесс, включающий в себя:  определение мест для взятия пробы: чем неоднороднее почва, тем большее количество проб необходимо взять (до 20 штук на каждые 3 га); измельчение почвы, ее сушка, удаление корней, камней и других посторонних объектов сокращение размера пробы путем нескольких повторений цикла: разровнять → отобрать половину → перемешать передачу полученной пробы химической лаборатории. CV значительно ускоряет его с минимальными затратами человеческого труда. Для получения данных о свойствах почвы понадобятся только дрон с необходимым оборудованием (мультиспектральная камера) и модель для обработки полученных данных с камеры.  На дроны, траектории полета которых автоматизированы, устанавливаются мультиспектральные камеры для составления карт почвы. Во время полета они собирают изображения в оптическом, ближнем и инфракрасном диапазонах. Интенсивность излучения, которое отражает или испускает почва, содержит ценную информацию о текстуре, влажности, кислотности, содержании минералов и т.д. После того, как автоматизированный сбор данных заканчивается, они передаются на стационарное устройство, где производится предобработка данных и генерирование карты с сегментированными участками почвы в зависимости от ее свойств. Предварительная оценка урожая Сбор урожая предполагает подготовку, а значит надо правильно оценить объем работ. Такая оценка требует высокой точности для избежания дополнительных расходов: она необходима для принятия решения по распределению ресурсов (таких как транспортные средства или рабочая сила).   Так недооценка приведет к потере части урожая, которую не успеют собрать из-за недостатка ресурсов. Переоценка, в свою очередь, приведет к лишним тратам на ресурсы, что в итоге снизит прибыльность.  Подсчитывать фрукты и овощи вручную — трудозатратно и долго. Для решения этой задачи отлично подходит компьютерное зрение, которое используют для автоматизации подсчета урожая. Кроме того, периодические оценки урожая и его спелости помогут эффективнее планировать графики сбора, позволяя собрать урожай в пиковый период. Примером может служить автоматический подсчет яблок на дереве. Это технически сложная задача, которая включает в себя ряд подзадач: обнаружение фруктов моделью; сегментация фруктов и восстановление их формы; подсчет фруктов; отслеживание моделью уже подсчитанных фруктов для избежания двойного учета Оценка качества урожая Одно из важнейших применений компьютерного зрения — контроль качества собранной продукции. Проверки качества обычно проводятся уже на предприятиях по переработке пищевых продуктов с помощью специально разработанных систем машинного зрения со сложными возможностями обнаружения, неинвазивного тестирования и измерения.   Благодаря тому, что на предприятии есть возможность легко создать необходимые условия окружающей среды, для оценки качества часто используют классические методы обработки изображений (такие как обнаружение границ объекта, сегментация и т.д.).  Для более сложных продуктов (например, для зелени или винограда), чья форма более сложная и обнаружить дефекты сложнее, предпочтительнее использовать глубокие нейронные сети, которые лучше подходят для сложных объектов. Определение заболеваний растений Мониторинг в реальном времени имеет решающее значение для обнаружения вредителей или заболеваний растений. Опираясь на возможности дронов в мониторинге урожая, технология компьютерного зрения помогает обнаружить заболевания растений на ранней стадии. Снимая изображения с высоким разрешением и используя сложные алгоритмы, можно понять, что идёт не так.   Например, определять едва заметные изменения в окраске, текстуре и морфологии листьев, которые указывают на наличие заболевания растений задолго до того, как оно станет заметно невооруженному глазу. Такое непрерывное наблюдение за культурами позволяет не только отказаться от ручных проверок, но и оперативно предотвращать распространение болезней на другие близлежащие растения. Так, компьютерное зрение потенциально спасает целые поля от эпидемий. Обработка почвы от сорняков Ручное опыление сорняков гербицидами слишком трудозатратно, поэтому для обработки сорняков используются тракторы. Но человеческому глазу сложно отличить сорняк от культуры во время движения машины, зато опрыскиватель, оснащенный компьютерным зрением, может.   Системы на базе искусственного интеллекта позволяют идентифицировать и классифицировать различные виды растений в режиме реального времени. Благодаря этому способны различать обычные культуры и нежелательные сорняки с точностью >90%.   Модернизированный опрыскиватель с помощью камеры, бортовых процессоров и необходимого количества обучающих изображений (не менее 500 штук на каждый вид сорняка), может определить в режиме реального времени, является ли растение, которое он видит на поле, сорняком и распылить соответствующий гербицид только на сорняк. Таким образом, внедрение технологии компьютерного зрения позволяет: 1) проводить обработку гербицидами только сорняков. Это обеспечивает экономию средств, сводя к минимуму использование гербицидов; 2) подбирать наиболее подходящий гербицид благодаря определению вида сорняка;  3) снижать риск возникновения устойчивости к гербицидам среди популяций сорняков благодаря тщательному подбору.  Такие системы компьютерного зрения могут быть установлены на тракторах или беспилотниках, обеспечивая обширный охват поля и постоянный мониторинг. Контроль за животными Возможности моделей CV, кроме управления растениеводством, охватывают и животноводство, где передовые системы компьютерного зрения помогают контролировать животных. Модели Computer vision позволяют: Собирать и обрабатывать данные о видах животных, их численности, перемещениях и состоянии здоровья. Например, определение индекса температуры и влажности вместе с активностью птиц путем покадрового отслеживания их перемещения позволяет отслеживать тепловой стресс у птиц без участия человека Оптимизировать ресурсы. Фермеры могут точно оценить количество корма и площадь, необходимые для выращивания скота. А при мониторинге птиц CV позволяет отслеживать вес птицы благодаря корреляции размера с весом и, исходя из графиков роста, оценивать корректировку количества корма Постоянный мониторинг и контроль поведения скота позволяет немедленно выявлять и изолировать больных животных, предотвратить вспышки заболеваний. Кроме того, эта технология может помочь в управлении репродукцией, отслеживая поведение животного. Искусственный интеллект может предсказывать лучшее время для размножения, тем самым увеличивая показатели репродуктивного успеха. Как подготовиться к внедрению CV в бизнес-процессы ML-разработчики помогают решить задачи бизнеса с помощью алгоритмов машинного обучения и компьютерного зрения. Для лучшего результата перед началом совместной работы необходимо определиться с ответами на следующие вопросы:  Есть ли уже сформулированная задача, которую можно решить с помощью искусственного интеллекта? Подходят ли имеющиеся данные для проекта (формат, объем, размечены ли они и т.д.)? Как на данный момент выглядит процесс, который необходимо оптимизировать и что именно не устраивает в текущем решении? Какие показатели должно улучшить ИИ-решение и как будет измеряться эффективность внедрения? Ответы на эти вопросы позволят разработчикам точнее понять запрос, а значит, подобрать решение, которое будет максимально удовлетворять требованиям заказчика. Зачем внедрять компьютерное зрение в сельское хозяйство? Модели машинного обучения и CV предоставляют фермерам точную и своевременную информацию о росте и здоровье сельскохозяйственных культур, условиях окружающей среды, заражении вредителями, потенциальных заболеваниях, делают анализ почвы и прогнозы урожайности. Технологии искусственного интеллекта, которые задействованы в сельском хозяйстве, основаны на алгоритмах машинного обучения и компьютерного зрения. Здесь важна выборка данных и их анализ квалифицированными специалистами.  Эти данные помогают фермерам: эффективно распределять ресурсы; определять необходимое количество и тип удобрений или корма, систем орошения и пестицидов; планировать периоды сбора урожая; своевременно обнаруживать заболевания животных или сельскохозяйственных культур. Чтобы технологии компьютерного зрения смогли принести выгоду фермерам, необходимо правильно подобрать метод CV, который будет наилучшим образом решать обозначенную проблему. Именно поэтому так важно подобрать подрядчика/исполнителя, который благодаря своему опыту и экспертизе сможет реализовать такой проект.  Хотите узнать больше о применении CV для решения бизнес-задач? Оставьте свою заявку по телефону 8-800-200-99-24, на [email protected] или в telegram.

Развитие в области применения компьютерного зрения не стоит на месте. Сообщество специалистов постоянно совершенствует инструменты, что позволяет охватывать всё больше задач в различных сферах (медицине, сельском хозяйстве, промышленности и других). Как результат, всё больше компаний в настоящее время разрабатывают продукты на базе Data Science и Machine Learning. И это неудивительно, ведь компьютерное зрение в медицине — мощный инструмент, который позволяет эффективно решать поставленные задачи.   Но так как технология только набирает популярность, не все знакомы с возможностями, которые она открывает бизнесу. В этой статье расскажем о компьютерном зрении, специфике работы и возможностях данной технологии в области медицины и диагностике заболеваний. Что такое компьютерное зрение? Компьютерное зрение (англ. computer vision, CV) — это современная технология, которая представляет собой область искусственного интеллекта (далее — ИИ), связанная с анализом и обработкой изображений и видео.  Задача специалистов в этой области — научить компьютер воспринимать эти данные, также, как человек, и на основе анализа предлагать те или иные действия медицинскому работнику. Цель внедрения инструмента — улучшить качество жизни людей.  Методология работы с проектом, связанным с данными Алгоритм работы над проектом, связанным с компьютерным зрением может строиться по методологии CRISP-DM.  CRISP-DM или кросс-индустриальный стандартный процесс получение знаний, является одним из проверенных инструментом для работы с проектами, связанными с данными. Какие задачи можно решить с помощью компьютерного зрения в медицине? Компьютерное зрение в современном мире — один из лучших помощников для медицинских работников. По данным опроса Европейского общества рентгенорадиологии, многие врачи используют ИИ для скрининга и диагностики онкологических и сердечно-сосудистых заболеваний. Этот подход итеративный, что означает возможность возврата к предыдущим этапам в случае неудовлетворительных результатов. На каждом этапе специалисты могут вернуться на предыдущий, что делает работу более гибкой и устойчивой. Давайте подробнее расскажем про задачи, которые позволяет решить компьютерное зрение. Анализ рентгеновских снимков  Одна из популярных задач — анализ и обнаружение аномалий на рентгеновских снимках, МРТ, УЗИ, КТ. Способность точно различать нормальные и аномальные рентгеновские снимки важна как для врачей, так и для пациентов. Это улучшает диагностический процесс и повышает шанс на успешный исход различных болезней.  Внедрение искусственного интеллекта в процесс анализа рентгеновских снимках позволяет улучшить этот процесс и сократить количество ошибок из-за человеческого фактора.  В процессе работы специалисты стараются минимизировать ошибки первого рода – ситуации, когда отвергается нулевая гипотеза (H0 = аномалии присутствую), при ее достоверности (аномалии на самом деле есть). Это означает, что во время анализа медицинских снимков будет лучше, если модель найдет на снимке аномалию, даже если ее там нет. Чем врач поставит диагноз «здоров» больному человеку. В настоящее время использование компьютерного зрения — не замена врача в процессе постановки диагноза. Это связано с тем, что для принятия решения на основе результатов CV, необходимо учитывать факторы, которые модель компьютерного зрения (либо любая другая) могла не увидеть. Однако отказываться от прогнозов ИИ не стоит.  Системы с ИИ работают ВМЕСТЕ с врачами, а не ВМЕСТО них. Уход за больными  Машинное зрение помогает во время ухода за больными пациентами, а также сокращает количество рисковых для здоровья пациента ситуаций. Компьютерное зрение поможет: обнаружить падение или физическое недомогание пациентов; автоматически оповестить персонал, когда пациентам нужна помощь; уменьшить риск совершения ошибок из-за человеческого фактора; собрать информацию о поведении пациента во время болезни для записи в медицинскую карточку. Медперсоналу необходимо ежедневно заполнять карточки пациентов, на это уходит много времени. Система, которая автоматически идентифицирует каждого пациента и проводит анализ его действий в течение дня, сократит заполнение документов до считанных минут, тем самым окажет помощь врачу.  Фармацевтическая промышленность Применение компьютерного зрения в области фармацевтики:  Контроль дефектов. Компьютерное зрение собирает данные и анализирует их. Например, систему с ИИ используют для визуального осмотра этикеток и таблеток на наличие дефектов, что позволит автоматически отбраковывать такой товар и поставлять только качественную продукцию.  Автоматизация подсчета упаковок. Компьютерное зрение позволяет автоматизировать процесс сбора статистики по количеству произведенной продукции.  Внедрение компьютерного зрения в медицине: этапы работы Разработка проектов на базе искусственного интеллекта включает в себя несколько этапов. Пропуск любого из них может не привести к желаемому результату.  Этап 1. Определение цели проекта В первую очередь надо понять цель проекта, определить метрики для оценки результатов и рассчитать риски проекта. Проработка этого этапа создает отправную точку для начала работы и правильности проектирования ML-системы (ML System Design)  Предположим, что клиника хочет улучшить процесс исследования и постановки диагноза по рентгеновским снимкам. В данном случае цель – уменьшить количество случаев, когда врач ставит неверный диагноз пациенту. На этом этапе можно узнать, какие и в каком количестве размеченные данные (медицинские изображения) есть у клиники, что потом потребуется для работы команды. Это позволит точнее рассчитать количество времени, которое займет выполнение проекта, а также понять, необходимы ли дополнительные специалисты по разметке данных. В случае с рентгеновскими снимками для разметки требуется помощь медицинских работников, которые имеют опыт в работе с ними. Подробнее о технологии в статье Этап 2. Анализ данных На этом этапе происходит сбор и первичный анализ данных, который включает в себя: сбор статистики; оценку качества данных и формулирование первых гипотез для решения задачи.  В частности, можно исследовать данные и выявить нерелевантные примеры. Например, если проект связан с выявлением аномалий на коже женщин, а среди данных есть медицинские изображения кожи детей, то это может быть неприменимо. Данный этап важен тем, что помогает выявить проблемы в данных на ранних стадиях работы.  Медицинские данные специфичны: два разных врача имеют разный опыт работы, соответственно, различные снимки могут быть размечены по-разному. Ниже приведен пример. Для таких случаев одним из способов повышения качества данных и результатов исследования будет «кросс-разметка». Например, можно выдать три одинаковых набора данных трём врачам, которые его размечают. Методом голосования (в случае спорной ситуации) выбирается наиболее вероятная разметка. Данный метод улучшает качество данных, но увеличивает его стоимость примерно в три раза (по сравнению с обычной разметкой, когда этим занимается 1 человек). Этап 3. Подготовка данных После анализа имеющихся данных происходит этап их подготовки. Необходимо с высокой точностью отобрать данные для решения задачи, и очистить их от ненужных элементов, как в примере выше, либо разместить свои.   Для разметки картинок или видео могут использоваться следующие популярные бесплатные инструменты для разметки:  Label Studio CVAT LabelImg Данный этап очень важен и обычно занимает большую часть времени (около 80%) специалиста по Computer Vision во время работы над проектом. Потому что именно от данных в большинстве случаев зависит качество работы моделей. Возвращаясь к теме медицины, важно всегда следить за качеством работы медработников, потому что каждый может это делать правильно, но по-разному. Во время работы с асессорами (разметчиками) используется способ проверки качества их работы, посредством подмешивания заранее размеченных данных в неразмеченный датасет. Достаточно будет 10-15% от всех изображений. Данный способ поможет на ранней стадии выявить плохих асессоров и сократить бесполезную трату средств на их работу. Этап 4. Моделирование После получения данных происходит этап выбора и обучения различных моделей искусственного интеллекта, которые лучше подходят для конкретной задачи. Отбираются лучшие архитектуры и параметры модели, которые дадут наиболее близкие показатели к тем, которые установленные на первом этапе работы.  Приведем пример архитектур нейронных сетей, которые можно использовать для решения задачи CV в медицине: U-Net ResNet VGG  YOLO и т.д.  Опытный специалист может снизить круг поиска моделей и архитектур, но точные метрики получите только после обучения и проведения экспериментов в выбранных вариантов. Одна модель может показывать высокую точность, но быть очень медленной, либо наоборот. Отбор моделей по нужным для бизнеса критериям, которые были установлены на первом этапе, происходит только методом проб.  Для обучения моделей потребуется соответствующее аппаратное обеспечение. Это зависит от выбранной модели и количества имеющихся изображений. Например, в случае обучения YOLOv8 nano на 100 фотографиях может хватить бесплатных облачных решений на Google Colab или Kaggle. Но если вдруг изображений не 100, а 100000, и вы выбираете модель с большим числом параметров (например, YOLOv8X), то для обучения потребуются видеокарты, в которых имеется технология CUDA (от NVIDIA). Либо же придется приобретать платные версии облачных решений. Это необходимо учитывать и во время проектирования дизайна системы. Этап 5. Оценка После моделирования происходит оценка полученных результатов. Ее необходимо провести не только с точки зрения метрик качества моделей, но бизнес-метрик. К примеру, важно определить, работает ли модель достаточно быстро для оперативного внедрения в работу.  Тестовая выборка — часть данных, которую не используют в обучения. Она служит проверкой для модели, которая училась на оставшейся обучающей части данных.  Помимо этого, оценивается время работы моделей, например, сколько времени занимает обработка одного изображения. На данном этапе, если модель не удовлетворяет исходным критериям, можно вернуться на предыдущие этапы и скорректировать данные, чтобы получить приемлемый результат. Этап 6. Внедрение Здесь происходит планирование и внедрение решения, полученного в процессе работы. Внедрение модели включает в себя процесс построения мониторинга за её работой. Это позволит в короткие сроки выявить аномалии в работе в режиме реального времени.   Для оценки качества работы модели с изображениями можно использовать тестовую выбору.  Какие могут возникнуть проблемы? При внедрении ИИ в существующую систему или разработки с нуля, могут возникнуть проблемы, которые негативно скажутся на результатах работы. В частности: Внедрение неподходящего программное обеспечения с технологиями искусственного интеллекта  Некоторые готовые решения не отвечают потребностям компаний или не учитывают специфику их деятельности. Кроме того, сама компания должна быть готова к внедрению новой системы в инфраструктуру предприятия. Это включает в себя не только подготовку оборудования, но и готовность коллектива работать в системе, перестройку бизнес-процессов и планирование дополнительных ресурсов на внедрение ИИ. Оптимальным решением в таком случае нередко помогает привлечение внешних специалистов в области ИИ, что позволит более экономично и быстрее найти необходимые кадры для решения задачи.  Нехватка данных для искусственного интеллекта Медицина — особая сфера для внедрения в неё технологий компьютерного зрения. Одна из проблем для развития в этой области — это нехватка научных данных для обучения моделей. Подготовка и разметка медицинских данных требует вовлечения высококвалифицированных врачей и медицинских сотрудников, то несет дополнительные затраты для компании. Это стоит учитывать в бюджете проекта, особенно на начальных стадиях работы. Одним из решений будет сотрудничество с другими учреждениями, которые также заинтересованы в проекте, и готовы поделиться своими данными.  Сохранение и конфиденциальность персональных данных При работе с персональными данными есть риск их утечки или потери конфиденциальности. Высокий уровень такого риска будет, если не уделить этого вопросу достаточного внимания. Таким образом, перед началом работы надо тщательно продумать сохранность используемых медицинских данных, а также их обезличивание. Финальное решение и ответственность всегда должны быть за врачом. В последние годы технологии значительно улучшили диагностику и лечение, но только квалифицированный специалист может на основе всех данных принять окончательное решение и обеспечить безопасность пациента.  Вывод по использованию CV в медицине Компании всё чаще внедряют в свои бизнес-процессы технологии искусственного интеллекта (машинное обучение, компьютерное зрение, нейронные сети и другие)  не только ради престижа, но и для повышения эффективности и точности обработки данных, и для развития бизнеса. Это дает значительное конкурентное преимущество на рынке. График сравнения автоматизации бизнес-процессов в различных сферах: Источник: опрос общественного мнения, проведенный IBM в 2021 г. Если у вас остались вопросы или хотите разработать IT-проект, обращайтесь по телефону 8-800-200-99-24, по [email protected] или в telegram.

Нейронные сети умеют делать так много всего: распознавать лица, переводить тексты, управлять машинами и даже предсказывать будущее (ну почти). Но вот загвоздка: они как черный ящик. Мы видим результат, но не понимаем, как этот результат достигается. Меня зовут Роман, я специалист Data Science SimbirSoft. Анализ данных и работу с нейросетями мне доводилось использовать на проектах — например, для задачи fraud detection на кассах самообслуживания, и для обработки спутниковых изображений с применением методов компьютерного зрения. В этой статье мы с вами попробуем взглянуть на нейронные сети с другой стороны. Представим одну из сетей механизмом с множеством разных деталей, которые работают вместе. И теперь возникнет вопрос — за что отвечает конкретная деталь? Удобнее всего объяснять работу таких деталей на примере сверточных нейронных сетей, так как зачастую они работают с изображениями, и у нас есть возможность узнать что «видит» конкретная деталь. Статья будет полезной для исследователей и инженеров, занимающихся глубоким обучением и компьютерным зрением, а также для специалистов в области данных, маркетинга и технологий. Понимание работы нейросетей позволит специалистам развить компетенции в сфере искусственного интеллекта, а представителям бизнеса — повысить уровень прозрачности и объяснимости своих решений клиентам и вышестоящему руководству. Область применения нейросетей и вообще искусственного интеллекта крайне широка — мы задействуем их в проектах для наших клиентов, автоматизируя процессы в промышленности, финтехе, страховании, ритейле, строительстве, сельском хозяйстве и других отраслях. Я расскажу о нескольких способах посмотреть, что там происходит у нейронных сетей в «голове». Например, метод «Feature map visualization» помогает понять, какие области изображения интересны разным частям сети (деталям, если использовать аналогию), и как они ее обрабатывают. А «Saliency Maps» показывает, какие области в целом считаются важными для сети. И еще есть «Class Visualization», который помогает узнать, какие признаки на изображении связаны с разными классами объектов. Для наглядности мы возьмем цветное изображение котика и собачки (Рисунок 1). С их помощью мы продемонстрируем, как работают различные методы анализа и визуализации сверточных нейронных сетей. Воспользуемся предобученной моделью VGG-19. Она верно отнесла первое изображение к классу «Siamese cat», а второе к «Samoyed».   Feature map visualization Feature map visualization — это трюк, который используется для сверточных нейронных сетей, и с помощью которого можно посмотреть на их богатый внутренний мир. Метод помогает нам проникнуть в их ум, узнать, что и как они «видят». Для понимания этого процесса можно представить себе сеть как художника. Первый слой — это его начальный набросок, где он ловит линии и края. Эти линии могут быть горизонтальными, вертикальными, или даже наклонными, что мы можем видеть на Рисунке 2. Второй слой — это уже углы и формы. Тут сеть начинает узнавать разные геометрические штуки. На третьем слое начинают проявляться цвета и текстуры. Это как палитра для художника. А вот последний слой (Рисунок 3) — это уже что-то более абстрактное. Он начинает видеть, что это за объекты: кошки, собаки, автомобили и так далее. Это как завершенное произведение искусства художника. Feature map visualization дает нам шанс заглянуть в каждый этап этого творческого процесса и понять, как сеть превращает пиксели в абстрактные представления. Обобщение всех слоев помогают нейронке собрать всю информацию воедино и создать преставление о том, что или кто на картинке. Saliency Maps Важный инструмент в области визуализации нейронных сетей. Эта техника помогает понять, на что именно обращает внимание нейронная сеть при принятии решений. Суть её заключается в том, чтобы выделить те части изображения, которые сильнее всего влияют на предсказанный класс. Saliency Map по сути показывает «яркость» разных частей входных данных. Чем ярче эта область, тем сильнее она влияет на решение сети. Так на Рисунке 4 сеть посчитала глаза котика, его мордочку и лапки особенно важными. Эта техника имеет широкое применение в различных областях. Например, для задачи классификации дорожных знаков. Знаки часто похожи друг на друга, а Saliency Maps помогает выявить уникальные признаки, основанные на их цвете и форме, что важно для правильной классификации. Аналогично такая техника может найти применение в задаче классификации одежды, помогая определить тип или стиль одежды. Class Visualization Техника визуализации нейронных сетей, известная как Class Visualization, играет важную роль в раскрытии тайн глубокого обучения. Она открывает перед нами возможность заглянуть внутрь и понять, как именно нейронные сети ассоциируют определенные характеристики с конкретными классами объектов. Это подобно раскрыванию секретов их внутреннего мира, где формируются представления о том, что такое «кошка», «машина» или любой другой объект, на который они обучены реагировать. Этот подход основан на том что, вначале генерируется абсолютно случайное изображение. Затем мы показываем это изображение нейронной сети и пытаемся изменить это изображение так, чтобы активировать определенные нейроны, отвечающие за конкретный класс (например, кошки или собаки). В процессе обучения изображение постепенно «очищается» от шума, становится всё ближе к тому, что нейронная сеть считает типичным для класса. Таким образом, мы получаем визуализацию того, какие признаки и структуры сеть ассоциирует с определенным классом. Эта фишка может быть полезной не только для того, чтобы просто узнать, как работает наша модель, но и для того, чтобы улучшить её. Мы можем убедиться, что нейросеть действительно замечает те признаки, которые мы считаем важными. Так на рисунке 5 видно, что для котика можно увидеть, что-то похожее на его темную мордочку с ушками, а для самоедской собаки характерны глазки-бусинки и белая мордочка. Заключение Подытожим, какие инструменты мы изучили: Feature map visualization помог выяснить, что сети начинают с простых штук, типа линий и цветов, а потом переходят к сложным абстрактным паттернам. Saliency Maps выявил особенно важные «яркости» на картинке. Class Visualization подсказал, какие образы ассоциируются с разными классами объектов. Теперь мы немного лучше понимаем, как работают эти черные ящики — нейросети. Доступные инструменты предоставляют уникальную возможность визуализировать и анализировать, как нейронная сеть «думает», и какие признаки она выделяет в изображениях. Получив понимание того, как нейросети обрабатывают визуальную информацию, вы сможете лучше применять эти знания в своей сфере деятельности. В теории рассмотренные подходы могут найти применение в различных отраслях, предоставляя возможность анализа визуальных данных с целью повышения эффективности и качества бизнес-процессов. Узнайте больше о наших возможностях разработки продуктов на базе Data Science и Machine Learning. Источники и информация для самостоятельного изучения: https://distill.pub/2017/feature-visualization/ https://distill.pub/2017/feature-visualization/appendix/ https://cs231n.github.io/understanding-cnn/ https://yosinski.com/deepvis https://machinelearningmastery.ru/visual-interpretability-for-convolutional-neural-networks-2453856210ce/