Профессия инженер по компьютерному зрению: что это за специалисты и чем они занимаются

Объем данных в формате видео и изображений постоянно увеличивается. Чтобы быстро и качественно его обработать, человек использует специальную технологию – компьютерное зрение. Она работает на основе ИИ, который распознает разные объекты, считает их, идентифицирует, обрабатывает информацию и выявляет закономерности. Создают и запускают такие системы специализированные инженеры по компьютерному зрению. В этой статье мы разберемся в особенностях и перспективах этой профессии.

Кто такой инженер по компьютерному зрению

Где нужны специалисты по компьютерному зрению

Задачи инженера по компьютерному зрению

Какие нужны навыки и знания

Средняя зарплата

Кто такой инженер по компьютерному зрению

Computer Vision Engineer (CV-инженер) – специалист, основной задачей которого является обучение компьютера извлечению информации из фотографий, картин, видеозаписей и т. д. Алгоритмы должны автоматически «видеть» и выделять определенные явления: жесты, объекты, состояния, движения, мимику. Главная идея заключается в том, что нейросеть можно обучить различать практически все, что способен увидеть человек. Достаточно перевести действия, которые совершают глаз и мозг, на язык математики. Например, человек способен заметить дефект упаковки, компьютер тоже может это сделать. Благодаря компьютерному зрению удается автоматизировать и упростить многие процессы. 

Профессия AI-тренера и разработчика компьютерного зрения – это инновационное и сравнительно новое направление IT. Специалисты такого профиля востребованы в технологичных государственных структурах, крупных компаниях и даже стартапах. 

Часто разработчики этой профессии работают в команде с другими специалистами, связанными с ИИ. Вместе они разрабатывают комплексный IT-продукт под задачи бизнеса. 

Где нужны специалисты по компьютерному зрению

Компьютерное зрение постепенно проникает в самые разные сферы человеческой жизни. Фактически использовать такие разработки можно практически везде, где используются изображения и видео. 

Беспилотные автомобильные технологии. Видеокамеры передают нейросети изображения, чтобы та определила важные детали. Например, ИИ способен контролировать движение в рамках полосы, определять значение дорожных знаков, «находить» другие транспортные средства и людей на проезжей части и т. д. Эти технологии уже внедрены в электрокарах Tesla (Tesla Vision на базе Nvidia CUDA).

Медицина. Компьютерное зрение решает сразу несколько задач. ИИ помогает обнаруживать заболевания по результатам исследований (МРТ, рентген, УЗИ). Нейросети анализируют большой объем данных (в том числе на основе изображений) и выявляют закономерности, которые вручную вряд ли удалось бы обнаружить.   

Логистика.На складах компьютерное зрение помогает сортировать товары и отслеживать их правильное размещение на полках. Одно из применений: программа, которая по фотографии детали выдает ее место на складе и значительно сокращает трудозатраты кладовщика. Контроль пространства на стеллажах и инвентаризация может осуществляться с помощью дронов с камерами, которые распознают товары и считывают RFID-метки.

Сельское хозяйство. Компания skydance.ai разработала решение для ферм, которое позволяет с помощью дронов и нейросетей анализировать состояние растений, выявлять заболевания и оперативно передавать информацию сотрудникам. 

E-commerce. Интернет-магазины, маркетплейсы и классифайды (доски объявлений) могут использовать компьютерное зрение, чтобы выявлять карточки товаров, которые нарушают правила площадки или законодательство. Еще один вариант применения – поиск предложений, совпадающих с загруженной пользователем фотографией. Например, эта технология используется на AliExpress и Wildberries.

Банкинг. С 2017 года в банке Тинькофф работает система распознавания лиц на основе платформы VisionLabs LUNA. Это помогает отслеживать случаи мошенничества, быстро верифицировать клиентов по фото.

Общественная безопасность. Компьютерное зрение помогает выявлять преступников на улицах, фиксировать правонарушения и нарушения ПДД. Например, ИИ способен искать людей без масок в общественном транспорте во время эпидемий (например, пандемия коронавируса).

Задачи инженера по компьютерному зрению

Ниже мы опишем стандартные задачи, которые решает специалист с профессией AI-инженера по компьютерному зрению.

• Создание алгоритмов обработки. Специалист разрабатывает алгоритмы, по которым компьютер в дальнейшем анализирует изображения или видео, распознает объекты на них, выделяет нужные элементы.
• Создание моделей машинного обучения. Такой AI-специалист совместно с профильными ML- и DL-инженерами работает над построением моделей глубокого обучения для распознавания объектов, классификации, выявления отклонений. Также он может работать как тренер, размечая данные и загружая их в ИИ.
• Кодинг. CV-инженер работает с библиотеками и инструментами, которые помогают создавать модели компьютерного зрения. В зависимости от задач и особенностей проекта это могут быть OpenCV, TensorFlow, PyTorch и другие.
• Тестирование и оптимизация. Специалисты сопровождают работу моделей, корректируют их, добавляют новые данные, улучшают скорость и точность распознавания объектов.
• Интеграция решений. Перед инженером стоит прикладная задача внедрить компьютерное зрение в производство или быт. Для этого он может участвовать в разработке приложений, API, пользовательского интерфейса и т. д.
• Саморазвитие. Компьютерное зрение – новая и динамично развивающаяся сфера. Специалист должен быть в курсе новых тенденций, узнавать о важных исследованиях, осваивать инструменты и технологии, общаться с другими профессионалами на профильных форумах и митапах. Все это поможет развиваться, получать более сложные и высокооплачиваемые задачи.

Какие нужны навыки и знания

Как правило, специалисты приходят в сферу компьютерного зрения из Machine Learning. Они пользуются базовыми знаниями и осваивают новые инструменты и алгоритмы. Перечислим навыки и знания, которые необходимы, чтобы начать работать в Computer Vision.

• Программирование. Инженеру понадобится владеть объектно-ориентированным программированием. Плюсом будет понимание базовых принципов разработки и жизненного цикла продукта. Работа с компьютерным зрением – это прикладная область, инженер в основном занят созданием программного обеспечения. Чтобы выпускать продукты в релиз и поддерживать их, важно владеть навыками тестирования и отладки ПО.
• Языки программирования, библиотеки, фреймворки. Для качественной работы специалисту нужно владеть большим количеством инструментов. TensorFlow – библиотека для машинного обучения, глубокого обучения, моделей, требующих сложных числовых вычислений. YOLO – алгоритм, который способен обнаруживать объекты в реальном времени, работает на сверточных нейросетях. OpenCV – библиотека для решения задач по созданию компьютерного зрения. Python – один из основных языков программирования для создания и обучения нейросетей. MATLAB – язык программирования, который дает возможность обрабатывать изображения, проводить крупномасштабный численный анализ, строить графики. Keras – библиотека для Python, с помощью которой можно создавать модели глубокого обучения и Computer Vision. CUDA – API производства Nvidia, который используется для графической обработки и параллельных вычислений. PyTorch – библиотека на Python, которую можно использовать для обработки изображений.
• Математика. Чтобы освоить эту профессию, необходимо обладать знаниями в области линейной алгебры, дифференциального и интегрального исчисления, преобразования Фурье, теории вероятности и статистики.

Компьютерное зрение – прикладная область разработки, поэтому инженеру придется не только тестировать теории, но и создавать практические решения, заниматься рутинными операциями, настраивать инфраструктуру и заниматься поддержкой. Поэтому работодатели в первую очередь обращают внимание на навыки программирования, а не теоретические знания.

Средняя зарплата

Спрос на специалистов в области компьютерного зрения сейчас выше, чем количество CV-инженеров на рынке. Из-за этого их зарплата оказывается достаточно высокой даже на грейде Middle.

• Начинающие специалисты получают примерно 100 тыс. рублей в Москве.
• Инженеры среднего грейда получают от 150 до 250 тыс. рублей.
• Специалисты уровня Senior могут рассчитывать на зарплату от 300 тыс. рублей.

Все, кто ведет рекламу в сервисе click.ru, могут пользоваться маркетплейсом маркетинговых инструментов. Среди них есть курсы в популярных образовательных проектах Нетология, SkyPro, Яндекс.Практикум и других. С помощью заработанных на ведении рекламы через click.ru баллов можно покупать программы в этих школах бесплатно. Также благодаря партнерской программе можно возвращать часть потраченных на продвижение денег.