Инновации в машинном обучении: последние достижения и компании, которые их внедряют

В современном мире инновации в машинном обучении играют ключевую роль в развитии многих отраслей. За последние годы мы стали свидетелями значительных достижений в этой области, которые привели к созданию новых продуктов и услуг, улучшению существующих процессов и повышению эффективности работы компаний. В данной статье мы рассмотрим последние инновации в машинном обучении и компании, которые активно их внедряют, опираясь на данные с июня 2023 по июнь 2024 года.

Топ 5 компаний по количеству вакансий ML-инженер

Анализ количества вакансий для ML-инженеров в компаниях, может дать представление о причинах, по которым эти компании находятся в топе по количеству предложений. Ниже рассмотрим возможные причины для каждой компании.

СБЕР

• Масштаб и разнообразие бизнеса. Сбер — крупнейший банк в России, который активно развивает свои технологии, включая области искусственного интеллекта и машинного обучения. Банк имеет множество подразделений, где могут применяться ML-решения.
• Инвестиции в технологии. Сбер активно инвестирует в развитие новых технологий, создавая собственные исследовательские центры и привлекая ведущих специалистов в области ML и AI.
• Обширная клиентская база. Сбер обслуживает миллионы клиентов, что генерирует огромные объемы данных, которые требуют анализа и обработки с использованием методов машинного обучения.

Яндекс

• Разнообразие продуктов. Яндекс развивает множество продуктов и сервисов (поиск, карты, навигаторы, такси, реклама, и т.д.), что требует использования ML-алгоритмов для улучшения их работы и пользовательского опыта.
• Научно-исследовательская деятельность. Компания активно занимается научными исследованиями в области машинного обучения и искусственного интеллекта, что привлекает специалистов и генерирует потребность в большом количестве вакансий. 

Т-банк

• Цифровизация и клиентская аналитика. Банк активно использует машинное обучение для улучшения своих продуктов, управления рисками, персонализации предложений и повышения уровня обслуживания клиентов.
• Стремление к лидерству в финтехе. Т-банк стремится быть лидером в области финансовых технологий, что требует постоянного внедрения и развития ML-решений. 

 VK

• Социальная сеть и медиа. VK является одной из крупнейших социальных сетей в России и странах СНГ, что обуславливает необходимость в анализе больших данных и использовании ML для улучшения пользовательского опыта, рекомендаций контента и подбор рекламы.
• Разнообразие сервисов. Помимо социальной сети, VK развивает множество других сервисов, таких как видео, музыка, платежи и другие, где также применяются технологии машинного обучения.
• Большая пользовательская база. VK имеет огромную пользовательскую базу, данные которой можно анализировать для улучшения продуктов и сервисов.

Positive Technologies

• Кибербезопасность. Positive Technologies специализируется на кибербезопасности, где машинное обучение используется для анализа угроз, обнаружения аномалий и защиты информационных систем.
• Непрерывное развитие технологий. В сфере кибербезопасности постоянно появляются новые вызовы, требующие развития и внедрения новых ML-алгоритмов для их эффективного решения. 

Таким образом, основными причинами высокого количества вакансий в этих компаниях являются их масштаб, сфера деятельности, инновационность и стремление быть лидерами в своих областях.

В данной части статьи мы рассмотрим подробнее топ-5 компаний по количеству вакансий для ML-инженеров. Для каждой из этих компаний мы выделим ключевые проекты, в которых применяются технологии машинного обучения, а также рассмотрим их значимость и влияние на бизнес.

СБЕР

Ключевые проекты с использованием машинного обучения в компании «Сбер» на данный момент:

Кредитные решения с использованием ИИ

С марта 2024 года «Сбер» принимает 100% кредитных решений для физических лиц с помощью искусственного интеллекта. В 2023 году это принесло банку дополнительно 350 млрд рублей, а в 2024 году ожидается доход в размере 400-450 млрд рублей.

Значимость и влияние:

1. Рост доходов — Увеличение доходов за счет оптимизации процессов.
2. Эффективность — Быстрое и точное принятие решений.
3. Конкурентное преимущество — Улучшенное обслуживание клиентов.

 Нейросеть Kandinsky и ИИ-сервисы GigaChat и Kandinsky

«Сбер» развивает ИИ-сервисы GigaChat и Kandinsky, обеспечивающие создание фотореалистичных изображений на более чем 100 языках. К марту 2024 года их пользователями стали 18 миллионов человек.

Значимость и влияние:

1. Расширение возможностей — Инструменты для работы с изображениями и видео.
2. Рост пользовательской базы — Увеличение доходов от ИИ-сервисов.
3. Улучшение качества — Привлечение и удержание пользователей.

SaluteVision Mobile SDK

В феврале 2023 года «Сбер» выпустил SaluteVision Mobile SDK, разработанный SberDevices, для интеграции компьютерного зрения в мобильные приложения на Android и iOS. Эти модели распознают и обрабатывают QR- и Aztec-коды и машиночитаемые паспорта.

Значимость и влияние:

1. Упрощение разработки — Доступ к мощным инструментам для разработчиков.
2. Повышение производительности — Быстрое и точное распознавание документов и кодов.
3. Расширение возможностей — Улучшение транзакций и обслуживания клиентов через приложение «СберБизнес».

«Сбер» успешно интегрирует машинное обучение, улучшая финансовые показатели, эффективность операций и качество обслуживания клиентов, что способствует росту конкурентоспособности и доходов банка.

Яндекс

Ключевые проекты с использованием машинного обучения в компании «Яндекс» на данный момент:

ML-калькулятор стоимости жилья в «Яндекс Недвижимость»

«Яндекс Недвижимость» представил ML-калькулятор для расчета стоимости недвижимости. Пользователи могут загрузить данные о квартире и получить информацию о динамике цен и ближайших районах. Калькулятор использует данные из 35 миллионов объявлений за 15 лет и учитывает 200 параметров.

Значимость и влияние:

1. Точность — Обеспечение точной информации о стоимости жилья.
2. Удобство — Доступ к аналитике рынка недвижимости.
3. Привлечение пользователей — Увеличение числа клиентов сервиса

Конференция Practical ML Conf

«Яндекс» организовал конференцию Practical ML Conf для специалистов в области машинного обучения. Конференция охватывает темы ML-разработки, компьютерного зрения, обработки естественного языка и другие.

Значимость и влияние:

1. Обучение — Повышение квалификации специалистов.
2. Сетевое взаимодействие — Укрепление профессиональных связей.

Добавление 4 миллионов деревьев в «Яндекс Карты»

В «Яндекс Картах» появились более 4 миллионов 3D-моделей деревьев в Москве и Санкт-Петербурге. ML-модель анализировала аэрофотоснимки для определения координат, типа и размера деревьев, обучаясь на данных пользователей «Народной карты».

Значимость и влияние:

1. Улучшение карт — Повышение точности и реалистичности карт.
2. Экологическая информированность — Помощь в выборе мест для прогулок и оценке районов.
3. Автоматизация — Снижение трудозатрат на разметку деревьев. 

Т-банк

Ключевые проекты Т-банка с использованием машинного обучения: влияние на бизнес

Центр Технологий Искусственного Интеллекта

В ноябре 2020 года Т-банк создал Центр Технологий Искусственного Интеллекта, объединив все проекты с машинным обучением и искусственным интеллектом. В январе 2021 года в центре появился отдел исследований, демонстрирующий лидерство Т-банк в сфере ИИ.

Проекты и их значимость:

Showing Your Offline Reinforcement Learning Work: Online Evaluation Budget Matters

Улучшение методов оценки моделей в Offline Reinforcement Learning, оценивая агента по количеству перебранных гипер-параметров.

Значимость:

1. Точность — Повышение точности оценки новых алгоритмов.
2. Инновации — Укрепление научного лидерства через публикации.

PALBERT: Teaching ALBERT to Ponder

Оптимизация NLP-моделей, адаптивно использующих слои для обработки данных.

Значимость:

1. Эффективность — Быстрое и точное обработка текстов.
2. Снижение затрат — Оптимизация вычислительных ресурсов.
3. Универсальность — Применение для различных задач.

Анализ зависимостей бинарных файлов на основе ML

Binary SCA анализирует бинарный код и определяет зависимости с помощью Asm2Vec и VulHawk.

Значимость:

1. Безопасность — Точное определение зависимостей и выявление уязвимостей.
2. Снижение рисков — Быстрое выявление библиотек и версий ПО.
3. Инновации — Новые возможности в кибербезопасности.
4. Успехи в исследованиях и публикации укрепляют позиции Т-банк в области ИИ. Компания продолжает внедрять ML и AI-решения в бизнес-процессы, улучшая продукты и услуги для клиентов.

VK

Ключевые проекты с использованием машинного обучения в компании «VK» на данный момент:

Data Clean Room

VK тестирует Data Clean Room для безопасной работы с данными партнёров. Решение позволяет делиться обезличенными параметрами и обучать ML-модели без обмена информацией. Проект впервые использован сетью «Рив Гош».

Значимость и влияние на бизнес:

1. Безопасность данных — Обеспечивает безопасную среду, снижая риск утечек.
2. Совместное обучение — Ускоряет процесс и повышает точность моделей.
3. Маркетинг и продажи — Улучшает исследование рынка и маркетинговые коммуникации, увеличивая продажи.

MLOps-конвейер для распознавания лиц

VK Cloud внедрил MLOps-конвейер на базе Cloud ML Platform для обучения моделей и создания сервиса распознавания лиц, включая JupyterHub и MLflow.

Значимость и влияние на бизнес:

1. Ускорение разработки — Сокращает время разработки и внедрения ML-решений.
2. Точность — Современные подходы повышают точность распознавания лиц.
3. Универсальность — Подходит для различных сценариев, таких как СКУД и маркетинг.
4. Снижение затрат — Минимизирует затраты на разработку и поддержку инфраструктуры.

Оба проекта VK демонстрируют значительное влияние ML на бизнес, повышая безопасность данных, улучшая аналитику и маркетинг, а также ускоряя процессы разработки и внедрения решений.

Positive Technologies

Анализ уязвимостей и угроз

Positive Technologies применяет машинное обучение для автоматизированного анализа уязвимостей в информационных системах и сетях. Их решения используют алгоритмы ML для предсказания потенциальных угроз на основе собранных данных о уязвимостях и атаках.

Значимость и влияние на бизнес:

1. Повышение эффективности — Автоматизация процесса анализа позволяет значительно сократить время на выявление и оценку уязвимостей, что важно в условиях постоянной угрозы кибератак.
2. Улучшение точности — ML-модели помогают минимизировать количество ложных срабатываний, что позволяет специалистам сосредоточиться на действительно критичных угрозах.
3. Конкурентное преимущество — Эффективное обнаружение и нейтрализация угроз позволяет Positive Technologies предоставлять своим клиентам более надежные решения для кибербезопасности, укрепляя свои позиции на рынке.
4. Снижение рисков — Клиенты Positive Technologies могут лучше защищать свои информационные системы, что снижает потенциальные убытки от кибератак и нарушений безопасности.

Оптимизация процессов тестирования безопасности

Positive Technologies внедряет ML для автоматизации и улучшения процессов тестирования безопасности программного обеспечения. Машинное обучение помогает создавать более эффективные и точные тестовые сценарии и выявлять потенциальные уязвимости в коде.

Значимость и влияние на бизнес:

1. Ускорение тестирования — Автоматизация тестирования снижает время, необходимое для выявления уязвимостей и улучшения кода, что ускоряет процесс выпуска новых версий.
2. Повышение точности — Использование ML позволяет более точно определять проблемные области, минимизируя количество пропущенных уязвимостей и ложных положительных результатов.
3. Качество продуктов — Клиенты Positive Technologies получают более качественные и безопасные программные решения, что повышает их доверие к компании.
4. Снижение затрат — Эффективность тестирования и обнаружения уязвимостей снижает затраты на исправление ошибок и уменьшает время на разработку.

Внедрение машинного обучения в эти проекты Positive Technologies позволяет компании оставаться на передовой в области кибербезопасности, предоставляя своим клиентам высококачественные и эффективные решения, что в свою очередь укрепляет их бизнес-репутацию и конкурентные позиции.

Далее мы рассмотрим какие hard skills востребованы для ML-инженеров.

Топ hard skills для ML-иженеров

График представляет собой топовые навыки (hard skills), необходимые для профессии ML-инженера. Вот что мы получили из него:

1. Python является самым важным навыком с количеством 1296. Это указывает на высокую значимость программирования на Python в области машинного обучения благодаря его простоте и обширной библиотечной поддержке.
2. Машинное обучение занимает второе место по важности с количеством 1240. Это отражает необходимость понимания алгоритмов, моделей и техник, специфичных для машинного обучения.
3. Git с количеством 560, является важным навыком для управления версиями и совместной работы в проектах по разработке программного обеспечения и машинному обучению.
4. SQL имеет количество 532, что подчеркивает необходимость управления базами данных и умения работать со структурированными данными.
5. Docker с количеством 509 важен для контейнеризации, позволяя создавать стабильные среды разработки и облегчать развертывание моделей машинного обучения.
6. Навыки анализа, представленные количеством 401, необходимы для интерпретации данных и результатов, что является ключевой частью процесса машинного обучения.
7. Навыки работы с Linux, с количеством 392, важны для работы с различными средами разработки и управления серверами, на которых часто развертываются модели машинного обучения.
8. Pandas с количеством 368 является важной библиотекой для манипуляции и анализа данных в Python, широко используемой на этапах предобработки и очистки данных в машинном обучении.
9. Apache с количеством 352, вероятно, относится к Apache Spark или другим связанным инструментам для обработки больших данных и распределенных вычислений.
10. NumPy с количеством 349, необходим для численных вычислений и часто используется вместе с другими библиотеками, такими как Pandas и SciPy.

Python и навыки машинного обучения являются самыми важными, за ними следуют инструменты и библиотеки, поддерживающие разработку, управление данными и анализ. Владение этими навыками критично для успеха в области машинного обучения.

Итоги

Инновации в машинном обучении оказывают заметное влияние на развитие компаний и отраслей. Рассмотренные достижения показывают, как ML-решения улучшают бизнес-процессы и создают конкурентные преимущества. Внедрение ключевых hard skills, таких как Python, машинное обучение, Git, SQL и Docker, является критически важным для успеха в этой области. Эти навыки позволяют специалистам разрабатывать и внедрять эффективные ML-решения, которые повышают производительность и инновационный потенциал компаний.

Основные выводы по компаниям из топа:

Сбер активно применяет ML в финансовых решениях, что увеличивает доходы и улучшает обслуживание клиентов. Проекты, такие как автоматизация кредитных решений и ИИ-сервисы, способствуют значительному росту эффективности.

Яндекс использует ML для повышения точности сервисов, таких как «Яндекс Недвижимость» и «Яндекс Карты». Инновационные решения улучшают пользовательский опыт и укрепляют позиции компании в технологиях.

Т-банк через Центр Технологий Искусственного Интеллекта и проекты по анализу бинарных файлов и NLP-моделей улучшает точность обработки данных и сокращает затраты.

VK применяет ML для повышения безопасности данных и создания MLOps-конвейера. Проекты, такие как Data Clean Room и распознавание лиц, укрепляют аналитические возможности и безопасность.

Positive Technologies использует ML для автоматизации анализа угроз и оптимизации тестирования безопасности, что повышает точность и скорость выявления уязвимостей.

Таким образом, внедрение ML в бизнес-процессы помогает компаниям улучшать эффективность, безопасность и качество услуг, обеспечивая их конкурентные преимущества и устойчивое развитие.