Как работает офлайн‑ИИ в смартфонах: простое объяснение NPU и мобильных нейросетей

Объясняем «на пальцах», почему телефон сегодня справляется с ИИ‑задачами без интернета, что такое NPU и TOPS, и как понять, «потянет» ли ваш аппарат локальные ассистенты, перевод и "фото‑магию".

Офлайн‑режим даёт три ключевые вещи: приватность — данные не передаются в облако; скорость — задержка минимальна и не зависит от сети; предсказуемость — всё работает в самолёте, метро и в зонах с плохим интернетом. Это особенно важно для диктовки и перевода речи, «волшебной» ретуши фото, поиска по галерее, редактирования заметок, подсказок в клавиатуре и диалога с компактной языковой моделью прямо на устройстве. Позицию индустрии хорошо иллюстрирует формулировка Тима Кука: «мы не принимаем, что между приватностью и интеллектом есть компромисс».

NPU (Neural Processing Unit) — специализированный «процессор» для математики нейросетей, которым начали снабжать современные смартфоны. Универсальный CPU справляется со всем понемногу, но неэффективен на массивных матричных операциях. GPU отлично умножает матрицы, но потребляет больше энергии и не всегда удобен для смешанных точностей. NPU можно представить как аппаратный калькулятор для типовых слоёв — свёрток и матричных умножений, — c оптимизированными буферами и конвейерами. Отсюда — высокая производительность на ватт и меньше нагрев на длинных сессиях. Современные мобильные платформы поддерживают вычисления в низких разрядностях (например, INT4/INT8) и оптимизации памяти; в документах Qualcomm для линейки Snapdragon, в частности, упоминаются механизмы, снижающие «узкие места» памяти — Hexagon Direct Link и Micro Tile Inferencing.

Производительность NPU принято измерять в единицах TOPS — «триллионы операций в секунду». Но его считают по‑разному: в INT8, INT4 или FP16, в пиковом или устойчивом режиме. Важнейшую роль играет и пропускная способность памяти, если она мала, очередь из тензоров затормозит даже очень быстрый ускоритель. Поэтому одинаковые цифры TOPS у разных устройств вовсе не гарантируют одинаковое время выполнения задач ИИ.

Типичный путь таков. Сначала подготавливается вход: видео идёт через ISP, речь преобразуется в спектрограмму, текст — в токены. Затем фреймворк (Core ML/Metal на iOS, NNAPI/TFLite/ONNX на Android) раскладывает вычислительный граф и направляет подходящие части на NPU, а оставшееся распределяет между GPU, DSP и CPU. Далее подключаются оптимизации — квантизация в INT8/INT4, сжатие весов, разреженность и слияние операторов — после чего результат проходит постобработку: апскейл и подавление артефактов у фото и видео, детокенизация у речи, выбор температуры и стоп‑слов для текстовых моделей. Наконец, система кеширует словари, эмбеддинги и локальные адаптеры (например, LoRA), чтобы ответы лучше соответствовали вашему стилю. В Android за низкую задержку и актуальность локальной модели отвечает системная служба AICore, через которую Gemini Nano использует аппаратные ускорители и автоматически обновляется на устройстве.

В камере локально считаются HDR‑стеккинг, шумоподавление, портретные маски и «ластик»; голосовые функции — распознавание и перевод в реальном времени, субтитры и диктовка — тоже работают на устройстве; с текстом возможны суммаризация заметок, умные ответы и поиск по содержимому телефона; в задачах доступности Android TalkBack формирует описания изображений офлайн благодаря мультимодальному Gemini Nano; а в вопросах безопасности помогает приватная категоризация фото и выявление типичных схем мошенничества без отправки данных наружу.

При выборе имеет смысл сначала смотреть на функции «из коробки» — не на маркетинговые цифры, а на то, что действительно доступно офлайн на вашем языке и в вашей стране (для Pixel, iPhone и Galaxy ориентируйтесь на официальные страницы и справку по конкретным функциям). Далее оцените память: для локальных моделей удобны 12–16 ГБ ОЗУ, а 8 ГБ подойдут для компактных сценариев; если планируете держать несколько моделей, разумно брать от 256 ГБ хранилища. Важна экосистема: на iOS это поддержка Core ML в нужных приложениях, на Android — свежие драйверы NPU и интеграция с AICore/NNAPI. Обратите внимание на теплопакет и автономность — длительные задачи быстро выявляют слабое охлаждение. Проверьте настройки приватности: хорошо, когда можно жёстко выбрать «только устройство» или гибрид и видеть, что именно идёт в облако; показательна архитектура PCC с независимой проверкой кода и криптографической аттестацией. И, наконец, ориентируйтесь на реальные метрики: для текстовых моделей это скорость генерации и доступная длина контекста, для фото и видео — время применения эффектов без падения производительности.

Миф «больше TOPS — всегда быстрее» не выдерживает проверки: часто всё упирается в пропускную способность памяти и качество софта. Идея «скоро всё станет полностью офлайн» тоже неверна: гибридная модель — когда на устройстве выполняется максимум возможного, а облако берёт на себя действительно тяжёлые задачи — останется нормой, и это прямо признают производители. Наконец, квантизация вовсе не обязательно ухудшает качество: при грамотной калибровке INT8/INT4 дают существенную экономию ресурсов при незаметной для пользователя разнице, тем более что поддержка низких разрядностей давно присутствует в мобильных NPU.

NPU — не волшебная коробочка, а инструмент, который делает ИИ‑возможности смартфона быстрыми, приватными и доступными везде. Однако сегодня индустрия сходится на гибридной модели: офлайн‑ИИ берёт на себя максимум, а облако подключается лишь там, где без больших моделей не обойтись — именно так формулирует подход и Samsung.