Intel и Phison стремятся решить главную проблему локального ИИ

Не каждый пользователь хочет запускать искусственный интеллект локально на своем ПК. Однако, если вы все же выбираете этот путь, возникает серьезная проблема: большинство сложных моделей ИИ не могут уместиться в рамках оперативной памяти и хранилища вашего компьютера. Компании Phison и Intel работают над решением этой задачи.

Благодаря решению aiDAPTIV от Phison, модель ИИ с 26 миллиардами параметров может быть запущена на ноутбуке с 16 ГБ оперативной памяти, тогда как обычно для этого требуется 32 ГБ. Это дает два ключевых преимущества: во-первых, локальный ИИ становится доступен для большего числа ноутбуков; во-вторых, более мощные ноутбуки могут загружать еще более крупные модели или выполнять другие задачи параллельно с работой ИИ. Без такой оптимизации ИИ может монополизировать системные ресурсы ПК, препятствуя выполнению другой работы, что иногда вынуждает пользователей приобретать специализированные ПК для ИИ.

Это простое решение повышает производительность, позволяя запускать более крупные модели ИИ на ПК или освобождая ресурсы ноутбука для других задач.

Нехватка памяти

Часть аппаратной проблемы ИИ заключается в необходимости вычислять токены — будь то для простой просьбы к большой языковой модели (LLM) написать стихотворение или для более сложного набора инструкций по мониторингу цен на нефть и прогнозированию. В любом случае токены генерируются "на лету" в видеопамяти. (Традиционно Intel разделяла половину системной оперативной памяти ноутбука между встроенным графическим процессором и Windows, прежде чем предоставить пользователям возможность вручную регулировать это распределение, начиная с августа 2025 года.)

Проблема в том, что по мере продолжительного взаимодействия пользователя с LLM, модель должна запоминать как первоначальные инструкции запроса, так и последующие обновления. Эти данные могут быть либо пересчитаны заново, либо сохранены в качестве ссылки. Однако функции ИИ обычно обрабатываются в видеопамяти или в системной оперативной памяти, которая используется совместно с GPU. Результат? Общая производительность системы значительно снижается.

Поскольку оперативная память является основным местом вычислений для функций ИИ, использование ее части для "хранения" данных снижает общую эффективность работы.

Однако существует решение, с которым вы, вероятно, уже знакомы. Microsoft Word работает на центральном процессоре вашего ПК, используя оперативную память, но документы хранятся в облаке или на SSD. Если Word нужен документ, он запрашивает у Windows получение его с SSD. Phison применяет схожий принцип.

Решение aiDAPTIV от Phison использует высокопроизводительную флеш-память NAND с повышенным сроком службы в качестве кэша для ИИ, сохраняя токены для последующего использования. (Технически, кэш хранит данные "ключ-значение" (KV), объем которых увеличивается с длиной контекста и размером модели.) Обычно такой подход замедлял бы весь процесс. Однако aiDAPTIV стремится предугадывать потребности модели, интеллектуально обмениваясь данными между оперативной памятью и SSD, что позволяет запускать более крупные модели без ущерба для производительности.

Phison утверждает, что технология aiDAPTIV может ускорить время отклика (время до первого токена) локального ИИ до почти мгновенных значений, даже при увеличении размера контекстного окна.

Как заявили обе компании, сотрудничество сосредоточено на внедрении технологии Phison на платформах Intel AI PC, работающих на базе процессоров Intel Core Ultra, включая поддержку инструментария OpenVINO. Вместе Phison и Intel работают над демонстрацией этой технологии для разработчиков программного обеспечения, которые в конечном итоге смогут оптимизировать свои приложения под данное решение.

Разумеется, это предположение справедливо, если пользователи предпочитают запускать ИИ локально, а не в облаке с такими сервисами, как ChatGPT или Claude. Также подразумевается, что пользователи захотят использовать "полноценные" версии своих моделей ИИ, а не квантованные модели, которые жертвуют точностью ради снижения требований к памяти и увеличения скорости.

Мы уже проходили этот путь…

Концепция aiDAPTIV кажется достаточно простой, но есть потенциальный подвох. Совместная работа ведется с использованием специализированных SSD-накопителей Phison семейства Pascari AI100E, разработанных для высокой износостойкости и стабильной производительности. Это наводит на мысль, что успешная реализация может потребовать от производителей ноутбуков закупать именно SSD Pascari.

Intel уже сталкивалась с подобными ситуациями. Optane, основанная на памяти 3D XPoint, была совершенно новым типом памяти, разработанным совместно Intel и Micron, и вела себя скорее как традиционная оперативная память, чем как флеш-память. Однако отсутствие потребительского спроса вынудило Intel прекратить выпуск своих SSD Optane в 2021 году, а годом позже списать полмиллиарда долларов запасов.

Четверть века назад индустрия также наблюдала за запуском, задержками и последующим крахом Direct Rambus DRAM, когда производителям памяти предлагалось присоединиться к партнерству между Intel и Rambus по поводу конкретного типа памяти для ПК. Хотя публично производители памяти соглашались, в частном порядке они критиковали Rambus и ее лицензионные требования. Какой из этого урок? Техническое преимущество — это одно, но принуждение к использованию одного поставщика или технологии — это совсем другое. Посмотрим, как разовьются события на этот раз.