Вчера появилась информация о том, что разработчик сумел обойти ограничения Neural Engine в чипах M4 и активировать возможность обучения моделей искусственного интеллекта прямо на устройстве, чего Apple до этого официально не разрешала. Обычно Neural Engine в M4 используется только для инференса — запуска уже обученных моделей с высокой эффективностью. Однако исследователь сообщил, что ему удалось при помощи реверс-инжиниринга обойти ограничения и открыть доступ к вычислительной мощности до 15,8 TFLOPS для полноценных задач обучения LLM.

Вместо стандартных фреймворков Apple вроде Core ML или Metal специалист использовал собственный Model Intermediate Language, который позволяет напрямую взаимодействовать с Neural Engine. Все вычисления удерживаются в оперативной памяти, чтобы избежать медленных операций записи на накопитель, что делает процесс более быстрым и стабильным. Разработчик уже опубликовал проект на GitHub, демонстрируя, что обучение нейросетей напрямую на M4. Более того, энтузиаст рассказал, что некоторые задачи выполняются невероятно быстро. При этом компания Apple официально не поддерживает обучение больших языковых моделей на Neural Engine, позиционируя его мощность до 38 TOPS исключительно для задач инференса. Возможно, дело в чрезвычайно высокой нагрузке, из-за которой компьютеры на этом чипе начнут перегреваться и выходить из строя — в Apple банально не хотят рисовать и рекламировать эти возможности.