На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети "Интернет", находящихся на территории Российской Федерации)

TRENDYMEN

39 564 подписчика

Свежие комментарии

  • Сергей Кашапов
    Народная мудрость:"Что посеешь то и пожнёшь"!Мужчина помог пен...
  • Виталий Сорокин
    А когда ж...па обвиснет - свергнут??? Вот она демократия, по папуасски...🤣Паула Манзал: пер...
  • Александр Николаевич
    Глупости. Медведя может остановить только слабый ток с сильным напряжением по железному забору.Медведь пришел по...

Майкрософт представил ИИ который работает на обычном компьютере без дорогой видеокарты

Microsoft открыла исходный код прорывной технологии — искусственного интеллекта, способного работать прямо на CPU, без использования дорогой видеокарты. Новый фреймворк BitNet.cpp позволяет запускать модели сжатого ИИ, используя минимальные ресурсы — даже на стандартных процессорах. Теперь технологии, ранее доступные лишь владельцам мощных машин, могут работать практически на любом устройстве, получить доступ к фреймворку можно прямо сейчас, даже со смартфона.

 

Идея 1-битных языковых моделей (LLMs) зародилась несколько месяцев назад, когда исследователи предложили метод, позволяющий сократить объем памяти для хранения весов моделей. Если раньше для хранения весов модели требовались 16 или 32 бита, то 1-битные LLM используют всего 1 бит для каждого параметра, что значительно снижает требования к памяти. 

Фреймворк BitNet.cpp стал ключевым инструментом для внедрения 1-битных моделей на локальные устройства, использующие лишь процессоры, без необходимости в мощных видеокартах. 

Главное преимущество 1-битных LLM заключается в их способности сохранять производительность, несмотря на значительное сокращение памяти. BitNet1.58 — это революционная модель, которая открывает новую эру в развитии искусственного интеллекта, делая его более компактным и доступным для повседневного использования. 

Со стороны решение Microsoft действительно кажется серьезным прорывом. Кроме того, локальное использование ИИ будет важным и для тех, кто заботится о конфиденциальности своих данных. 
В оригинале статьи есть видео с подробностями и ответами. Его можно посмотреть по клику на Источник.
Ссылка на первоисточник
наверх