Я приступаю к путешествию, на которое до сих пор не решался: к регулярному использованию ИИ. Главная преграда для меня — отдавать свои самые личные данные облачным сервисам, но всё чаще становится возможным запускать мощные модели локально и посмотреть, на что они способны. Действительно ли эта технология настолько полезна, что стоит тратить кучу денег на компьютер или ноутбук с огромным количеством дорогой оперативной памяти? Я постараюсь помочь вам в этом разобраться. Я не эксперт по ИИ, это будет для меня тоже путешествие, но, возможно, я смогу помочь вам понять, стоит ли его начинать — и я буду публиковать отчёты по ходу.

Большая часть маркетинга Apple в пользу новых настольных Mac сводится к тому, как они хороши для локального ИИ, а совсем скоро появится целая линейка новых Windows-машин RTX Spark с оперативной памятью до 128 ГБ, нацеленных на использование агентного ИИ. Локальный ИИ и агенты сейчас очень популярны. Но, если быть серьёзным, мысль о том, что в коробке на моём столе живёт маленький помощник, который отвечает только мне, а не оверлордам из OpenAI, Google, Microsoft или Anthropic, воспринимается иначе, чем доверие облачным сервисам или подписка на чат-бота. Не поймите неправильно: я всё ещё не позволю ему писать за меня, редактировать за меня или генерировать уродливые флаеры. Но теперь, имея немного приватности на своей стороне, возможно, я наконец смогу поручать ему полезную рутинную работу.

В рамках моих текущих тестов M5 Ultra Mac Studio, а также экспериментов на других Mac и Windows-системах, я установил несколько локальных больших языковых моделей и начинаю экспериментировать. Вот как идут дела.

Я начал с установки открытого агента Hermes на Mac Studio. Hermes — это саморазворачиваемое десктоп-приложение агента ИИ, работающее на macOS, Windows и Linux. Его полностью бесплатно использовать, если ограничиться локальными моделями. Поскольку в этом M5 Ultra Mac Studio 256 ГБ унифицированной памяти, я мог запускать практически любую модель, какую захочу. На этом этапе всё быстро становится не по зубам: моделей очень много, и некоторые из них специализированы. Как правило, модели с десятками миллиардов параметров могут делать больше, чем более мелкие модели с несколькими миллиардами. А раз мы не платим за токены при локальном запуске, я решил начать с чего-нибудь крупного.

С помощью простого интерфейса первичной настройки Hermes и выбора модели я выбрал Qwen 3.8 Flash Next — модель с 125 миллиардами параметров, её размер составляет около 105 ГБ. Я также планирую потратить время на более мелкие версии Qwen на устройствах типа M6 Mac Mini, M5 MacBook Air, на Asus TUF Gaming A14 с процессором AMD Strix Halo и, в конце концов, на RTX Spark. (Если хотите поделиться, какие локальные модели и железо используете вы — оставляйте комментарии.)

Запустить Hermes и Qwen получилось быстро, и я даже сделал их управляемыми с телефона через Telegram-бота. Но затем меня ждало моё обычное испытание при использовании ИИ: текстовое поле.

«Что мне делать с этой штукой?»

Сначала, чтобы начать, я последовал полезному совету из YouTube и попросил Hermes сделать мне ежедневный утренний брифинг — начать с малого, с задания по расписанию (cron job), чтобы убедиться, что всё работает. Он просматривает мою почту и календарь, сообщает обо всём, требующем немедленного внимания, и даёт короткий прогноз погоды. Это не особо полезно, и, очевидно, для этого не нужен компьютер за 12 000 долларов, но это то, что можно развивать со временем. Сначала брифинг постоянно не генерировался, но со временем я выяснил, что macOS не должна находиться в режиме сна в момент запуска задания в 7:30 утра. Должен был догадаться! Теперь оно работает как часы, но мне нужно придумать больше данных, которые он будет собирать, чтобы результаты были полезнее.

Более полезной задачей стала реорганизация моей библиотеки Steam. У меня в Steam больше 400 игр, и недавно я начал категоризировать их на случай, если захочу сыграть что-то спонтанно. Steam не делает это автоматически, поэтому приходится сортировать вручную, по одной игре. Вот тут агент-помощник оказался кстати. Я спросил: «Можешь ли ты реорганизовать мою библиотеку Steam?» Hermes увидел большинство игр, просто просматривая уже установленный клиент Steam. Он быстро предложил варианты организации. Я решил, что он отсортирует игры по жанрам, но оставит некоторые мои личные категории (избранное, игры кооперативные, party-игры, игры для игры с женой и т. п.).

Чтобы локальный ИИ мог выполнять действия на машине, ему нужно дать некоторые разрешения; в случае с библиотекой игр мне пришлось зарегистрировать веб-ключ Steam API и передать его Hermes. Как только он получил доступ, ему потребовалось всего несколько минут, чтобы просортировать все игры по категориям. Ключ API можно было легко отозвать сразу после, так как дальше он мне не нужен. Идея в том, чтобы он выполнил эту тяжёлую работу один раз, а потом я буду помещать новые покупки в уже готовые категории. В целом он справился неплохо, и теперь моя библиотека Steam легко просматривается.

Ещё одно простое применение — анализ данных. Я попросил Hermes просмотреть финансовые записи и сделать расчёты для меня, а также подготовить таблицу сравнения спецификаций для нового ноутбука. Это мелочи, но это те задачи, которые я не хочу доверять облаку — я не хочу загружать такие чувствительные данные в сеть, а в случае с ноутбуком информация была под эмбарго. Хранение всего на моём компьютере стало решающим фактором в решении использовать этот инструмент.

Более масштабная автоматизация, над которой я сейчас работаю, — скрипт для запуска серии тестов производительности на ноутбуке. Я провожу все наши бенчмарки вручную, и присматривать за ноутбуком во время пары десятков тестов — по три прохода для усреднения — это невероятно трудоёмко. Я хотел бы автоматизировать хотя бы часть этого процесса. Даже просто обучить Hermes всем необходимым процедурам и получить от него прототипы Python-скриптов оказалось непростой задачей, работа продолжается. Но я надеюсь добиться прогресса.

Apple показывала кластер из четырёх Mac Studio, соединённых вместе для локального ИИ, на демонстрации, которую я посетил месяц назад. Это почти 50 000 долларов вычислительных мощностей.

Пока это лишь первые дни работы с Hermes, и я надеюсь, что это только верхушка айсберга полезных задач, которые он сможет выполнять. Но также очевидно, что даже эти мощные локальные модели не превращают ИИ в волшебного помощника, способного на всё. Не всё работает как задумано — мой ежедневный брифинг уже ломался несколько раз.

Я рассматриваю Hermes и локальный ИИ как инструмент, компьютерную программу, работающую на моём компьютере. Мне не нужен цифровой друг. Я не говорю «спасибо» или «пожалуйста», не печатаю «извини», когда меняю решение. Я остаюсь таким же хладнокровным и безразличным при отдаче команд, как и при клике мышью в операционной системе.

Я намерен оставаться бдительным и осторожным, продолжая тестировать и изучать локальный ИИ. Посмотрим, куда это меня приведёт.