Обратно в блог
  • AI

Будьте в курсе всех событий

Так ли хорош Claude Fable 5? Первые впечатления от CTO Яндекс Лавки

Год назад я захотел сделать себе полезный инструмент. Меня окончательно достало читать 30 разных Telegram-каналов с новостями про ML и ИИ, в которых ещё и посты постоянно дублировались. Поэтому я задумал написать Telegram-бота. Он должен был читать все новости, сохранять их, кластеризовать, сортировать и присылать ежедневный дайджест с самыми главными темами.

Попытка номер один: ChatGPT и Cursor

Сначала я просто общался с ChatGPT, описывал задачу по шагам и копипастил код в редактор. Но это было мучительно долго. Затем я решил попробовать Cursor. Тут уже дело пошло гораздо быстрее. Когда пишешь код, общаешься с нейросетью и запускаешь тесты в одной среде — это сильно упрощает работу.

03.png

Но тогда я столкнулся с двумя главными сложностями. Первая — инфраструктура. Нейросети того времени плохо справлялись с деплоем. Они предлагали разворачивать проект локально на ноутбуке, а вариантов с виртуальной машиной не давали. С регистрацией в Telegram тоже постоянно возникали косяки. Эту часть с горем пополам удалось преодолеть.

Вторая проблема — качество кластеризации. По задумке бот должен был обращаться к какой-нибудь нейромодели, которая и выделяет главные сюжеты за день. От меня требовалось только подготовить данные и правильно составить промпты. Причём мне было особенно интересно решить задачу именно с помощью ИИ, чтобы нейросети сами привели меня к результату.

Но в результате получилось так себе. У ИИ не получалось самостоятельно считать метрики и держать хорошее качество выдачи. Бот просуществовал пару недель. Качество дайджестов меня не устроило, затем код сломался, и я благополучно забросил этот проект.

Попытка номер два: Claude Fable 5

Спустя год после всей этой истории вышла модель Claude Fable 5. Технологии существенно прокачались, а вот проблема с чтением новостей никуда не делась. И я решил протестировать новую модель на старой задаче.

02.png

Контраст с тем, что было год назад, оказался колоссальным. Это просто небо и земля. Я описал боту задачу, отдал ссылку на GitHub-репозиторий со старым кодом и выдал креды от виртуальной машины. Модель сама прочитала исходники, заявила, что их писал «пьяный сантехник», и предложила всё переписать. Мы составили план и пошли по нему работать.

Через полтора часа у меня на руках был готовый и работающий Telegram-бот. Claude Fable 5 самостоятельно нашёл все нужные сертификаты и определил, какие библиотеки надо обновить.

Самое интересное — полностью поменялся формат взаимодействия. Раньше я ставил задачи нейросети. Теперь нейросеть ставила задачи мне. Модель отправляла меня в облако со словами: «Сходи, там надо настроить security-группы». Она просила сделать в админке те вещи, к которым сама пока не имела доступа. Но 99,99% всей работы по написанию кода ИИ выполнил сам.

А главное, что на этот раз качество кластеризации получилось отличным. Бот работает, и я супердоволен результатом.

Цена, качество и общие впечатления

У новой модели есть свои нюансы. Главный минус — высокая цена. Я посмотрел график своих трат: в тот день расходы оказались в три раза выше, чем при работе с более простыми моделями на стандартных задачах.

Конечно, можно придраться, что это небольшой изолированный проект. Но год назад на аналогичный сетап я потратил массу времени. А с Claude Fable 5 всё завелось практически в один клик. Модель сама настроила окружение и разобралась с виртуалками, что меня сильно впечатлило.

Жаль, что буквально через 72 часа после публичного релиза разработчикам пришлось заблокировать доступ к Claude Fable 5. Модель просто отключили. У многих разработчиков она отвалилась прямо посреди сессии. Будем надеяться, что Anthropic удастся уладить все юридические вопросы и скоро модель вернут в публичный доступ. Потому что инструмент реально крутой и радикально меняет подход к написанию кода и автоматизации рутины.

  • AI

Будьте в курсе всех событий

Ещё по этой теме