AI Ассистент в Devopstrain

AI Ассистент в Devopstrain 🤖

Хотел бы поделиться с вами весьма интересным кейсом использования AI моделей LLM вроде GPT4-o.

Нам потребуются следующие ингредиенты:

➡️Сама модель. Начал с OpenAI GPT-4o, но они по ценам совсем берега попутали, поэтому в итоге остановился на Deepseek V3. Уровень ответов как минимум не хуже, а цена в 10 раз ниже.

➡️Материалы курсов в текстовом виде. Да это изи вообще, ведь мои курсы построены не на базе занудных видео, а в виде интерактивного текста, где есть и теория и практика. Скормить текстовые материалы по этой причине оказалось очень просто.

➡️Платформа для создания сценариев, которая умеет запрашивать данные из курсов, обрабатывать элементарную логику и делать правильные промпты в языковую модель. Тут конечно вышло немного из пушки по воробьям, но зато универсальная платформа теперь позволяет мне создавать и телеграм ассистентов в виде ботов в пару кликов и ассистентов для установки на сайт. При этом каждый из ассистентов работает по своему сценарию. Вообще об этой платформе есть что рассказать отдельно. Пока она не доступна публично, но если будет интерес, то я раскрою подробности в отдельном посте.

➡️Виджет для интеграции в платформу обучения, в виде чата, который вы можете видеть на сайте и в самой платформе.

➡️ Слой адаптации, чтобы вытаскивать текстовые данные из json массива, в котором отдает платформа. Это нужно, чтобы сильно сэкономить на токенах, т.к. основной расход - это input tokens, которые требуются для "дообучения" модели. Условно говоря самый большой раздел у меня примерно 13000 токенов, без адаптации модель отлично работает, но сжирает раза в 2 больше.

🧑‍🎓 Результат вы можете видеть в моих курсах: задаете вопрос и получаете ответ не как обычный gpt, а с учетом данного раздела курса. В этом главная ценность и отличие от типового gpt 🤌