О сервисе
Что это за сервис?
Данный сервис служит для простой разработки и интеграции нейросотрудников на базе chatGPT, обученной на ваших данных, на Ваш сайт, чат бот, онлайн-консультант и т.д.
Основная цель - сделать удобный сервис, позволяющий создавать нейросотрудников без программирования и с простой интеграцией на сайт или в телеграмм-бот через обращение к api.
Сервис полезен для промт-инженеров, позволяя создавать, тестировать и презентовать нейросотрудников без знания кода.
Сервис полезен владельцам бизнеса, позволяя максимально быстро интегрировать нейросотрудника в свой веб-ресурс. Также позволяя легко изменять и дополнять обучающие данные без привлечения технических специалистов.
При необходимости наша команда может выполнить как разработку, так и полную интеграцию нейросотрудника "под ключ".
Сервис находится в стадии тестирования и наполнения. Если Вы обнаружили ошибку - пишите в службу поддержки.
Зачем он нужен?
Тут все просто, чтобы интегрировать к себе сервис chatGPT необходимо написать модуль, который будет получать и обрабатывать датасет, промт-запрос и передавать в chatGPT, и при этом оптимизировать запросы, т.к. chatGPT ограничивает количество токенов, в зависимости от используемой модели.
Кроме того, хранить и обрабатывать базу сообщений. Плюс необходим VPS, где будет крутиться этот модуль. А чтобы работать комфортно, нужно создать сервис, аналогичный нашему.
Мы все это уже сделали и упростили интеграцию до простого обращения к api. И это здорово!
На данный момент используется 2 модели chatGPT:
gpt-3.5-turbo (16 385 входящих, 4096 исходящих токенов),
gpt-4-turbo-preview (128 000 входящих, 4096 исходящих токенов).
* токеном считается единичный блок обрабатываемого текста. Для упрощения, можно считать его равным слогу в слове.
* модель gpt-4 может лучше справляться с генерацией, но стоимость токена в ней выше ~ 10 раз. Модель не доступна в бесплатном доступе.
Младшие модели исключены из доступа в силу устаревания, низкой эффективности и большей стоимости.
Список доступных моделей будет пополняться.
Как это работает:
Работа сервиса представлена на схеме:
- В панели профиля вводите подготовленный датасет, промт со сценарием поведения, ключи, полученные на платформе сервиса (OpenAI).
- В соответствующей вкладке создаете обучающую модель, в которой объединяются все данные и параметры.
- Для созданной обучающей модели генерируется уникальный ID.
- Используя определенный адрес (URL) производится запрос к api, в котором передается сервису полученный ID модели и вопрос пользователя.
- Сервис автоматически обрабатывает запрос в соответствии с параметрами, передает обучающий блок, вопрос пользователя и, при необходимости, историю переписки, обрабатывает, сохраняет полученные данные и возвращает ответ ИИ.
- Таким образом, все что требуется - это обратиться по определенному адресу с указанием ключа модели и вопросом и получить ответ. При этом вся обработка запросов лежит на сервисе.
- Так как сервис может сохранять также историю диалога с пользователем - нет необходимости хранить диалог отдельно. Его можно получить в технических данных вместе с ответом ИИ ассистента.
- Кроме того, в технических параметрах передается количество токенов и стоимость. При необходимости можно вести учет средств, основываясь на этих данных
Итого: здесь на сайте создаете обучающую модель. У себя в программе указываете обращение к api с ID модели и идентификатором и вопросом пользователя, получаете ответ в формате JSON, содержащий ответ ИИ и технические параметры.
Одним словом, Вы сможете сосредоточиться на подготовке и тестировании датасета, промта, а не на технической реализации взаимодействия с chatGPT.
Также в сервисе присутствует форма диалога, где Вы можете протестировать своего бота без какой либо интеграции куда либо.
Также Вы можете скопировать ссылку на чат и передать ее для проверки, демонстрации, тестирования или согласования модели.
Согласитесь, это очень удобно.
В чем преимущество.
Алгоритм сервиса предварительно токенизирует датасет и при получении запроса производит поиск и выборку релевантного текста из датасета, используя модель ada v2 ($0.0001 / 1K tokens). В результате в запрос отправляется не весь датасет, а лишь небольшая часть, соответствующая вопросу пользователя. Данный механизм позволяет очень сильно экономить время и стоимость ответа, даже при очень большом датасете. Ширина поиска указывается при настройке модели нейросотрудника.
Из этой особенности вытекает ключевое преимущество - сервис может работать с очень большими датасетами.
Наш сервис предполагает оплату "за токен" и при использовании наших ключей либо использование своего ключа openai без каких либо комиссий. Это также позволит полностью контролировать и экономить бюджет нейросотрудника.
В нашем сервисе возможно сформировать отдельные профили под клиентов и вести раздельный баланс как по каждому профилю, так и общим счетом.
Наш сервис предлагает простой и интуитивно понятный интерфейс для создания нейросотрудников и не требует каких либо специальных знаний, кроме навыков промт инжиниринга.
Для использования сервиса нет необходимости в регистрации в сервисе openAI, использования vpn, виртуальных номеров, иностранных банковских карт и прочих сложностей, связанных с ограничениями.
Тарифы на использование.
В данный момент предлагает 2 тарифа:
Бесплатный доступ - позволяет создавать неораниченное количество датасетов, промтов и моделей нейросотрудников, но доступны для использования будут 3 первых модели.
PRO - позволяет создавать неограниченное количество датасетов, промтов и нейросотрудников. Стоимость подписки на текущий момент составляет 300 руб./месяц. Тариф имеет пробный период в 14 дней.
В дальнейшем предполагается расширение функционала тарифов Бесплатный доступ и PRO.
В ближайшем будущем предполагается возможность промт-инженерам создавать собственные подписки с готовыми датасетами и промт-запросами и предлагать их к использованию как внутри сервиса так и на своих рекламных ресурсах.
Также Вы можете использовать в качестве apikey openAI ключи сервиса g-bot:
Бесплатный ключ - позволяет бесплатно использовать только модель gpt-3.5-turbo-1106. При этом задержка между запросами составит 30 секунд.
Платный ключ - позволяет использовать все модели. Между запросами нет задержки. Если баланс кабинета падает ниже минимального ( 0,2$ ) система переводит модель на бесплатный ключ. Внимание, модель gpt-4-1106-preview в этом случае будет недоступна и нейросотрудник будет выдавать сообщение с ошибкой.
Стоимость запроса-ответа в платном ключе рассчитывается по формуле базовая стоимость*1,6.
Оба типа ключа доступны в любом тарифе.
Внимание!
Сервис использует полученные данные (датасет, промт, ключи, запросы, ответы сервиса) исключительно в технических целях и не передает каких либо данных 3-им лицам, за исключением трансляции в сервис chatGPT. Несмотря на это, избегайте использования конфиденциальной информации, которая может понести моральные, юридические и прочие издержки.
P.S.:
Сервис в тестовой реализации. Работает основной функционал по дообучению и работе с моделями.
Большая часть запланированного функционала находится в разработке.
В дальнейшем будет улучшаться, дополняться моделями, в том числе локальными, которые позволят обрабатывать уже конфиденциальные данные.
Подписывайтесь на наши новостные каналы, чтобы быть в курсе обновлений и нового функционала.