Перейти к основному содержимому

Как использовать генеративный ИИ в проектах

Существует несколько способов интеграции вашего бота с генеративными моделями:

Метод $gpt.createChatCompletion​

Этот метод является частью сервиса $gpt и позволяет обращаться к ChatGPT от OpenAI из сценария бота. Он возвращает ответ модели на заданный запрос.

$gpt.createChatCompletion(messages, temperature, n);

Используйте этот метод, когда интеграция с Jay Copilot или Caila нецелесообразна или текущей модели $gpt.createChatCompletion достаточно для решения задачи (простая классификация, генерация ответа).

Тип ответа llmRequest​

Тип ответа llmRequest позволяет использовать LLM в телефонном канале с минимальными паузами:

  • Бот по предложениям получает текст от LLM и так же по предложениям синтезирует речь. Оба процесса проходят параллельно.
  • Вы можете указать фразы, которые бот произнесет, чтобы заполнить паузу в начале генерации текста.
$response.replies = $response.replies || []
$response.replies.push({
    type: "llmRequest",
    provider: "CAILA_OPEN_AI",
    // Модель для генерации текста
    model: "gpt-4o",
    // Название токена
    tokenSecret: "MY_LLM_TOKEN",
    // Фраза для заполнения паузы
    fillersPhraseConfig: {"fillerPhrase": "Хороший вопрос!", "activationDelayMs": 1000},
    // История диалога
    messages: [{"role": "user","content": $request.query}]
});

Интеграция с Jay Copilot​

Jay Copilot — это ассистент, который помогает использовать генеративный искусственный интеллект в работе и повседневных задачах. C помощью Jay Copilot можно получить доступ к:

  • текстовым генеративным моделям: GPT, YandexGPT, GigaChat и др.;
  • моделями генерации изображений: DALL·E, Stable Diffusion, Flux и др.;
  • распознаванию речи: AssemblyAI, Whisper;
  • синтезу речи: ElevenLabs;
  • готовым приложениям, которые используют модели для решения задач в различных областях.

Подробнее о работе с Jay Copilot читайте в пользовательской документации. У продукта также есть публичный API, который можно использовать для интеграции с вашим ботом.

Интеграция с Caila​

Caila — платформа для создания и использования микросервисов, решающих различные ML-задачи, такие как:

  • классификация и векторизация текста;
  • распознавание именованных сущностей;
  • доступ к генеративным моделям;
  • синтез речи.

Подробнее о работе с Caila читайте в документации. У продукта также есть публичный API, который можно использовать для интеграции с вашим ботом.