xAI/grok-4.5-image-to-text

grok-4.5-image-to-text

Попробуйте бесплатно Grok 4.5 Image-to-Text API на базе X-AI для визуальных вопросов и ответов, OCR, анализа изображений и мультимодальных рассуждений через Flaq AI.

Image Chat

Связанные модели Grok 4.5

grok-4.5-text-to-texttext-to-text

grok-4.5-image-to-textimage-to-text

Документация

Примеры API

JavaScriptPythoncURL

Пример отправки

const response = await fetch('https://api.flaq.ai/api/v1/chat/completions', {
  method: 'POST',
  headers: {
    Authorization: 'Bearer YOUR_API_KEY',
    Accept: 'text/event-stream',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({
    model: 'grok-4.5-image-to-text',
    messages: [
      {
        role: 'user',
        content: [
          { type: 'text', text: 'Describe the image and extract any visible text.' },
          {
            type: 'image_url',
            image_url: {
              url: 'https://example.com/sample-image.jpg'
            }
          }
        ]
      }
    ],
    stream: true,
    max_tokens: 2048
  })
});

const reader = response.body.getReader();
const decoder = new TextDecoder();
let buffer = '';
let assistantText = '';

while (true) {
  const { done, value } = await reader.read();
  if (done) break;

  buffer += decoder.decode(value, { stream: true });
  const frames = buffer.split('\n\n');
  buffer = frames.pop() || '';

  for (const frame of frames) {
    const lines = frame.split('\n').filter(Boolean);
    let eventName = 'message';
    const dataLines = [];

    for (const line of lines) {
      if (line.startsWith('event:')) {
        eventName = line.slice(6).trim();
      } else if (line.startsWith('data:')) {
        dataLines.push(line.replace(/^data:\s*/, ''));
      }
    }

    const raw = dataLines.join('\n').trim();
    if (raw === '[DONE]') {
      console.log('\nFinal text:', assistantText);
      continue;
    }

    let payload;
    try {
      payload = JSON.parse(raw);
    } catch {
      continue;
    }

    if (eventName === 'error' || payload.error) {
      const msg = payload.error?.message ?? payload.message ?? 'Chat request failed';
      throw new Error(msg);
    }

    const delta = payload.choices?.[0]?.delta;
    if (delta?.content) {
      assistantText += delta.content;
      console.log(assistantText);
    }
  }
}

Пример отправки

import json
import requests

response = requests.post(
    'https://api.flaq.ai/api/v1/chat/completions',
    headers={
        'Authorization': 'Bearer YOUR_API_KEY',
        'Accept': 'text/event-stream',
        'Content-Type': 'application/json',
    },
    json={
        'model': 'grok-4.5-image-to-text',
        'messages': [
            {
                'role': 'user',
                'content': [
                    {'type': 'text', 'text': 'Describe the image and extract any visible text.'},
                    {
                        'type': 'image_url',
                        'image_url': {
                            'url': 'https://example.com/sample-image.jpg'
                        }
                    },
                ],
            }
        ],
        'stream': True,
        'max_tokens': 2048,
    },
    stream=True,
)

response.raise_for_status()

event_name = 'message'
assistant_text = ''

for raw_line in response.iter_lines(decode_unicode=True):
    if not raw_line:
        event_name = 'message'
        continue

    if raw_line.startswith('event:'):
        event_name = raw_line.replace('event:', '', 1).strip()
        continue

    if raw_line.startswith('data:'):
        raw_data = raw_line.replace('data:', '', 1).strip()
        if raw_data == '[DONE]':
            print('\nFinal text:', assistant_text)
            continue

        payload = json.loads(raw_data)

        if event_name == 'error' or payload.get('error'):
            error = payload.get('error') or payload
            raise RuntimeError(error.get('message', 'Chat request failed'))

        choices = payload.get('choices') or []
        if choices:
            delta = choices[0].get('delta') or {}
            content = delta.get('content')
            if content:
                assistant_text += content
                print(content, end='', flush=True)

Пример отправки

curl -N -X POST "https://api.flaq.ai/api/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Accept: text/event-stream" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.5-image-to-text",
    "messages": [
      {
        "role": "user",
        "content": [
          { "type": "text", "text": "Describe the image and extract any visible text." },
          {
            "type": "image_url",
            "image_url": {
              "url": "https://example.com/sample-image.jpg"
            }
          }
        ]
      }
    ],
    "stream": true,
    "max_tokens": 2048
  }'

Начать новый чат

Отправьте сообщение, чтобы начать.

Цены на Grok 4.5 Image to Text

Параметры	Цена	Исходная цена	Скидка

Токен: input	$1.8000 за 1 млн входных токенов	$2.0000 за 1 млн входных токенов	90%
Токен: output	$5.4000 за 1 млн выходных токенов	$6.0000 за 1 млн выходных токенов	90%

README

API Grok 4.5 Image-to-Text для понимания визуального контента

API Grok 4.5 Image-to-Text предоставляет специализированный способ использовать мультимодальную модель Grok 4.5 от xAI для понимания изображений через Flaq AI. Отправьте поддерживаемое изображение с необязательной текстовой инструкцией и получите текстовый ответ на основе визуального контекста. Текущий маршрут Flaq AI предназначен для анализа одного изображения, ответов на вопросы о визуальном содержимом и диалога на основе изображений, не подразумевая поддержку произвольных файловых вложений или генерации изображений.

Ключевые возможности API Grok 4.5 Image-to-Text

Текстовые ответы на основе изображения: Предоставьте изображение в качестве контекста и получите ответ на естественном языке с описанием или анализом видимого содержимого.
Необязательные текстовые инструкции: Добавьте вопрос или задачу, чтобы направить модель на определённые объекты, связи, детали или видимый текст на изображении.
Рабочий процесс с одним изображением: Используйте одно изображение на запрос через контракт ввода, который сейчас предоставляет конфигурация модели Flaq AI.
Контекст многоходовых сообщений: Добавляйте последние сообщения разговора для уточняющих вопросов и последовательного обсуждения отправленного визуального контекста.
Поддержка потоковых ответов: Постепенно отображайте текстовый результат в чат-интерфейсах и аналитических интерфейсах, обрабатывающих события ответа.
Управление длиной результата: Ограничивайте требуемую длину ответа в соответствии с краткими подписями, конкретными ответами или более подробным анализом.

Как использовать API Grok 4.5 Image-to-Text во Flaq AI

Ввод: Одно поддерживаемое изображение с необязательными текстовыми инструкциями, объясняющими, что модель должна изучить или на какой вопрос ответить.
Вывод: Текстовый ответ, основанный на отправленном изображении и сопутствующем контексте сообщений.
Контекст: Можно предоставить последние сообщения для поддержки уточняющих вопросов в пределах настроенного окна разговора.
Управление: Для сгенерированного ответа можно установить необязательную максимальную длину результата.
Возможности: Описание изображений, ответы на вопросы о визуальном содержимом, помощь с видимым текстом и анализ на основе изображения через настроенный чат-интерфейс.

Лучшие сценарии интеграции API Grok 4.5 Image-to-Text

Проверка визуального контента: Создавайте предварительное описание или краткое содержание отправленного изображения для редакционных и контентных процессов.
Ответы на вопросы по изображениям: Позволяйте пользователям задавать конкретные вопросы об объектах, сценах, связях или видимых деталях на одном изображении.
Помощь с видимым текстом: Запрашивайте расшифровку или интерпретацию читаемого текста, сохраняя проверку человеком при извлечении, где критически важна точность.
Предварительный анализ продуктов и ресурсов: Создавайте предварительные описания или распределяйте визуальные ресурсы по категориям на основе информации, видимой на изображении.
Подготовка материалов для доступности: Создавайте черновики альтернативного текста или описания изображений, которые редакторы смогут проверить и уточнить перед публикацией.

Примечание Интерпретация изображений и извлечение видимого текста могут быть неполными или неточными, особенно при мелком тексте, неоднозначных сценах, изображениях низкого качества или специализированном содержимом. Проверяйте важные результаты перед использованием. Этот маршрут поддерживает одно изображение и не предоставляет ввод произвольных файлов или генерацию изображений.

Grok 4.5 Image-to-Text и альтернативы: сравнительный анализ

Grok 4.5 Image-to-Text и Grok 4.5 Text-to-Text Image-to-Text принимает визуальный контекст и возвращает текст, а Text-to-Text является более прямым выбором для запросов без изображений.
Grok 4.5 Image-to-Text и специализированное OCR Специализированные системы OCR предназначены для детерминированного извлечения текста и конвейеров обработки документов. Grok 4.5 может обсуждать видимое содержимое и текст в контексте, но его не следует считать гарантированной заменой OCR для задач, где критически важна точность.
Grok 4.5 Image-to-Text и модели создания подписей к изображениям Модели создания подписей часто ориентированы на краткие описания. Мультимодальный чат также может ответить на заданный пользователем вопрос, хотя качество результата по-прежнему зависит от изображения и инструкции.
Grok 4.5 Image-to-Text и другие мультимодальные API больших языковых моделей Ведущие мультимодальные API различаются ограничениями ввода, поведением модели, задержкой и функциями платформы. Перед выбором поставщика оцените их на репрезентативных изображениях и с использованием критериев приёмки для конкретной задачи.
Grok 4.5 Image-to-Text и самостоятельно размещаемые модели компьютерного зрения Самостоятельно размещаемые модели компьютерного зрения обеспечивают контроль над развёртыванием, но требуют дополнительных работ по инфраструктуре и обслуживанию. Flaq AI предлагает управляемый маршрут чата с одним изображением для команд, предпочитающих размещённый доступ к Grok 4.5.