Перейти к основному содержимому

Зрение, PDF и ввод файлов

Средний
What you'll learn
  • Почему Claude мультимодален: изображения и документы в одном сообщении
  • Три способа отправить файл: Base64, URL и Files API
  • Когда повторно использовать загрузку через file_id, чтобы сэкономить деньги и время
  • В чём зрение особенно хорошо — извлечение, понимание визуальных данных, вопросы по документам
  • Как использовать его безопасно: ограничения разрешения и проверка критичных чисел

Claude мультимодален: вы можете включать изображения и документы (например, PDF) в сообщение и задавать по ним вопросы — извлекать данные, описывать диаграмму, резюмировать договор, читать скриншот.

Три способа отправить файл​

Guided walkthrough1 of 3
  1. Закодируйте байты прямо в запросе. Самый простой вариант для разовых случаев.

Вот как выглядит блок содержимого с изображением рядом с текстовым вопросом:

# Conceptual: an image content block alongside text (see docs for exact fields)
messages=[{
  "role": "user",
  "content": [
    {"type": "image", "source": {"type": "base64", "media_type": "image/png", "data": b64}},
    {"type": "text", "text": "What does this chart show? Give the top 3 takeaways."},
  ],
}]

PDF работают аналогично (блок содержимого документа); Claude может читать текст и визуальную раскладку, и вы можете запросить цитаты с указанием того, откуда в документе пришёл ответ.

Для чего это отлично подходит​

Pro tip
  • Извлечение — вытаскивайте структурированные данные из счетов, форм, таблиц (сочетайте со структурированным выводом: /docs/api/structured-output).
  • Понимание визуального — диаграммы, схемы, скриншоты, UI.
  • Q&A по документам — задавайте вопросы по длинному PDF с цитатами.

Быстрый стартовый шаблон для Q&A по документам, который можно скопировать:

Подсказка для Q&A по документам

What does this chart show? Give the top 3 takeaways.

Советы​

Key takeaways
  • Повторно используйте file_id при многократной отправке одного и того же большого документа — дешевле и быстрее.
  • Разрешение/размер важны — очень большие изображения могут быть уменьшены; проверяйте ограничения.
  • Проверяйте извлечённые числа — зрение сильно, но не безошибочно; выборочно перепроверяйте критичные цифры.
Watch out
  • Зрение сильно, но не безошибочно — всегда выборочно перепроверяйте критичные цифры. См. Галлюцинации: /docs/foundations/hallucinations.

Проверь себя

0/3
  1. Какой метод позволяет загрузить файл один раз и ссылаться на него во множестве запросов по file_id?
  2. Что можно запросить у Claude при работе с Q&A по PDF-документу?
  3. Почему стоит выборочно перепроверять критичные извлечённые числа?

Далее​