見ずに注釈を付けるエージェントは、呼び出しが返されたため成功したと報告します。注釈付きページを画像としてレンダリングすると、視覚対応モデルがハイライトの位置を確認し、誤っている場合は移動させることができます。
テキスト抽出はAIエージェントに文書の文字だけを渡し、レイアウトやチャート、スタンプを失います。1つのプロンプトでページを画像としてレンダリングすれば、エージェントは直接それを見ることができます。
チャート、スタンプ、スキャンページには、テキスト抽出では決して見えない答えが含まれています。ページをレンダリングし、画像を視覚対応モデルに渡すことでそれらにアクセスできますが、精度には正直な限界があります。