웹 검색

웹 검색은 Raon 서버에서 수행합니다. 서버에 검색 기능이 설정되어 있고 소속 조직에서 사용을 허용한 경우에 이용할 수 있습니다. 요청에 다음 옵션을 추가하세요.

검색 여부와 시점은 모델이 판단하며, 답변 전에 여러 번 검색할 수도 있습니다. 검색과 추가 모델 호출로 응답 시간이 늘어날 수 있습니다. max_uses를 지정해도 서버에서 정한 검색 한도를 넘을 수는 없습니다. 검색 중 오류가 발생하거나 한도에 도달하면 더 검색하지 않고 답변할 수 있습니다.

응답의 usage는 마지막 모델 호출의 토큰입니다. 이 호출에는 대화 전체와 모든 검색 결과가 한 번씩 들어 있습니다. 청구되는 토큰도 이 값이며, input 토큰 수는 다음 요청을 보낼 때의 대화 크기와 같습니다.

completion = client.chat.completions.create(
    model="raon-1-mini-preview",
    web_search_options={"search_context_size": "medium"},
    messages=[{"role": "user", "content": "What changed in the latest PUBG update?"}],
)
message = completion.choices[0].message
print(message.content)
for annotation in message.annotations or []:
    print(annotation.url_citation.title, annotation.url_citation.url)

Chat Completions와 Responses이 절의 링크 복사

• search_context_size는 검색 1회당 결과 수를 지정합니다(low 3개, medium 5개, high 10개).
• 출처는 url_citation 어노테이션으로 반환됩니다. Chat Completions에서는 message.annotations에, 스트리밍에서는 마지막 청크의 delta.annotations에 포함됩니다.
• Responses에서는 검색할 때마다 web_search_call 출력 항목이 추가됩니다. filters.allowed_domains를 지정하면 해당 사이트의 결과만 사용합니다.

Messages이 절의 링크 복사