Update model.py
This commit is contained in:
parent
e177542aca
commit
2ecddff2d3
@ -110,6 +110,7 @@ class TritonPythonModel:
|
||||
try:
|
||||
# 1. 입력 데이터 파싱
|
||||
input_data, is_chat = self._parse_input(request)
|
||||
self.logger.log_info(f"\n>>> [Input]: {input_data}")
|
||||
|
||||
# 2. Generation Config 생성
|
||||
gen_config = self._create_generation_config(request)
|
||||
@ -120,6 +121,9 @@ class TritonPythonModel:
|
||||
# 4. 모델 추론 (Generate)
|
||||
output_text = self._generate(inputs, gen_config)
|
||||
|
||||
# [LOGGING] 모델 응답 로그 출력
|
||||
self.logger.log_info(f"\n<<< [Output]: {output_text}")
|
||||
|
||||
# 5. 응답 생성
|
||||
responses.append(self._create_response(output_text))
|
||||
|
||||
|
||||
Loading…
Reference in New Issue
Block a user