diff --git a/1/model.py b/1/model.py index 4e04d35..9dad579 100644 --- a/1/model.py +++ b/1/model.py @@ -2,7 +2,7 @@ import json import torch import numpy as np import triton_python_backend_utils as pb_utils -import uuid # [추가] 랜덤 ID 생성을 위해 필요 +import uuid from typing import List, Dict, Any, Union, Tuple from transformers import ( @@ -103,8 +103,7 @@ class TritonPythonModel: responses = [] for request in requests: - # [ID 생성 로직] - # 클라이언트가 보낸 ID가 있으면 사용하고, 없으면 랜덤 UUID 생성 + # [ID 생성 로직] - 로그 추적용으로 유지 (Response에는 포함 X) request_id = request.request_id() if not request_id: request_id = str(uuid.uuid4()) @@ -129,14 +128,13 @@ class TritonPythonModel: # [LOGGING] Request ID 포함하여 결과 출력 self.logger.log_info(f"\n[RID: {request_id}] <<< [Output]: {output_text}") - # 5. 응답 생성 (ID 전달) + # 5. 응답 생성 (ID 전달 제거) responses.append(self._create_response(output_text, request_id)) except Exception as e: self.logger.log_error(f"[RID: {request_id}] Error during execution: {e}") err_tensor = pb_utils.Tensor("text_output", np.array([str(e).encode('utf-8')], dtype=np.bytes_)) - # 에러 응답에도 ID 포함 - responses.append(pb_utils.InferenceResponse(output_tensors=[err_tensor], id=request_id)) + responses.append(pb_utils.InferenceResponse(output_tensors=[err_tensor])) return responses @@ -198,13 +196,14 @@ class TritonPythonModel: ) def _create_response(self, output_text: str, request_id: str): - """생성된 텍스트를 Triton Response 객체로 변환 (ID 포함)""" + """생성된 텍스트를 Triton Response 객체로 변환""" + # request_id는 이 함수까지 전달은 되지만, InferenceResponse에 넣지는 않음 output_tensor = pb_utils.Tensor( "text_output", np.array([output_text.encode('utf-8')], dtype=np.bytes_) ) - # id 파라미터를 추가하여 클라이언트에게도 ID를 반환 - return pb_utils.InferenceResponse(output_tensors=[output_tensor], id=request_id) + # [중요] id=request_id 제거됨 + return pb_utils.InferenceResponse(output_tensors=[output_tensor]) def _get_config_param(self, key: str, default: str = None) -> str: params = self.model_config.get('parameters', {})