Update 1/model.py

1/model.py

@@ -1,3 +1,4 @@
+# model.py
 import triton_python_backend_utils as pb_utils
 import numpy as np
 import json
@@ -6,35 +7,97 @@ import string
 
 class TritonPythonModel:
     def initialize(self, args):
+        """
+        모델이 로드될 때 딱 한 번만 호출됩니다.
+        `initialize` 함수를 구현하는 것은 선택 사항입니다.
+        이 함수를 통해 모델은 이 모델과 관련된 모든 상태를 초기화할 수 있습니다.
+        """
         self.logger = pb_utils.Logger
-
         self.model_name = args["model_name"]
         self.model_config = json.loads(args["model_config"])
-
         self.logger.log_info(f"'{self.model_name}' 모델 초기화 완료")
 
-
     def execute(self, requests):
+        """
+        Triton이 각 추론 요청에 대해 호출하는 실행 함수입니다.
+        """
         responses = []
 
+        # 각 추론 요청을 순회하며 처리합니다.
         for request in requests:
-            # 랜덤 문자열 생성
-            random_string = ''.join(
-                random.choice(string.ascii_letters + string.digits) for _ in range(16)
-            )
-            self.logger.log_info(f"OUTPUT 출력:\n{random_string}")
+            # Triton 입력 파싱
+            input_text = self._get_input_value(request, "INPUT")
+            self.logger.log_info(f"INPUT 출력:\n{input_text}")
 
-            # Triton이 요구하는 shape [1] STRING 출력
-            output_tensor = pb_utils.Tensor(
-                "OUTPUT",
-                np.array([random_string.encode("utf-8")], dtype=np.object_)
-            )
+            # 랜덤 문자열 생성 (구문 오류 수정)
+            random_string = ''.join(random.choice(string.ascii_letters + string.digits) for _ in range(16))
+            output = random_string  # random*string -> random_string로 수정
+            self.logger.log_info(f"OUTPUT 출력:\n{output}")
 
-            responses.append(pb_utils.InferenceResponse(
-                output_tensors=[output_tensor]
-            ))
+            # 생성된 텍스트를 Triton 출력 텐서로 변환합니다.
+            # STRING 타입으로 출력 텐서 생성 (수정된 부분)
+            output_tensor = pb_utils.Tensor("OUTPUT", np.array([output], dtype=object))
 
-        return responses   
+            # 응답 객체를 생성하고 출력 텐서를 추가합니다.
+            responses.append(pb_utils.InferenceResponse(output_tensors=[output_tensor]))
+
+        return responses
+
+    def _get_input_value(self, request, input_name: str, default=None):
+        """
+        Triton 추론 요청에서 특정 이름의 입력 텐서 값을 가져옵니다.
+        
+        Args:
+            request (pb_utils.InferenceRequest): Triton 추론 요청 객체.
+            input_name (str): 가져올 입력 텐서의 이름.
+            default (any, optional): 입력 텐서가 없을 경우 반환할 기본값. Defaults to None.
+        
+        Returns:
+            any: 디코딩된 입력 텐서의 값. 텐서가 없으면 기본값을 반환합니다.
+        """
+        tensor_value = pb_utils.get_input_tensor_by_name(request, input_name)
+        if tensor_value is None:
+            return default
+        
+        # STRING 타입 입력 처리 (수정된 부분)
+        numpy_array = tensor_value.as_numpy()
+        if len(numpy_array) > 0:
+            return self._np_decoder(numpy_array[0])
+        return default
+
+    def _np_decoder(self, obj):
+        """
+        NumPy 객체의 데이터 타입을 확인하고 Python 기본 타입으로 변환합니다.
+        
+        Args:
+            obj (numpy.ndarray element): 변환할 NumPy 배열의 요소.
+        
+        Returns:
+            any: 해당 NumPy 요소에 대응하는 Python 기본 타입 (str, int, float, bool).
+            bytes 타입인 경우 UTF-8로 디코딩합니다.
+        """
+        if isinstance(obj, bytes):
+            return obj.decode('utf-8')
+        if isinstance(obj, np.bytes_):
+            return obj.decode('utf-8')
+        if np.issubdtype(type(obj), np.integer):
+            return int(obj)
+        if np.issubdtype(type(obj), np.floating):
+            return round(float(obj), 3)
+        if isinstance(obj, np.bool_):
+            return bool(obj)
+        # 문자열인 경우 그대로 반환
+        if isinstance(obj, str):
+            return obj
+        # numpy.str_인 경우 처리
+        if hasattr(obj, 'item'):
+            return obj.item()
+        return str(obj)
 
     def finalize(self):
+        """
+        모델 실행이 완료된 후 Triton 서버가 종료될 때 한 번 호출되는 함수입니다.
+        `finalize` 함수를 구현하는 것은 선택 사항입니다.
+        이 함수를 통해 모델은 종료 전에 필요한 모든 정리 작업을 수행할 수 있습니다.
+        """
         pass