Update 1/model.py
This commit is contained in:
parent
436d85dfd1
commit
8302021496
11
1/model.py
11
1/model.py
@ -18,9 +18,7 @@ class TritonPythonModel:
|
||||
self.model_path = self._get_config_parameter("model_path")
|
||||
self.enable_inference_trace = self._get_config_parameter("enable_inference_trace")
|
||||
|
||||
self.logger.log_info(f"model_name: {self.model_name}")
|
||||
self.logger.log_info(f"model_path: {self.model_path}")
|
||||
self.logger.log_info(f"enable_inference_trace: {self.enable_inference_trace}")
|
||||
|
||||
# Hugging Face Transformers 라이브러리에서 사전 학습된 토크나이저를 로드합니다.
|
||||
self.tokenizer = AutoTokenizer.from_pretrained(self.model_path)
|
||||
@ -142,6 +140,15 @@ class TritonPythonModel:
|
||||
return generation_config
|
||||
|
||||
def _get_config_parameter(self, parameter_name):
|
||||
"""
|
||||
모델 설정(config.pbtxt)에서 특정 파라미터의 문자열 값을 가져옵니다.
|
||||
|
||||
Args:
|
||||
parameter_name (str): 가져올 파라미터의 이름.
|
||||
|
||||
Returns:
|
||||
str or None: 파라미터의 'string_value' 또는 해당 파라미터가 없거나 'string_value' 키가 없는 경우 None.
|
||||
"""
|
||||
self.parameters = self.model_config.get('parameters', {})
|
||||
parameter_dict = self.parameters.get(parameter_name)
|
||||
|
||||
|
||||
Loading…
Reference in New Issue
Block a user