groupuser/base-gemma-3-1b-it
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Update 1/model.py

Browse Source
This commit is contained in:
groupuser 2025-05-28 08:58:58 +00:00
parent 436d85dfd1
commit 8302021496
1 changed files with 27 additions and 20 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

11
1/model.py
View File

@ -18,9 +18,7 @@ class TritonPythonModel:
self.model_path = self._get_config_parameter("model_path") self.model_path = self._get_config_parameter("model_path")
self.enable_inference_trace = self._get_config_parameter("enable_inference_trace") self.enable_inference_trace = self._get_config_parameter("enable_inference_trace")
self.logger.log_info(f"model_name: {self.model_name}")
self.logger.log_info(f"model_path: {self.model_path}") self.logger.log_info(f"model_path: {self.model_path}")
self.logger.log_info(f"enable_inference_trace: {self.enable_inference_trace}")
# Hugging Face Transformers 라이브러리에서 사전 학습된 토크나이저를 로드합니다. # Hugging Face Transformers 라이브러리에서 사전 학습된 토크나이저를 로드합니다.
self.tokenizer = AutoTokenizer.from_pretrained(self.model_path) self.tokenizer = AutoTokenizer.from_pretrained(self.model_path)
@ -142,6 +140,15 @@ class TritonPythonModel:
return generation_config return generation_config
def _get_config_parameter(self, parameter_name): def _get_config_parameter(self, parameter_name):
"""
모델 설정(config.pbtxt)에서 특정 파라미터의 문자열 값을 가져옵니다.
Args:
parameter_name (str): 가져올 파라미터의 이름.
Returns:
str or None: 파라미터의 'string_value' 또는 해당 파라미터가 없거나 'string_value' 키가 없는 경우 None.
"""
self.parameters = self.model_config.get('parameters', {}) self.parameters = self.model_config.get('parameters', {})
parameter_dict = self.parameters.get(parameter_name) parameter_dict = self.parameters.get(parameter_name)