groupuser/base-gemma-3-1b-it
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Update 1/model.py

Browse Source
This commit is contained in:
groupuser 2025-05-28 08:54:46 +00:00
parent 5c7866462c
commit 436d85dfd1
1 changed files with 3 additions and 30 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

33
1/model.py
View File

@ -18,12 +18,9 @@ class TritonPythonModel:
self.model_path = self._get_config_parameter("model_path") self.model_path = self._get_config_parameter("model_path")
self.enable_inference_trace = self._get_config_parameter("enable_inference_trace") self.enable_inference_trace = self._get_config_parameter("enable_inference_trace")
self.logger.log_info(f"'self.model_name: {self.model_name}'") self.logger.log_info(f"model_name: {self.model_name}")
self.logger.log_info(f"'model_path: {self.model_path}'") self.logger.log_info(f"model_path: {self.model_path}")
self.logger.log_info(f"'enable_inference_trace: {self.enable_inference_trace}'") self.logger.log_info(f"enable_inference_trace: {self.enable_inference_trace}")
#model_repository = args["model_repository"]
#model_path = f"{model_repository}/{self.model_name}"
# Hugging Face Transformers 라이브러리에서 사전 학습된 토크나이저를 로드합니다. # Hugging Face Transformers 라이브러리에서 사전 학습된 토크나이저를 로드합니다.
self.tokenizer = AutoTokenizer.from_pretrained(self.model_path) self.tokenizer = AutoTokenizer.from_pretrained(self.model_path)
@ -153,30 +150,6 @@ class TritonPythonModel:
return None return None
def _get_inference_trace_setting(self):
"""
모델 설정(config.pbxt)에서 'enable_inference_trace' 값을 추출하여 반환합니다.
'enable_inference_trace' 설정이 없거나, 올바른 형식이 아닌 경우 기본적으로 False를 반환합니다.
Returns:
bool: 추론 추적 활성화 여부 (True 또는 False).
"""
trace_config_dict = self.parameters.get('enable_inference_trace')
if isinstance(trace_config_dict, dict) and 'string_value' in trace_config_dict:
return trace_config_dict['string_value'].lower() == 'true' # 문자열 값을 bool로 변환하여 반환
return False
def _get_model_path(self):
"""
모델 설정(config.pbxt)에서 'model_path' 값을 추출하여 반환합니다.
"""
model_path_dict = self.parameters.get('model_path')
if isinstance(model_path_dict, dict) and 'string_value' in model_path_dict:
return model_path_dict['string_value']
return ""
def _check_chat_template_support(self): def _check_chat_template_support(self):
""" """
주어진 허깅페이스 Transformer 모델이 Chat 템플릿을 지원하는지 확인하고 결과를 출력합니다. 주어진 허깅페이스 Transformer 모델이 Chat 템플릿을 지원하는지 확인하고 결과를 출력합니다.