Update 1/model.py
This commit is contained in:
parent
203f9072f1
commit
a06dc6d00f
@ -32,7 +32,7 @@ class TritonPythonModel:
|
||||
pretrained_model_name_or_path=self.base_model_path,
|
||||
local_files_only=True,
|
||||
device_map="auto",
|
||||
trust_remote_code=False
|
||||
trust_remote_code=True
|
||||
)
|
||||
|
||||
# 모델을 평가 모드로 설정
|
||||
@ -40,7 +40,7 @@ class TritonPythonModel:
|
||||
|
||||
self.tokenizer = AutoTokenizer.from_pretrained(
|
||||
self.base_model_path,
|
||||
trust_remote_code=False,
|
||||
trust_remote_code=True,
|
||||
add_eos_token=True
|
||||
)
|
||||
|
||||
|
||||
Loading…
Reference in New Issue
Block a user