Automatically updated from 모델 배포(620:gemma-3-4b-it) by 그룹사용자(groupuser)
This commit is contained in:
parent
55d71efdb5
commit
06b6771728
75
config.pbtxt
75
config.pbtxt
@ -1,5 +1,4 @@
|
||||
# Triton backend to use.
|
||||
name: "gemma-3-4b-it2"
|
||||
# Triton Backend for TransformerLLM.
|
||||
backend: "python"
|
||||
max_batch_size: 0
|
||||
|
||||
@ -13,78 +12,6 @@ input [
|
||||
dims: [ -1 ]
|
||||
|
||||
|
||||
},
|
||||
{
|
||||
name: "max_length"
|
||||
data_type: TYPE_INT32
|
||||
dims: [ 1 ]
|
||||
|
||||
optional: true
|
||||
|
||||
|
||||
},
|
||||
{
|
||||
name: "max_new_tokens"
|
||||
data_type: TYPE_INT32
|
||||
dims: [ 1 ]
|
||||
|
||||
optional: true
|
||||
|
||||
|
||||
},
|
||||
{
|
||||
name: "do_sample"
|
||||
data_type: TYPE_BOOL
|
||||
dims: [ 1 ]
|
||||
|
||||
optional: true
|
||||
|
||||
|
||||
},
|
||||
{
|
||||
name: "top_k"
|
||||
data_type: TYPE_INT32
|
||||
dims: [ 1 ]
|
||||
|
||||
optional: true
|
||||
|
||||
|
||||
},
|
||||
{
|
||||
name: "top_p"
|
||||
data_type: TYPE_FP32
|
||||
dims: [ 1 ]
|
||||
|
||||
optional: true
|
||||
|
||||
|
||||
},
|
||||
{
|
||||
name: "temperature"
|
||||
data_type: TYPE_FP32
|
||||
dims: [ 1 ]
|
||||
|
||||
optional: true
|
||||
|
||||
|
||||
},
|
||||
{
|
||||
name: "repetition_penalty"
|
||||
data_type: TYPE_FP32
|
||||
dims: [ 1 ]
|
||||
|
||||
optional: true
|
||||
|
||||
|
||||
},
|
||||
{
|
||||
name: "stream"
|
||||
data_type: TYPE_BOOL
|
||||
dims: [ 1 ]
|
||||
|
||||
optional: true
|
||||
|
||||
|
||||
}
|
||||
|
||||
]
|
||||
|
||||
Loading…
Reference in New Issue
Block a user