Automatically updated from 모델 배포(556:triton-python-model-gu) by 그룹사용자(groupuser)
This commit is contained in:
parent
e78d3de299
commit
39d46790bf
63
config.pbtxt
63
config.pbtxt
@ -12,69 +12,6 @@ input [
|
|||||||
dims: [ -1 ]
|
dims: [ -1 ]
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "max_length"
|
|
||||||
data_type: TYPE_INT32
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "max_new_tokens"
|
|
||||||
data_type: TYPE_INT32
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "do_sample"
|
|
||||||
data_type: TYPE_BOOL
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "top_k"
|
|
||||||
data_type: TYPE_INT32
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "top_p"
|
|
||||||
data_type: TYPE_FP32
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "temperature"
|
|
||||||
data_type: TYPE_FP32
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "repetition_penalty"
|
|
||||||
data_type: TYPE_FP32
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
name: "stream"
|
name: "stream"
|
||||||
|
|||||||
Loading…
Reference in New Issue
Block a user