Update config.pbtxt
This commit is contained in:
parent
091f1485e6
commit
7437bf7190
93
config.pbtxt
93
config.pbtxt
@ -5,92 +5,15 @@ max_batch_size: 0
|
|||||||
# Triton should expect as input a single string
|
# Triton should expect as input a single string
|
||||||
# input of variable length named 'text_input'
|
# input of variable length named 'text_input'
|
||||||
input [
|
input [
|
||||||
|
|
||||||
{
|
{
|
||||||
name: "text_input"
|
name: "text_input"
|
||||||
data_type: TYPE_STRING
|
data_type: TYPE_STRING
|
||||||
dims: [ -1 ]
|
dims: [ -1 ]
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "max_length"
|
|
||||||
data_type: TYPE_INT32
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "max_new_tokens"
|
|
||||||
data_type: TYPE_INT32
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "do_sample"
|
|
||||||
data_type: TYPE_BOOL
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "top_k"
|
|
||||||
data_type: TYPE_INT32
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "top_p"
|
|
||||||
data_type: TYPE_FP32
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "temperature"
|
|
||||||
data_type: TYPE_FP32
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "repetition_penalty"
|
|
||||||
data_type: TYPE_FP32
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: "stream"
|
|
||||||
data_type: TYPE_BOOL
|
|
||||||
dims: [ 1 ]
|
|
||||||
|
|
||||||
optional: true
|
|
||||||
|
|
||||||
|
|
||||||
}
|
}
|
||||||
|
|
||||||
]
|
]
|
||||||
|
|
||||||
|
|
||||||
# Triton should expect to respond with a single string
|
# output of variable length named 'embedding_outputt'
|
||||||
# output of variable length named 'text_output'
|
|
||||||
output [
|
output [
|
||||||
{
|
{
|
||||||
name: "embedding_output"
|
name: "embedding_output"
|
||||||
@ -103,19 +26,6 @@ parameters: [
|
|||||||
{
|
{
|
||||||
key: "base_model_path",
|
key: "base_model_path",
|
||||||
value: {string_value: "/cheetah/input/model/groupuser/codesage-large-v2"}
|
value: {string_value: "/cheetah/input/model/groupuser/codesage-large-v2"}
|
||||||
},
|
|
||||||
{
|
|
||||||
key: "is_adapter_model",
|
|
||||||
value: {string_value: "false"}
|
|
||||||
},
|
|
||||||
{
|
|
||||||
key: "adapter_model_path",
|
|
||||||
value: {string_value: ""}
|
|
||||||
},
|
|
||||||
|
|
||||||
{
|
|
||||||
key: "quantization",
|
|
||||||
value: {string_value: "none"}
|
|
||||||
}
|
}
|
||||||
]
|
]
|
||||||
|
|
||||||
@ -125,4 +35,3 @@ instance_group [
|
|||||||
count: 1
|
count: 1
|
||||||
}
|
}
|
||||||
]
|
]
|
||||||
|
|
||||||
|
|||||||
Loading…
Reference in New Issue
Block a user