Delete config.pbtxt
This commit is contained in:
parent
1f38035f13
commit
14c1e5e7a3
45
config.pbtxt
45
config.pbtxt
@ -1,45 +0,0 @@
|
|||||||
# Triton backend to use
|
|
||||||
name: "gemma-3-4b-it"
|
|
||||||
backend: "python"
|
|
||||||
max_batch_size: 0
|
|
||||||
|
|
||||||
# Triton should expect as input a single string
|
|
||||||
# input of variable length named 'text_input'
|
|
||||||
input [
|
|
||||||
|
|
||||||
]
|
|
||||||
|
|
||||||
|
|
||||||
# Triton should expect to respond with a single string
|
|
||||||
# output of variable length named 'text_output'
|
|
||||||
output [
|
|
||||||
|
|
||||||
]
|
|
||||||
|
|
||||||
parameters: [
|
|
||||||
{
|
|
||||||
key: "base_model_path",
|
|
||||||
value: {string_value: "/cheetah/input/model/groupuser/gemma-3-4b-it"}
|
|
||||||
},
|
|
||||||
{
|
|
||||||
key: "is_adapter_model",
|
|
||||||
value: {string_value: "false"}
|
|
||||||
},
|
|
||||||
{
|
|
||||||
key: "adapter_model_path",
|
|
||||||
value: {string_value: ""}
|
|
||||||
},
|
|
||||||
|
|
||||||
{
|
|
||||||
key: "quantization",
|
|
||||||
value: {string_value: "none"}
|
|
||||||
}
|
|
||||||
]
|
|
||||||
|
|
||||||
instance_group [
|
|
||||||
{
|
|
||||||
kind: KIND_AUTO
|
|
||||||
count: 1
|
|
||||||
}
|
|
||||||
]
|
|
||||||
|
|
||||||
Loading…
Reference in New Issue
Block a user