这个模型微调之后推理时候支持设置batch_size大小吗,现在默认abtch_size为1,实在是太慢了,有可以使用batch_size的框架吗?
这个模型微调之后推理时候支持设置batch_size大小吗,现在默认abtch_size为1,实在是太慢了,有可以使用batch_size的框架吗?