Refactor torch inference engine

[lvhan028]

No description provided.

[lvhan028]

这个PR中，我们重点保证功能的正确性：

• @RunningLeon 请结合 opencompass 中支持 pytorch_poc 分支评测的功能，测以下模型的精度: llama2-7b-chat, internlm-7b-chat, baichuan2-13b-chat, qwen-7b-chat
• @HIT-cwh 测试 chatglm，falcon 的对话结果是否正确。142上有模型
• @AllentDan 测试 w8a8 的功能（llama2，internlm），对话结果是否正确。以及 internlm-20b的TP
• @lvhan028 测试benchmark脚本的正确性

[AllentDan]

Got:

from .calibrate import calibrate
ImportError: attempted relative import with no known parent package

following the doc.

[AllentDan]

pytorch_poc -> pytorch

[AllentDan]

And another relative import error for the command.

[AllentDan]

20b w8 转换完后，直接跑 tp 2 挂了。

rank[1]: cannot unpack non-iterable NoneType object

[grimoire]

20b w8 转换完后，直接跑 tp 2 挂了。

rank[1]: cannot unpack non-iterable NoneType object

@HIT-cwh

[lvhan028]

20b w8 转换完后，直接跑 tp 2 挂了。

rank[1]: cannot unpack non-iterable NoneType object

不量化的话，TP是否正确呢？

[AllentDan]

20b w8 转换完后，直接跑 tp 2 挂了。

rank[1]: cannot unpack non-iterable NoneType object

不量化的话，TP是否正确呢？

正确

[HIT-cwh]

20b w8 转换完后，直接跑 tp 2 挂了。

rank[1]: cannot unpack non-iterable NoneType object

@HIT-cwh

添加了 W8A8 支持 TP 的 pr，麻烦帮忙 review 下。
主要修改为在切分权重的时候需要考虑到 buffer ，因为在 QLinear 中，Weight, Bias, Scale 都是以 buffer 形式存储的。

如果把 Weight, Bias, Scale 都注册为 Parameter ，可能需要统一修改 register parameter 的逻辑。因为 Weight 需要是 int8 类型的，将其注册为 Parameter 的时候需要将requires_grad 设为False，而 accelerator 的 init_on_device 中重写了注册 Parameter 的机制，导致 self.weight = nn.Parameter(a_int8_tensor, requires_grad=False)这种写法是不起效果的。可能需要将所有涉及注册 Parameter 的地方都改成下面这种写法：

param = torch.Tensor._make_subclass(nn.Parameter, param, False)
if param.dtype == torch.int8:
      param.__dict__.update({'requires_grad': False})
module.register_parameter(name, param)

[RunningLeon]

LGTM

[HIT-cwh]

chatglm 对话没问题，falcon 对话比较奇怪，但可能是模型本身性能不行，例如下图的对话结果（会一直重复）：

[AllentDan]

LGTM But scripts in documents should be updated. Such as pytorch-poc -> pytorch