用api

70b模型有43G大小， 而你的显存才44G，载入模型就把显存用光了，还占用了共享显存，运行的时候，稍微一点点上下文，比如1k上下文，你的显存都装不下，需要用共享显存，那cpu肯定很快100%。
运行大模型不只是需要模型本身大小的显存，还需要上下文缓存kv显存，相同长度的上下文，模型越大缓存越大，要想10k上下文流畅运行，你的空余显存必须达到模型大小1倍，100k上下文需要的空闲显存成倍增长。