[ISSUE] 模型推理有优化参数或者预期的优化方案吗 #75

Activity

1. zhzLuke96

   added

   questionFurther information is requestedFurther information is requested

   on Jun 26, 2024
2. zhzLuke96 commented on Jun 26, 2024

   

   zhzLuke96

   on Jun 26, 2024

   Last edited by zhzLuke96

   Member

   More actions

   关于计划

   • compile：编译之后能加速很多，但是需要实现 chunk padding 目前正在尝试实现
   • vllm：应该可以用 vllm 的 page attn 加速，目前不清楚效果如何，之后可能会加
   • 上游修复：官方的推理代码应该还有优化空间，(我cpu都可以跑 20it/s 但是 gpu 只能 30it/s 就很怪) 这方面就等待上游代码库提升效果了

   对于你本地的话，目前最简单有用的优化就是装上 flash attn。正确安装之后 llama model 会自己加载并使用，有一定的速度增益

   关于 batch_size，目前并不是传统意义上的 batch，因为推理依赖上下文无法完全并行，只有当满足分割条件时才会触发 batch 推理（即长文本推理）， 这个 batch_size 可以理解为 max_batch_size
3. zhzLuke96 commented on Jun 26, 2024

   

   zhzLuke96

   on Jun 26, 2024

   Member

   More actions

   相关 2noise/ChatTTS#302
4. wenyangchou commented on Jun 27, 2024

   

   wenyangchou

   on Jun 27, 2024

   ContributorAuthor

   More actions

   有4090相关的性能数据吗。

   

   我这个数据看起来好像正常，但是感觉延迟还是很高。我怀疑我这边环境有问题，从监控看，GPU使用率很低。我想看下4090的一个正常加速的数据
5. wenyangchou commented on Jun 27, 2024

   

   wenyangchou

   on Jun 27, 2024

   ContributorAuthor

   More actions

   有4090相关的性能数据吗。

   

   我这个数据看起来好像正常，但是感觉延迟还是很高。我怀疑我这边环境有问题，从监控看，GPU使用率很低。我想看下4090的一个正常加速的数据

   Concurrent Requests: 1
   P99 Response Time: 1.129 seconds
   Average Response Time: 0.846 seconds
   -----------------------
   Concurrent Requests: 2
   P99 Response Time: 2.488 seconds
   Average Response Time: 2.072 seconds
   -----------------------
   Concurrent Requests: 3
   P99 Response Time: 5.034 seconds
   Average Response Time: 3.964 seconds
   -----------------------
   Concurrent Requests: 4
   P99 Response Time: 7.924 seconds
   Average Response Time: 6.559 seconds
   -----------------------
   Concurrent Requests: 5
   P99 Response Time: 10.663 seconds
   Average Response Time: 9.597 seconds
   -----------------------
   

   现象来看，响应时间跟并发成正比，感觉是并发没做起来。导致我整体的GPU使用率都提不上去
6. zhzLuke96 commented on Jun 28, 2024

   

   zhzLuke96

   on Jun 28, 2024

   Member

   More actions

   有4090相关的性能数据吗。
   
   我这个数据看起来好像正常，但是感觉延迟还是很高。我怀疑我这边环境有问题，从监控看，GPU使用率很低。我想看下4090的一个正常加速的数据

   Concurrent Requests: 1
   P99 Response Time: 1.129 seconds
   Average Response Time: 0.846 seconds
   -----------------------
   Concurrent Requests: 2
   P99 Response Time: 2.488 seconds
   Average Response Time: 2.072 seconds
   -----------------------
   Concurrent Requests: 3
   P99 Response Time: 5.034 seconds
   Average Response Time: 3.964 seconds
   -----------------------
   Concurrent Requests: 4
   P99 Response Time: 7.924 seconds
   Average Response Time: 6.559 seconds
   -----------------------
   Concurrent Requests: 5
   P99 Response Time: 10.663 seconds
   Average Response Time: 9.597 seconds
   -----------------------
   

   现象来看，响应时间跟并发成正比，感觉是并发没做起来。导致我整体的GPU使用率都提不上去

   这是开了 --workers 之后测的吗？启动参数是怎么样的？
7. lenML

   locked and limited conversation to collaborators on Jul 2, 2024
8. zhzLuke96

   converted this issue into a discussion #86 on Jul 2, 2024