推理代码

[XuankeShi]

能否提供一个简单易用的推理代码。 当前高度耦合的代码， 测试很多实际结果存在很多问题，不方便排查问题原因。
比如提供一个例子， 输入prompt + , 输出layout可控的结果，而不仅仅是从dataset读入数据。
具体来说，我们跑LayoutSAM 看起来指标和定性结果是正常的，但是我们实际测试具体例子的时候，结果非常差。这很反常，尤其是layout区域内结果比较差。
还有想请问下：neg prompt 和 neg bbox prompt 这些有什么明确的作用么？

[hrz2000]

抱歉近期在CVPR rebuttal可能没有太多时间整理这个代码，

1. 一个比较简单的测试办法是参考LayoutSAM测试集格式，弄一批测试数据，里面都是您想测的case，进行批量推理。

如果您可以正常推理LayoutSAM测试集的话，我猜测大概率您的推理没有太多问题，可能是模型本身的问题：

1. 如果您是caption-to-layout-to-image，我们在此之前没有系统评估此完整链路，从之前提到的geneval结果上来看其实是不太理想的（可能是对这个输入提示泛化性还没有训到位）
2. 如果是(caption+layout)-to-image，这个应该是大部分case是能handle的

neg prompt就是classifer-free guidance常用的技巧，一般置空就行，neg bbox prompt只在图像编辑-物体删除的时候用到，用于抑制特定区域生成特定物体。

[XuankeShi]

您好，谢谢您的回复， 我们找到问题了，主要集中在negative prompt 负向提示词上。 我们低估了这个的影响。不过确实在coco position的质量一般

[XuankeShi]

是这样的，我理解diffusion过程采用cfg 是比较经典的做法，但是这种next token prediction的cfg机制，我低估了他的影响。