Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

test on other set,but not good #1

Open
YYY-12138 opened this issue May 11, 2023 · 6 comments
Open

test on other set,but not good #1

YYY-12138 opened this issue May 11, 2023 · 6 comments

Comments

@YYY-12138
Copy link

您好,得益于您的代码,近期我也跑通了,但发现将FedDG训练出来的模型,用在其他眼底图像数据集上,效果并不好,OD/OC分割混乱,不知道您当时有没有类似的问题。
(感觉是不是因为ta的site3和site4-unseen site其实本质是一个数据集,训练的时候多少也算seen了,所以在site4测试的时候效果不错呢?)

@lywa1998
Copy link
Owner

您好,YYY-12138
我在复现FedDG论文结果时并没有实现论文中的所达到的Dice和HD性能,并且具有不小的差距,但分割效果还算理想。至于FedDG在其他眼底图像数据集上并没有测试,因此您遇到的OD/OC分割混乱问题并没有遇到。
关于您对于数据集划分的疑问,在论文中4.3节中“training on K-1 distributed source domains and testing on the one left-out unseen target domain”和7.1节中“Note that the REFUGE dataset includes two different data sources, so we decompose them in our federated learning setting.”相信能回答您的疑问。
针对您实验结果,我觉得您可以通过查看对您使用的眼底图像数据集的插值结果是否真的实现了数据的跨域。

@Zerua-bit
Copy link

您好,YYY-12138 我在复现FedDG论文结果时并没有实现论文中的所达到的Dice和HD性能,并且具有不小的差距,但分割效果还算理想。至于FedDG在其他眼底图像数据集上并没有测试,因此您遇到的OD/OC分割混乱问题并没有遇到。 关于您对于数据集划分的疑问,在论文中4.3节中“training on K-1 distributed source domains and testing on the one left-out unseen target domain”和7.1节中“Note that the REFUGE dataset includes two different data sources, so we decompose them in our federated learning setting.”相信能回答您的疑问。 针对您实验结果,我觉得您可以通过查看对您使用的眼底图像数据集的插值结果是否真的实现了数据的跨域。

您好,请问能分享一下您跑通了的Feddg的代码吗?

@Zerua-bit
Copy link

您好,得益于您的代码,近期我也跑通了,但发现将FedDG训练出来的模型,用在其他眼底图像数据集上,效果并不好,OD/OC分割混乱,不知道您当时有没有类似的问题。 (感觉是不是因为ta的site3和site4-unseen site其实本质是一个数据集,训练的时候多少也算seen了,所以在site4测试的时候效果不错呢?)

您好,请问能分享一下您跑题了的Feddg的代码吗

@lywa1998
Copy link
Owner

lywa1998 commented Mar 7, 2024

您好,YYY-12138 我在复现FedDG论文结果时并没有实现论文中的所达到的Dice和HD性能,并且具有不小的差距,但分割效果还算理想。至于FedDG在其他眼底图像数据集上并没有测试,因此您遇到的OD/OC分割混乱问题并没有遇到。 关于您对于数据集划分的疑问,在论文中4.3节中“training on K-1 distributed source domains and testing on the one left-out unseen target domain”和7.1节中“Note that the REFUGE dataset includes two different data sources, so we decompose them in our federated learning setting.”相信能回答您的疑问。 针对您实验结果,我觉得您可以通过查看对您使用的眼底图像数据集的插值结果是否真的实现了数据的跨域。

您好,请问能分享一下您跑通了的Feddg的代码吗?

您好,请问是哪里出现问题了。只要做好了数据预处理,应该是可以跑通的。请提供没跑通的具体信息。

@Zerua-bit
Copy link

我自己写了个预处理代码,但是train泡通后,验证的时候精度只有四五十,并且测试代码无法跑通,由于这个代码训练时间过长,而我只是用这个论文作为对照方法实验,所以想找您直接分享一下可以跑题的代码。万分感谢!

@lywa1998
Copy link
Owner

lywa1998 commented Mar 7, 2024

这个仓库就是我可以跑通的代码。虽然我也距离论文中的精度有一些差距,但你训练的精度只有四五十就有点低了。

测试代码具体是哪里有问题,你可以贴出报错信息来讨论一下?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants