Вроде как "При всем желании", обычно используется в контексте фразы, что ты не можешь помочь в принципе, даже если хочешь, а не как обособленное предложение. В то время как "ладно, хуй с тобой", содержит в себе "ладно", означающее согласие, вопреки каким-либо факторам, что позволяет заменить "хуй с тобой" на фактически что угодно, не меняя факт согласия.
Отличный комментарий!