不过，另辟蹊径总是有代价的，对于彼得曼来说，就是他不太可能被大众当做体面的生意人看待。不管彼得曼如何辩解，他的网站无疑大大方便了不忠诚的配偶，在无数家庭引发了危机。彼得曼的生意也许合法（除了新加坡禁止了他的网站），但绝不道德。家庭团体的抗议和各种口诛笔伐对于彼得曼和他的网站来说是家常便饭。最近甚至有位被妻子欺骗的丈夫一怒之下将Ashley Madison网告上了法庭。

其实彼得曼本人的价值观并不另类。虽然他的网站的口号是“人生苦短，及时行乐”，但这个网站在“常见问题”的网页中一本正经地陈述该网站并不鼓励任何人出轨，如果婚姻出现问题，你应该寻求咨询；当然，如果你经过深思熟虑，仍然确定一定以及肯定要出轨，那么就选择Ashley Madison网来出轨吧。

彼得曼在回应对他的批评时也为网站喊冤“我们只提供平台。并没有什么网站或30秒的广告令人出轨，人们出轨是因为生活不如意”（We're just a platform. No website or 30-second ad is going to convince anyone to cheat. People cheat because their lives aren't working for them）。

生活中彼得曼已婚，是两个孩子的父亲，自述婚姻幸福。当被问到若发现妻子注册Ashley Madison网时，自己会怎么想，彼得曼很坦白：“我大概会崩溃，但是我不会去责怪某个网站……我做这个生意来养家，可没觉得什么不妥。”这倒是很有趣，彼得曼赚着婚外恋者的钱，挣上了千万身家，但他自己心里可并不认同他的客户们呢。