您好,从法律上来讲,您可以基于胁迫的原因撤销担保。也就是说,在法律上,您不需要承担责任,包括担保责任、违约责任和缔约过失责任等。这属于主合同有效而担保合同无效的情形,主合同就是指您兄弟和王哥的借款合同。经初步判断,在这个当中,王哥胁迫您签合同,王哥有过错,您这边没有过错所以不用承担责任。
但在现实中,举证不是一件容易的事情,可能需要您提供证据来证明王哥是如何胁迫你的,不限于人证物证等。而且基于您所述的情况,王哥为人霸道,而诉讼又是一个漫长的过程,所以建议您先找村长、村委会或者村里有名望的长辈进行协商和调解,如果可能话尽量将调解的结果落实到书面上,方便您日后的维权。
《中华人民共和国民法典》
第五条 民事主体从事民事活动,应当遵循自愿原则,按照自己的意思设立、变更、终止民事法律关系。
第三百八十八条 设立担保物权,应当依照本法和其他法律的规定订立担保合同。担保合同包括抵押合同、质押合同和其他具有担保功能的合同。担保合同是主债权债务合同的从合同。主债权债务合同无效的,担保合同无效,但是法律另有规定的除外。
担保合同被确认无效后,债务人、担保人、债权人有过错的,应当根据其过错各自承担相应的民事责任。