《红字》涉及的人物关系并不复杂，简单来说，就是海斯特·白兰、丁梅斯代尔牧师和罗杰·齐灵渥斯三个人的爱恨纠葛。
海斯特·白兰本是一英国贵族的子女，和老学者齐灵渥斯是夫妻，他们本打算一起去新英格兰（新大陆），可是中途时，齐灵渥斯打发白兰先去新英格兰安顿好，自己先处理一些事物，不料被异教徒抓获，历经两年，才来到和妻子约定的地方。
齐灵渥斯本是一个安静沉祥，富有学识的人，到达新大陆后一切都慢慢改变了。
白兰先来到波士顿，和当地名望极高的牧师丁梅斯代尔发生关系，并育有一子，名珠儿。事情败露后，当地法律判她为通奸罪，并且要她举报那个和他发生关系的男人是谁，白兰勇敢坚强，一直没有透露。于是，他们就在她的胸口前印了一个鲜红的A（A据说有很多种含义，不限于通奸adultery）
这一切都被齐灵渥斯慢慢察觉到了，并且开始实施报复的计划。
最后牧师丁梅斯代尔由于内心愧疚煎熬，身心受挫，七年后病死了，死之前他承认自己的罪行，承认白兰是自己的妻子，承认珠儿是他的女儿，最后获得了救赎；白兰也因自己一直行善，让鲜红的A字不再是罪恶的象征，而是圣洁的化身；反而，在作者看来真正的罪人是齐灵渥斯，因为他既没有上帝的博爱和善心，又失去了同情和怜悯。