A história principal do jogo envolve duas grandes famílias da máfia – a família Salieri e a família Morello – que lutam pelo controle das atividades criminosas da cidade após a morte de uma terceira família da máfia. Ao lado dos dois grupos, a cidade também apresenta uma variedade de gangues de rua menores.

Em 1930, o empobrecido taxista Thomas “Tommy” Angelo é fortemente abordado por dois membros da criminosa família Salieri – Paulie e Sam – para ajudá-los a escapar de uma emboscada da família rival Morello. Tommy é recompensado por sua ajuda e oferece um cargo na organização de Don Salieri, que ele é forçado a aceitar no dia seguinte, quando dois gangsters de Morello o localizam e destroem seu táxi em um ato de vingança. Tommy é bem-vindo à família Salieri e começa a ajudar a conduzir suas atividades criminosas em Lost Heaven, supervisionado pelo fiel consigliere Frank Colletti de Salieri. Tommy rapidamente faz amizade com Sam e Paulie enquanto eles realizam vários trabalhos juntos, enquanto ganha o respeito de Salieri por acabar com as tentativas de Don Morello de interferir em seus negócios.

Em 1932, Tommy começa um relacionamento com Sarah, filha do barman de Salieri, depois de protegê-la de uma gangue de bandidos de rua. Sob as ordens de Salieri, Tommy e Paulie retaliam contra a gangue, mas rapidamente descobrem que seu líder, a quem Paulie matou, era filho de um vereador corrupto, que jura vingança. Mais tarde, Tommy é condenado a destruir um bordel por mudar sua lealdade para Morello, e matar um informante que trabalhava lá. Descobrindo que eles são, a amiga de Sarah, Michelle, que precisava de dinheiro para pagar os cuidados médicos de seu irmão, Tommy começa a questionar sua moralidade e deixa Michelle ir. Mais tarde, ele encobre suas ações e ajuda Sam em um golpe contra uma testemunha do assassinato do filho do vereador.