1) Você vai mesmo precisar de um domínio e um servidor. Você pode usar a Registro.br ou a Porkbun, por exemplo.
2) Se for um computador doméstico usado como servidor na sua casa, será preciso que ele fique ligado 24h/dia e sua conexão com a internet tenha IP fixo
2.1) Se seu provedor não fornecer IP fixo ou for muito caro, você poderia usar um VPS com VPN, mas aumenta a complexidade e portanto seria melhor abandonar o computador doméstico e usar só o VPS
3) Aqui tem as instruções de como instalar o Mastodon: https://blog.cadu.cc/artigo/instalar-mastodon
4) Transformar o servidor, seja ele VPS ou computador doméstico, em servidor SMTP é algo um tanto avançado e com uma possível boa dose de problemas. Então melhor você usar um serviço terceirizado de disparos, como um desses:
- SMTP2GO
- Scaleway TEM
- Zoho ZeptoMail
- MailChannels
5) Aqui tem uma lista de bons provedores, tanto de VPS, como de e-mail e outros serviços usados por uma instância do fediverso: https://info.bolha.one/sobre/fornecedores/
6) Se a instância for só pra você, considere usar o GoToSocial, que é bem mais leve e não requer tantos recursos quanto o Mastodon. Um servidor barato com 512 MB de memória já daria conta: https://blog.cadu.cc/artigo/instalar-gotosocial