Есть несколько способов, буду описывать их по мере применения.

разрешённых ip прописываем в файле /etc/hosts.allow

SSHD: 123.456.78.90

Все подключения с других адресов запрещаем указав это в файле /etc/hosts.deny

SSHD: ALL

и перезагружаем сервис

service ssh restart
# либо
systemctl status sshd.service

если пашет iptables, то нужно открыть доступ для своего ip, а для всех остальных закрыть

iptables -A INPUT -s 123.456.78.90 -p tcp --dport 22 -j accept
iptables -A INPUT -p tcp --dport 22 -j DROP
# либо одной строкой
iptables -A INPUT -p tcp --dport 22 -s !123.456.78.90 -j DROP