Николай Николаевич Рыбников родился в Борисоглебске в простой рабочей семье. Отец был слесарем, мать — домохозяйкой. 

Его отец, Николай Николаевич Рыбников, умер во время войны, а следом за ним умерла и мама, Клавдия Александровна. 

Дебютом в кино стала эпизодическая роль в фильме «Сельский врач» (1951). Впервые снялся со своей будущей женой Аллой Ларионовой в киноленте «Команда с нашей улицы» (1953).

С 1953 года — актёр Театра-студии киноактёра.

В 1955 году сыграл главную роль механизатора Фёдора Соловейкова в фильме Михаила Швейцера «Чужая родня».
Слава пришла к артисту после исполнения главной роли Саши Савченко в фильме «Весна на Заречной улице» (1956; реж.: Феликс Миронер и Марлен Хуциев). В 1956 году фильм стал лидером проката (30,1 млн зрителей).

В 1961 году согласился сняться в комедии режиссёра Юрия Чулюкина «Девчата», исполнив в фильме роль лесоруба Ильи Ковригина. В 1962 году фильм имел колоссальный зрительский успех (в СССР его посмотрели почти 35 млн зрителей).

В 1960—1970-е годы Рыбникова много снимали, на его счету значатся такие фильмы как «Им покоряется небо» (1963), «Разбудите Мухина!» (1967), «Война и мир» (1967), «Освобождение» (1968), «Седьмое небо» (1971) и другие.

В конце 1970—1980-х годах приглашали сниматься всё реже, в основном в эпизодических ролях. Наиболее запоминающиеся работы в фильмах Рыбникова в этот период — «Семья Ивановых» (1975), «Вторая попытка Виктора Крохина» (1977), «Выйти замуж за капитана» (1985; по результатам зрительского опроса журнала «Советский экран» в 1986 году, актёра признали лучшим исполнителем эпизодической роли) и другие.

В 1990-м году актёром была сыграна последняя его роль в фильме режиссёра Дмитрия Астрахана «Изыди!».