Nils-Eric Johansson inledde sin fotbollskarriär i moderklubben IFK Viksjö och via IF Brommapojkarna kom han 1997 som juniorspelare till AIK. Samma år lämnade han Sverige för den tyska storklubben FC Bayern München innan flyttlasset tre år senare gick vidare till 1. FC Nürnberg. Efter åren i Tyskland blev det spel i engelska Blackburn Rovers FC och Leicester City FC och under sin första säsong i Blackburn vann han Ligacupen efter att bland annat spelat hela finalen mot Tottenham Hotspur FC (2–1) den 24 februari 2002 inför 72 500 åskådare på Millennium Stadium i Cardiff, Wales. Johanssons enda mål för Blackburn kom hemma på Ewood Park mot Manchester City FC (2–0) i Ligacupens fjärde omgång den 28 november 2001 då han inför 17 907 åskådare gav hemmalaget ledningen en minut innan halvtidsvilan.

Efter bland annat 86 matcher i Premier League, 75 matcher i engelska Championship och tio matcher i Bundesliga meddelade AIK Fotboll den 21 maj 2007 att man var överens med den internationellt rutinerade backen om ett treårsavtal med start den 1 juli samma år. Avtalet mellan parterna har sedan förlängts vid tre tillfällen (2010, 2013 och 2015) och det nuvarande avtalet sträcker sig över säsongen 2017.

Nils-Eric Johansson debuterade för AIK i det allsvenska hemmamötet med Trelleborgs FF (2–0) den 3 juli 2007 inför 16 873 åskådare på Råsunda Fotbollstadion. Johansson spelade då mittback bredvid Daniel Arnefjord i en match där även de två argentinarna Mauro Iván Óbolo och Lucas Valdemarín svarade för sina första matcher i den svarta AIK-tröjan.

Det första AIK-målet för honom kom den 5 oktober 2008 borta på Örjans vall mot Halmstads BK (1–2) i Allsvenskan då han i den 68:e minuten nickade in 1–1-målet efter en hörna från Jorge Ortíz. Nils-Eric Johansson vikarierade som lagkapten under Daniel Tjernströms tid i klubben och har sedan Tjernström avslutade spelarkarriären i augusti 2013 varit AIK Fotbolls ordinarie lagkapten.

Den 15 mars 2015 spelade Nils-Eric Johansson sin 300:e tävlingsmatch för AIK då Gnaget tog emot Hammarby (3–5) i kvartsfinalen i Svenska cupen inför 23 860 åskådare på Friends Arena. Matchen avgjordes efter straffsparkar och Nisse Johansson slog in bollen från straffpunkten nedanför AIK-klacken. Han blev den sjunde spelaren genom tiderna som nådde milstolpen 300 spelade tävlingsmatcher för AIK.

Vänsterbacken är också den spelare som spelat näst flest tävlingsmatcher för AIK under hela 2000-talet. Flest tävlingsmatcher totalt för AIK har Daniel Tjernström (395) spelat. Övriga spelare som har gjort fler än 300 tävlingsmatcher för Gnaget är Göran Göransson (363), Sven Dahlkvist (351), Gustav Sjöberg (346), Nils-Eric Johansson (334), Krister Nordin (312) och Gary Sundgren (309).

Nils-Eric Johanson har även tre A-landskamper, 21 U21-landskamper, 25 U19-landskamper och 28 U17-landskamper för Sverige på visitkortet. Debuten i det svenska A-landslaget skedde mot Ryssland (1–1) den 21 augusti 2002 på Lokomotivstadion i Moskva då han ersatte Johan Mjällby i den 66:e minuten. Det blev inhopp i ytterligare två A-landskamper mot Portugal (2–3) och Tjeckien (3–3) under senhösten 2002. I juni 2013 blev Nils-Eric Johansson återigen uttagen till det svenska A-landslaget då skador fick förbundskapten Erik Hamrén att ringa AIK-backen för att vara med på resan till Wien och VM-kvalet mot Österrike (1–2) den 7 juni, men det blev inget inhopp för honom på Ernst-Happel-Stadion. Han satt även på bänken fyra dagar senare då Sverige i VM-kvalet tog emot Färöarna (2–0) hemma på Friends Arena.