Den norske diplomaten ble tatt opp mens han fornærmet russere i resepsjonen på et hotell i den arktiske byen Murmansk.
Videoen ble sendt i helgen av kanalen Mash Telegram, kjent for å være nær de russiske sikkerhetstjenestene, og forårsaket et ramaskrik i landet.
«Jeg hater russere… Bare gi meg et rom… Jeg er vant til å rydde rom, jeg er fra Skandinavia,» sa Ellingsen på engelsk.
Ellingsens utbrudd kommer på et tidspunkt med spenninger mellom Russland og Vesten over Russlands offensiv i Ukraina, som har ført til en salve av europeiske og amerikanske sanksjoner mot Moskva.
Norges utenriksdepartement sa i helgen at de «beklager dypt» hendelsen.
– Følelsene som er uttrykt gjenspeiler ikke norsk politikk eller den norske holdningen til Russland, sa utenriksdepartementet.
Torsdag sa Moskva at de tok det norske UDs uttalelse til etterretning.
En talskvinne i det norske utenriksdepartementet, Guri Solberg, sa torsdag at landets ambassadør var informert om at Moskva har tilbakekalt Ellingsens visum.
Ambassadøren gjentok at konsulens uttalelser «ikke gjenspeiler norsk politikk», sa Solberg og la til at Ellingsen for tiden ikke var i Russland.
«Internett-fanatiker. Ond arrangør. TV-fanatiker. Utforsker. Hipstervennlig sosiale medier-junkie. Sertifisert matekspert.»
