Fröet till Kaja såddes våren 2005 i gruppen Kultiration. Bakom scenen under alla Kultirationturnéerna växte så smått en klezmerrepertoar fram mellan de tre musikerna. Efter en första bejublad konsert bestämde sig trion för att fortsätta arbeta tillsammans, med nya kompositioner influerade av östeuropeiska tongångar, under namnet Kaja. 

2006 släppte Kaja en EP med fem låtar och turnerade i Sverige och Tyskland. I Tyskland spelade de på Fabrik Potsdam utanför Berlin samt på Jazzklubben Oxident Bar i östra Berlin. I Potsdam var de inbjudna till den årliga internationella festivalen Tanz Tage att göra två konsertkvällar.  I december påbörjades också inspelningen av ett fullängdsalbum.

Våren 2007 släppte Kaja fullängdsalbumet Krackel på labeln Famous on the Moon Records med tio nya kompositioner.

2008 gjorde Radio P2 en liveinspelning av Kajas konsert på Korröfestivalen som sänts vid flera tillfällen.  Gruppen gjorde ett antal konserter i södra Sverige i Musik i Syds regi och en turné med flera skolkonserter och offentliga konserter arrangerad av Estrad Norr. Ny musik skrevs till berättarföreställningen Riddar Blåskägg. I Kajas nya musik berikades de östeuropeiska tongångarna med ytterligare nya influenser av bl.a. Satie, Mozart, tango och suggestiv filmmusik. Föreställningen spelades på Hagateatern i Göteborg av Kaja och berättaren Kiriaki Christoforidis.

2009 spelades musik till gruppens andra fullängdsalbum in. Några mindre turnéer i Sverige genomfördes.

2010 slutfördes inspelningarna av albumet Rust som släpptes den 20 september. Releaseturné följde.

2011 har Kaja varit på skolturné och spelat in en livekonset för radio Sörmland, spelat på festivaler, nationaldagsfiranden, spelmansstämmor och slott. Under oktober gör vi en turné med final på WOMEX i Köpenhamn och i december sätter vi upp Midvintervaka på Teater Aftonstjärnan tillsammans med kvartetten Tetra.