Borlóy Androvitzky Károly életében három érdeklődési kör játszott nagy szerepet: A sakk, a költészet és a zene.
Sakkozni édesapjától tanult meg, aki erős I. osztályú sakkozó volt. A sakkmesteri címet 1951-ben a VII. Magyar Sakkbajnokságon szerezte meg, fél ponttal túlteljesítve a mesteri normát. Ez a bajnokság az akkori legerősebb mezőny volt, ahol a nagymester, mestergárda színe-java szerepelt. Ötven éves sakkpályafutása során igen sok kimagasló eredményt ért el az Országos Magyar Sakkbajnokságokon, vegyes mesterversenyeken. Ötször volt bajnoki döntős, a válogatott keret tagja volt. 1953-ben kapta meg a kiváló sportoló címet. Ugyanebben az évben Lángos Józsa magyar sakkbajnoknő szekundánsaként részt vett a moszkvai női világbajnokságon. 1954-ben lett a sakk edzőbizottság tagja. Becsületes, a sakkot nagyon szerető, a sakksport tisztaságát védő igazi sportember volt. Többek közt ez is volt az oka mellőzöttségének, nemzetközi címet nem tudott szerezni, nem adtak rá lehetőséget, hogy nemzetközi versenyeken indulhasson, csak azokon a versenyeken játszhatott, ott volt joga indulni, ahol nem tudták megakadályozni ebben.
Kitűnő levelezési sakkozó is volt, mind egyéni, mind csapat versenyzőként igen jó eredményeket ért el.
1960-ban kidolgozott egy pontozási rendszert amellyel valamennyi ország legjobb sakkozóit igazságosan lehet rangsorolni. Kidolgozta az akkor élő magyar mestergárda 50 tagjának rangsorát, alapul a két utolsó naptári évben elért eredményeiket vette. A sportértékelési munkát elküldte a Magyar Sakkszövetség főbb vezetőinek, a Minősítő Bizottság Elnökének, továbbá a FIDE elnökének; Folke Rogard-nak. Kezdetben igen nagy lelkesedéssel fogadták, az idők folyamán azonban mindjobban gáncsoskodtak, hónapokig elfektették, végül eltüntették az anyagot. A sakktársadalomnak széles körben fogalma sem volt arról, hogy megszületett egy pontos, precíz pontozási rendszer egészen 2009-ig, amikor a Magyar Sakkvilág című sakklapban megjelent erről egy cikk "Az elkallódott spanyolviasz" címen. Viszont, 1970-ben elfogadta a Nemzetközi Sakkszövetség Élő Árpád Amerikában élő, szüleivel 20 éves korában kivándorolt fizikus értékszám számítását. Érdekesség, hogy Élő Árpád 1970-ben lett a FIDE Minősítési Bizottságának titkára. Élő Árpád saját bevallása szerint is elfogadott munkája sok módosításra szorult illetve a javításokat indokoltnak vélte. A Magyar Sakkszövetségnek nem kellett a pontos, hibátlan Androvitzky féle pontozási rendszer, mely 10 évvel előbb készült mint az Élő féle rendszer.
Pontrendszere olyannyira differenciálta a teljesítményeket, hogy szinte nem létezett két egyforma értékszám.
Borloy Androvitzky Károly 1963-ban súlyosan megbetegedett, mélyvénás lábtrombózist és négy rendbeli tüdőembóliát kapott, 160 napig feküdt mozdulatlanul. Felépülése után a versenyzést 6 éven át szüneteltette. 1981-ben megnyerte a Bebrits emlékversenyt. Hét tavaszi fesztiválon vett részt, az 1990-es tavaszi fesztiválon Dr. Heinz Lehmann nemzetközi sakkmesterrel a legjobb seniornak járó különdíjat kapta.
A sakkon kívül fiatal kora óta foglalkozott versírással, eleinte kevés sikerrel, a kiadók nem adták ki írásait. Ez kedvét szegte és egy időre abba hagyta a versírást. Végül felesége unszolására felkereste Illyés Gyulát. A költő Borlóy Androvitzky verseinek áttanulmányozása után a következőket nyilatkozta: "Írása érthető, világos, rímei frappánsak, ötletesek, nagy fantáziát mutatnak. Témája sokoldalú, szinte mindenről tud írni, mély érzésről, gondolatokról tanúskodik." Illyés támogatásának köszönhetően több folyóirattól, újságtól kapott felkérést, azonban önálló verseskötete csak halála után 2006-ban jelent meg, "Borlóy Androvitzky Károly sakkmester költeményei" címen a Püski Könyvesház gondozásában. A könyvben azok a versek szerepelnek, melyeknek kéziratát több mint három évtizeddel korábban Illyés Gyulának megmutatta. Második kötete, a "Fondorlatos Jucika" 2009 februárjában került a könyvesboltokba. Ebben Pusztay Pál hírneves karikatúrista képeit, rajzait „verselte meg”. A kézirat és a hozzá tartozó rajzok már 1970-ben elkészültek, azonban Pusztay Pál váratlan halála miatt akkor nem adták ki. Harmadik kötete, mely "Ez tiszta kabaré" címmel jelent meg 2010 június 15-én. Ez a kis kötet Borlóy Androvitzky Károly halálának 10. évfordulója tiszteletére készült.
Emlékét szép költeményei, szép sakkjátszmái mellett 0 2007 május 11-én kertjében felavatott bronz mellszobor, Mihály Gábor Munkácsy díjas szobrászművész alkotása is őrzi.
Feleségével, Selmeczi Hedviggel 43 éven át éltek boldog, szeretettel teli házasságban.
Költői munkásságát Illyés Gyula támogatta,így több újságtól kapott felkérést versei közlésére. Halála után jelenhetett meg három verses kötete a Püski Kiadó gondozásában.