Automated QA Engineer
Your responsibilities:
● RAG Quality Evaluation: Design and curate datasets for RAG evaluation, develop and execute tests for RAG benchmarking, evaluating the accuracy and relevance of AI-generated content and information retrieval.
● Data-Driven Validation: Use data analysis techniques to evaluate test outcomes, track AI performance trends, and detect regression or drift across releases.
● Automation Test Solution Development: Design and implement automated test suites for both OutSystems front-end modules and backend microservices interacting with RaaS from the Galileo platform.
● Regression Testing: Build and maintain automated regression pipelines to ensure continuous platform stability after deployments and LLM-model updates.
● Integration Testing: Verify seamless communication between LUMIN and Galileo APIs, ensuring data integrity and correct processing across layers.
● CI/CD Integration: Embed automated tests into CI/CD pipelines (GitLab CI preferred) to enable consistent, repeatable quality gates before releases.
● Performance & Reliability Testing: Monitor and test system performance and reliability across environments, identifying performance bottlenecks or RAG degradation issues.
We are looking for you, if you have:
● Experience: 4+ years of professional experience in automated software testing, including experience with web, API, and backend systems. Strong understanding of regression and integration testing principles. Proven experience in AI-app testing, specifically with applications using LLMs and RAG.
● Automation Skills: Hands-on experience with automated testing tools (e.g., Playwright, Selenium, or OutSystems test automation frameworks). Experience developing custom test scripts in Python or JavaScript/TypeScript.
● AI Quality Testing: Experience testing LLM and RAG applications, including prompt validation, factuality testing, and output benchmarking.
● Backend & API Testing: Proven experience validating RESTful APIs, microservices, and asynchronous workflows. Familiarity with API testing tools (e.g., Postman, pytest, REST Assured).
● CI/CD & DevOps: Working knowledge of GitLab CI or equivalent systems (e.g., Github Actions), with test automation integrated into build pipelines.
We offer:
● Interesting and challenging projects
● Flexible working hours
● Friendly, non-corporate atmosphere
● Stable working conditions (CoE or B2B)
● Possibility for self-development and promotion in the company
● Rich benefits package
● Possibility to work remotely
We reserve the right to contact the selected candidates.
Dlaczego warto
dołączyć do TTMS?
Elastyczne godziny pracy
Nie każdemu odpowiada praca w firmie w standardowych godzinach 9-17. Od wielu lat z powodzeniem prowadzimy projekty, mimo niejednolitego trybu pracy.
Możliwość pracy zdalnej
W TTMS praca „biurko w biurko” nas napędza, ale rozumiemy, jeśli ktoś woli model zdalny bądź hybrydowy. Jesteśmy wyposażeni we wszystkie konieczne narzędzia, aby pracę wykonywać w dowolnym modelu.
Świetna, niekorporacyjna atmosfera
Profesjonalizm, dbałość o jakość pracy i przyjazna, nieformalna atmosfera nie wykluczają się. Płaska struktura oraz naturalne, życzliwe relacje tworzą u nas podłoże do kreatywności i innowacji.
Ciekawe, międzynarodowe projekty
Tworzymy rozwiązania dla średnich i dużych firm, jesteśmy obecni w Polsce, Malezji, Danii, UK, Szwajcarii i Indiach – efekty Twojej pracy okrążą cały świat. W TTMS masz wpływ na sukces firmy.
Wspólnie ku neutralności klimatycznej
Wybieramy podwykonawców pod kątem minimalizacji śladu węglowego, organizujemy nasadzenia krzewów, ratujemy torfowiska – wszystko po to, żeby osiągnąć neutralność klimatyczną już w 2025 roku. Cieszymy się, że przyciągamy coraz więcej osób, które dbają o zrównoważony rozwój i ochronę środowiska.
Przyjazne biura
Nasze biura to nowoczesne przestrzenie, inspirujące pracowników i przyjazne środowisku. Białystok jest królestwem superbohaterów Marvela, Kraków kojącym lasem tropikalnym, Wrocław galerią sztuki, a oddział Lubelski to rockowe “hall of fame”.
Chciałbyś dla nas pracować?
Przesłanie CV
Zawrzyj w nim informacje o umiejętnościach technicznych, znajomości języków programowania i narzędzi IT. Doświadczenie w projektach mile widziane.
Phone screening
Rozmowa ma na celu ocenę dopasowania kandydata do stanowiska i weryfikację podstawowych informacji z CV. Jest to również okazja do omówienia oczekiwań kandydata oraz krótkiego przedstawienia opisu stanowiska i warunków pracy.
Spotkanie z HR + weryfikacja
Rozmawiamy o doświadczeniach zawodowych kandydata, ale też o oczekiwaniach względem nowej pracy. Jest to moment na sprawdzenie referencji oraz potwierdzenie autentyczności podanych informacji. Pozwala to na lepszą ocenę kompetencji kandydata i jego dopasowania do kultury organizacyjnej firmy.
Rekomendacja do klienta
Kandydat jest przedstawiany klientowi. Etap ten ma na celu dopasowanie przyszłego pracownika do konkretnego projektu, biorąc pod uwagę zarówno umiejętności techniczne, jak i preferencje projektowe, co zwiększa szanse na pomyślną współpracę.
Zatrudnienie
Podpisujemy umowę, w której zawarte są warunki współpracy, zakres obowiązków, wynagrodzenie oraz inne kluczowe aspekty zatrudnienia, takie jak prawa i obowiązki obu stron. Od tej pory kandydat staje się oficjalnym pracownikiem firmy.
Onboarding + pierwszy dzień pracy
Kompleksowy proces zapoznawania nowego pracownika z organizacją, zespołem i narzędziami, w celu jak najszybszego i najefektywniejszego włączenia się do pracy. W TTMS proces ten jest nowoczesny – onboarding prowadzimy poprzez własną platformę e-learningową.
Nasze biura
Warszawa
Serce naszej firmy i centrum dowodzenia.
Funkcjonuje tu Zarząd spółki oraz kierownictwo poszczególnych obszarów biznesowych. To tutaj na co dzień podejmowane są najważniejsze decyzje strategiczne i biznesowe, ale też inicjatywy proekologiczne. Warszawski oddział – zlokalizowany w Varso Tower – stawia sobie za cel stworzenie w pełni ekologicznego biura wykorzystującego Energię odnawialną i stworzonego z materiałów przyjaznych dla środowiska.
Kraków
Poznań
Wrocław
Lublin
Białystok
Łódź
Koszalin
Transition Technologies MS S.A.
(„TTMS”) to szybko rosnący dostawca nowoczesnego outsourcingu IT
w Polsce i zagranicą.
Transition Technologies MS S.A.(„TTMS”) to szybko rosnący dostawca nowoczesnego outsourcingu IT w Polsce i zagranicą. TTMS jest częścią Grupy Transition Technologies, jednej z największych firm branży IT w Polsce, dzięki czemu jesteśmy stabilni i elastyczni.
Zatrudniamy ponad 600 specjalistów. Realizujemy nietypowe, kompleksowe
i nieszablonowe projekty dla wielu branż. Oferujemy elastyczne modele współpracy
i całościową obsługę projektów dzięki zespołom specjalistów z wielu dziedzin.
Stawiamy na ekologię i nieustannie zmniejszamy ślad węglowy, minimalizując jego
negatywny wpływ na środowisko.