AI 환각을 줄이기 위한 방법은 다양하지만, 요즘은 크게 두 가지로 갈려요. 하나는 AI가 답변을 만들기 전에 더 정확한 근거를 참고하게 만드는 방식이고, 다른 하나는 AI가 만든 답변을 한 번 더 점검하는 방식이에요.

RAG(검색 증강 생성)를 활용하는 방법은 전자에 가까워요. AI가 아무 근거 없이 답을 만들어내지 않도록, 외부 문서나 사내 데이터를 함께 참고하게 만드는 방식이죠. 반면 답변이 사실과 맞는지, 신뢰할 만한 출처가 있는지 확인하는 것은 답변 생성 이후의 검증에 가까워요. 구글 클라우드나 마이크로소프트 Azure 같은 빅테크 기업들은 AI에 들어오는 질문과 나가는 답변을 함께 점검하는 장치를 마련해, 입력과 출력을 함께 관리하는 방향으로 안전장치를 강화하고 있어요.

하지만 완전히 다른 방향에서 문제를 해결하려는 시도도 등장하고 있어요. 애초에 AI가 모르는 것을 모른다고 말하게 만들자는 접근이에요. KAIST 연구팀은 AI가 실제 데이터를 학습하기 전부터 과하게 확신하는 경향이 생길 수 있다고 보고, 실제 데이터 학습 전에 무작위 노이즈로 짧게 ‘예열’하는 방식을 제안했어요. 쉽게 말하면 AI가 지식을 배우기 전에, 먼저 “나는 아직 모른다”는 상태를 익히게 하는 거예요.

네이버 클로바팀은 AI가 지어낸 말일수록 흔들린다는 점에 주목했어요. 그래서 하나의 답변을 받은 뒤, 그 답변에 이어질 뒷문장을 여러 번 만들어 보게 했어요. 사실에 가까운 답변은 이어지는 문맥도 비슷한 방향으로 흘러갔지만, 환각된 답변은 생성할 때마다 세부 내용이 달라졌어요. 마치 꾸며낸 이야기는 다시 물을 때마다 설정이 조금씩 바뀌는 것처럼요. 이런 식으로 첫 답변 이후에 만들어지는 미래 문맥(Future Context)을 새로운 환각 검출 단서로 활용하고 있어요.

LLM은 기본적으로 주어진 맥락에서 다음에 올 가능성이 높은 말을 이어가는 방식으로 작동하기 때문에, AI 환각을 완전히 없애기는 어렵다고 여겨져요.

중요한 건 환각을 0으로 만드는 것이 아니라, 환각이 생겼을 때 이를 알아차리고 줄일 수 있는 구조를 만드는 일이에요.

RAG(검색 증강 생성)나 사후 검증을 고도화하는 방식, 그리고 KAIST와 네이버 클로바팀의 연구처럼 AI가 자신의 답을 더 조심스럽게 다루도록 만드는 기술적 시도는 모두 같은 방향을 향하고 있어요. AI의 답변을 그대로 믿기보다, 근거와 맥락을 바탕으로 다시 확인할 수 있는 아키텍쳐를 구축하는 것이죠.

또한 기술적인 해결책을 찾는 것도 중요하지만, 위험도가 높은 업무에는 사람이 검토할 수 있는 기준을 세우고, 중요한 답변에는 인용과 증빙을 남기는 운영 원칙도 함께 필요해요.

텍스트를 넘어 이미지와 영상까지 AI 활용 범위가 넓어지는 지금, AI를 ‘그럴듯한 거짓말쟁이’가 아니라 ‘믿을 수 있는 협력자’로 만들기 위해서는 기술과 책임 있는 사용 방식이 함께 움직여야 해요.

방금 살펴본 AI 환각의 핵심은 결국 “AI의 답변을 어디까지 믿을 수 있는가”였어요. 이 물음표는 기업이 AI 전환을 고려할때도 그대로 이어지고 있어요.

AI가 팀의 보고서를 요약하는 수준을 넘어 전사 데이터를 분석하고, 인사이트를 제안하고, 실행까지 연결하기 시작하면 성과는 언어 모델의 성능만으로 결정되지 않아요. 어떤 데이터를 보고, 어떤 기준으로 해석하며, 그 결과를 어떤 의사결정으로 연결하는지가 더 큰 차이를 만들 수 있어요.

그래서 AI 시대에는 GIGO(Garbage In, Garbage Out)라는 오래된 원칙이 다시 소환되고 있어요. 좋은 질문을 던져도, AI가 참고하는 데이터의 기준과 맥락이 흐릿하다면 답변 역시 흔들릴 수밖에 없다는 거죠. AI가 더 많은 일을 대신할수록, 데이터 품질은 단순한 관리 문제가 아니라 비즈니스 경쟁력을 좌우하는 핵심이 됐어요.

이런 이유로 데이터 분석 업무는 AI 시대에 다시 중요한 과제가 되고 있는데요. 데이터를 AI가 읽고 해석해주는 시대에도, 왜 데이터 분석의 가치는 오히려 커지고 있는지 더 자세히 살펴봤어요.