When Your Phone Becomes a Spy: The Hidden Costs of Agentic AI
- Saemi Nadine Jung
- 3 minutes ago
- 7 min read
How would you feel when your every single eye roll, your voice tone, what you say, how you move get recorded to grade your performance?
Sounds like a serious breach of privacy, right?
Well, it's already happening. Corporations are doing everything they can to extract not just our data, but something deeper: our patterns, our behavior, even our sense of self.
From a Dinosaur Phone to an AI Future I Didn’t Ask For
I have been happily using my Samsung Galaxy S10e for about 6 years.
Yes, I know—I am a dinosaur.
But when something works well, I don’t feel the need to upgrade. The phone did what I needed it to do. Calls. Maps. Good camera. Simple.
Then, three weeks ago, it started failing to pick up data. My carrier told me it was likely a hardware issue. I spent three days troubleshooting with online support agents and looking through from youtube and reddits. I finally got it working.
A few days later, it stopped working agian. Now if you don't have data, you don't have access to Google Maps. You don't get directions. You can't get anywhere.
So I told myself: six years is enough. Time to get a new phone!
As I researched new phones and spent hours comparing different brands, I realized how dramatically things had changed—Not just in hardware, but in philosophy.
Why We Should Seriously Worry About Surveillance Capitalism
The term surveillance capitalism (Zuboff, 2018) refers to the economic system where companies extract, analyze, and monetize behavioural data at massive scale—often without clear user consent. We’ve already seen this in ad networks, social platforms, and metadata marketplaces. But with AI embedded deeply into phones, the extraction can be even more intimate and constant.
When your device is designed to predict what you’ll do next, it needs to know you better than you think. It tracks your habits, routines, your phrasing—even things you don’t explicitly share. Companies can then turn those behavioural predictions into revenue streams, influence user choices, or surface content that aligns with corporate partners’ interests. And because it’s packaged as helpful tech, most people barely bat an eye.
Not only that, computers work behind the scenes.
From @Shityoushouldcareabout instagram account
Experts are already sounding alarms about agentic AI’s privacy implications — from the increased data access agents require (including your history and context) to the ethical risks of giving these systems unchecked autonomy.
The New Breed of Phones: AI That Acts for You — and About You
AI that predicts, observes, and sometimes decides — all without your explicit consent.
The newest generation of smartphones isn’t just faster or sharper.
They are agentic.
Just a few days ago, Samsung unveiled its flagship lineup, Galaxy S26 series, promoting “agentic AI” — assistants embedded directly into the operating system that don’t just respond to commands, but anticipate needs and act on your behalf.
Agentic AI is a marketing term for on-device assistants that don’t just answer your questions, they anticipate your needs and act on your behalf. These assistants, driven by models like Google’s Gemini and Perplexity, are designed to automate tasks, interpret context across apps, and proactively suggest actions without explicit instructions.
It all sounds convenient.
Samsung news states: "Samsung Unveils Galaxy S26 Series: The Most Intuitive Galaxy AI Phone Yet"
But here’s the reality. Your phone must continuously observe you to anticipate you. It must:
Track your habits
Analyze your speech patterns
Monitor your routines
Interpret your preferences
Predict your behavior
These phones aren’t just smart. They’re listening, they’re profiling, and they’re increasingly behaving as agents with access to—and influence over—your digital behaviour. The phone is no longer just a tool.
It becomes an agent — one that watches, learns, and acts in ways that you may not have intended, quickly taking control from you.
And It’s Not Just Phones: It's workplaces too.
This isn’t a futuristic scenario— it’s happening now, in places as mundane as fast food restaurants.
Burger King is rolling out AI-powered in-ear coaching across its Canadian locations. Staff will wear headsets connected to an AI assistant named Patty, powered by OpenAI technology, designed to help with order preparation, inventory updates, and customer interaction prompts.
But the other side of this story reveals something more chilling: the same system can listen to employee's voices, monitor their words and “friendliness,” and potentially generate performance metrics from spoken interactions — with an AI silently parsing every phrase to determine whether a staff member said “please” or “thank you.”
On paper, it’s framed as training support. But consider what that requires.
The system must:
Continuously listen
Analyze vocal tone
Interpret word choice
Evaluate “friendliness”
Generate performance metrics
An AI quietly grading whether someone said “please” or “thank you.”
That’s not just assistance—that’s algorithmic management.
Even if companies claim it’s about coaching, the technology is fundamentally surveillant: it captures real human behaviour, analyzes it, and turns it into actionable data. If we’re not careful, our workplaces — and our devices — will become systems of constant, normalized monitoring.
Convenience Is a Trojan Horse
I didn’t set out to write about surveillance capitalism. I just needed a working phone.
But upgrading today doesn’t just mean better hardware. It means accepting devices that observe, predict, and influence us in increasingly intimate ways.
Media scholar Wendy Hui Kyong Chun talks about digital culture defined by habits—streaming, updating, and posting—that make new media feel essential yet mundane. She posits that we "update to remain the same" using technology to manage crises while reinforcing neoliberal networked behaviors.
Even more concerning is how tech giants deliberately design hardware to become obsolete, pushing consumers to upgrade by making their old phones and computers progressively less functional. The surveillance capitalism becomes even more insidious when these forced upgrades are paired with AI‑powered systems that track, predict, and influence our every action, turning routine device use into a constant stream of monetizable behavioral data.
The Hard Questions We Should Be Asking
Smartphones with agentic AI and workplace tools like Patty are part of a broader transformation — one where corporations don’t just sell products; they monetize behavior, our time, our being, our bodies.
Before we embrace every AI-powered future, we need to ask:
Ownership: Who controls the models and behavioral profiles these systems generate?
Accountability: What protections exist to prevent misuse?
Transparency: What data is being collected?
Consent: Are users or workers truly opting in?
Our voices must grow louder. Technology is increasingly viewing humans as nothing more than data points. Every innovation risks eroding the very values that make us human.
Before celebrating the next AI breakthrough, we must continue asking: who benefits — and at what cost to privacy, autonomy, and dignity?
Before You Upgrade: Pause and Think
Because convenience shouldn’t cost our privacy, our autonomy, or our humanity.
당신의 모든 행동이 기록된다면, 기분이 어떨까요?
눈을 굴리는 순간, 목소리 톤, 말하는 내용, 몸짓 하나하나까지 모두 기록되어 평가된다면 어떤 기분일까요?
심각한 사생활 침해처럼 들리죠? 그런데 이미 이런 일은 현실에서 일어나고 있습니다.기업들은 단순히 우리의 데이터를 모으는 것을 넘어, 행동 패턴, 습관, 나아가 자아에 가까운 것까지 수집하고 있습니다.
공룡 같은 휴대폰에서, 내가 원하지 않았던 AI 시대까지
저는 약 6년 동안 삼성 갤럭시 S10e를 사용해 왔습니다.
네, 맞아요. 저는 공룡 세대입니다.하지만 잘 작동하는 물건을 굳이 바꿀 필요는 없죠.
전화, 지도, 카메라. 단순하지만 충분했습니다.
그런데 3주 전, 데이터 연결이 끊기기 시작했습니다.통신사는 하드웨어 문제 가능성을 이야기했고, 저는 3일 동안 온라인과 유튜브, 레딧을 뒤져 문제를 해결했습니다.겨우 작동시켰지만, 며칠 후 또 멈췄습니다.
데이터가 없으면, Google Maps도, 길 안내도, 사실상 어디로도 갈 수 없습니다.그래서 결심했습니다. 6년이면 충분하다. 이제 새 휴대폰을 사자.
새 기기를 조사하며 브랜드와 모델을 비교하는 동안, 저는 놀라운 사실을 깨달았습니다.단순히 하드웨어만 바뀐 것이 아니었습니다. 휴대폰과 기술 철학 자체가 달라지고 있었습니다.
감시 자본주의, 우리는 왜 걱정해야 할까?
감시 자본주의(Surveillance Capitalism, Zuboff 2018)는 기업이 사용자 동의 없이 대규모로 행동 데이터를 추출, 분석, 수익화하는 경제 체제를 말합니다.
우리는 이미 이런 시스템을 경험했습니다.
광고 네트워크
소셜 미디어
메타데이터 거래 시장
하지만 AI가 스마트폰에 깊이 통합되면서, 데이터 수집은 훨씬 더 친밀하고 지속적인 방식으로 이루어집니다.
당신의 기기가 당신이 다음에 무엇을 할지 예측하려면,당신의 습관, 일상 루틴, 말투, 심지어 공유하지 않는 정보까지 알아야 합니다.
기업은 이런 행동 예측을 수익화, 선택 조작, 맞춤형 콘텐츠 제공 등으로 활용합니다.그리고 편리함이라는 포장 덕분에, 대부분의 사람들은 별다른 의심 없이 사용합니다.
새로운 스마트폰: “당신을 위해” 행동하는 AI
요즘 스마트폰은 단순히 더 빠르거나 화면이 선명한 것이 아닙니다.이제 “에이전틱 AI(agentic AI)”가 탑재되어 있습니다.
삼성의 Galaxy S26 시리즈는 운영체제에 직접 통합된 AI 비서를 선보였습니다.이 AI는 단순히 명령에 반응하는 것이 아니라, 사용자의 필요를 예측하고 대신 행동합니다.
Google Gemini, Perplexity와 같은 모델을 기반으로, 이 AI들은
앱 간 맥락을 이해하고
반복 업무를 자동화하며
명시적 명령 없이도 행동을 제안합니다.
편리하게 들리지만, 현실은 조금 다릅니다.
이 AI가 당신을 예측하려면, 끊임없이 관찰해야 합니다.휴대폰은 당신의 습관, 말투, 루틴, 선호도를 분석하고 행동을 예측합니다.
이제 휴대폰은 단순한 도구가 아닙니다.당신을 관찰하고, 학습하며, 때로는 당신 의도와 상관없이 행동하는 에이전트가 됩니다.
직장에서도 벌어지는 AI 감시
이것은 먼 미래 이야기가 아닙니다. 이미 패스트푸드 매장 같은 일상적인 공간에서 일어나고 있습니다.
캐나다의 버거킹 매장에서는 AI 기반 이어폰 코칭 시스템을 도입했습니다.직원들은 Patty라는 AI와 연결된 헤드셋을 착용합니다.
표면적으로 보면, AI는 주문 준비, 재고 업데이트, 고객 응대 지원을 돕습니다.
하지만 다른 측면을 보면 훨씬 섬뜩합니다.AI는 직원의 목소리와 단어 선택, 친절도를 평가하고, 이를 성과 지표로 변환할 수 있습니다.즉, AI가 “please”나 “thank you”를 말했는지” 조용히 평가하는 것입니다.
이것은 단순한 지원이 아니라 알고리즘 관리입니다.우리가 주의하지 않는다면, 직장과 기기 모두가 정상화된 감시 시스템이 될 수 있습니다.
편리함의 숨겨진 대가
단순히 새 기기를 사는 것은,더 좋은 하드웨어를 얻는 것이 아닙니다.
우리는 관찰하고, 예측하고, 행동에 영향을 주는 기기를 받아들이게 됩니다.
미디어 학자 Wendy Hui Kyong Chun은 디지털 문화가 습관에 의해 형성된다고 말합니다.스트리밍, 업데이트, 포스팅 같은 반복적 행동이 새로운 미디어를 필수적이면서도 일상적인 것으로 만듭니다.
더 큰 문제는, 기술 기업들이 기기를 빠르게 구식으로 만들도록 설계한다는 점입니다.사용자는 자연스럽게 업그레이드를 강요받고, AI 시스템과 결합된 감시 자본주의가 심화됩니다.결국 일상적인 기기 사용 자체가 수익화 가능한 행동 데이터로 변합니다.
우리가 물어야 할 질문
Agentic AI 스마트폰과 Patty 같은 시스템은, 단순한 제품 판매를 넘어,우리의 시간, 행동, 존재 자체를 수익화하는 구조입니다.
우리는 다음 질문을 던져야 합니다.
소유권: 이 시스템의 데이터와 모델은 누가 통제하는가?
책임성: 남용을 막는 보호 장치는 무엇인가?
투명성: 수집되는 데이터는 무엇인가?
동의: 사용자와 직원은 정말 동의하고 있는가?
기술은 인간을 단순한 데이터 포인트로 보고 있습니다.모든 혁신은 우리의 프라이버시, 자율성, 존엄을 위협할 수 있습니다.
업그레이드 전에 잠시 멈춰 생각하세요
편리함이 프라이버시, 자율성, 인간성의 대가가 되어서는 안 됩니다.
Comments