Yapay Zeka/ML, Entegrasyon

Ava Sesli Yapay Zeka Sabah Özeti Ajanı

Günlük iş özetini okuyan, şirket bilgi tabanından yanıt veren, salt okunur bir dahili API'den ve hava durumu servisinden canlı veri çeken ve daha derin analiz için imzalı bir Claude webhook'unu tetikleyen gerçek zamanlı LiveKit ses ajanı; hepsi mobil bir web sayfasından sesle.

Ava Sesli Yapay Zeka Sabah Özeti Ajanı

Kullanılan Teknolojiler

Bu çözümü oluşturmak için kullanılan araçlar ve platformlar.

LiveKit Agents
Python
Ubuntu
aiohttp

Nasıl Çalışır

Sonuçların arkasındaki iş akışına daha yakından bakış.

1

Güvenli Giriş

Kullanıcı arama sayfasını telefonda veya dizüstü bilgisayarda açar ve ekip parolasını bir kez girer. Sunucu parolayı kontrol eder ve özel bir görüşme odası için kısa ömürlü bir LiveKit belirteci (token) verir.

2

Sesli Görüşme

LiveKit, Ava'yı görüşmeye dahil eder. Kullanıcının konuşması gerçek zamanlı olarak metne dönüştürülür ve bir konuşma sırası algılayıcısı Ava'nın kullanıcının sözünü cümle ortasında kesmemesini sağlar.

3

Fonksiyon Çağırma

Yapay zeka modeli hangi aracı kullanacağına karar verir ve gerçek verileri getirir: salt okunur şirket API'si, bilgi tabanı, canlı hava durumu ve saat. Asla uydurma rakam üretmez.

4

Claude Webhook

Daha derin analiz gerektiğinde Ava, bir Claude skill'ine imzalı bir webhook gönderir. Bu işlem Ava konuşmaya devam ederken arka planda çalışır ve sonuç geldiğinde Ava onu sesli olarak okur.

5

Sesli Yanıt ve Görüşmeyi Sonlandırma

Ava, ekranda canlı bir transkriptle birlikte doğal bir sesle yanıt verir. Kullanıcı işini bitirdiğinde veda eder, görüşmeyi sonlandırır ve görüşmeyi arama geçmişine kaydeder.

6

Kesintisiz Çalışan Dağıtım

Ajan ve arama sayfası, HTTPS ile bir Ubuntu sunucusunda servis olarak çalışır; bu sayede bir çökme veya yeniden başlatmanın ardından kendiliğinden yeniden ayağa kalkarlar.

Sonuçlar ve Etki

Sağlanan değeri gösteren ölçülebilir çıktılar.

11 fonksiyon aracı: şirket API'si, bilgi tabanı, canlı hava durumu, saat, Claude analizi ve görüşmeyi sonlandırma
Günlük özet, tek bir araç çağrısında paralel olarak alınan 2 kaynağı (şirket verileri ve canlı hava durumu) birleştirir
Görüşmeler ağ kesintilerine dayanır: Ava, arayanın yeniden bağlanması için 20 saniyeye kadar bekler
10 otomatik konuşma testi (simülasyon), ajanın davranışını yayından önce kontrol eder

İş Etkisi

Yöneticiler artık her sabah birkaç sistemi kontrol etmek zorunda kalmıyor: Ava onlara satışlar, gecikmeler, acil destek talepleri ve toplantılar hakkında kısa bir sesli özet sunuyor; üstelik eller serbest, hatta araç kullanırken bile. Takip sorularını sade bir dille sorabiliyor, daha uzun Claude analizleri ise arka planda çalıştığı için konuşma asla durmuyor. Ava yalnızca okuyabildiği, hiçbir şeyi değiştiremediği ve her Claude isteği imzalandığı için şirket verileri güvende kalıyor.

Benzer bir proje mi düşünüyorsunuz?

Birlikte harika bir şey nasıl inşa edebileceğimizi konuşalım.

Projenizi Başlatın