Tüm yazılar

Python ve LiveKit ile Yapay Zeka Ses Ajanı Nasıl Geliştirilir?

Python ve LiveKit Agents ile gerçek zamanlı bir yapay zeka ses ajanı geliştirmek için sade bir rehber: nasıl çalışır, nasıl kurulur ve canlıya almak için neler gerekir.

Python ve LiveKit ile Yapay Zeka Ses Ajanı Nasıl Geliştirilir? kapak görseli

İçindekiler

  1. Giriş
  2. LiveKit nedir?
  3. LiveKit ses ajanı nasıl çalışır?
  4. Python ile ilk ajanınızı geliştirme
  5. Ajanınıza araçlar kazandırma
  6. Canlıya alma
  7. LiveKit ve hazır ses platformları
  8. Gerçek örnek: Sabah özeti ses ajanımız Ava
  9. Sonuç
  10. Sıkça sorulan sorular

Özet - 6 çıkarım - 15 saniyelik okuma

  1. LiveKit Agents, Python ile gerçek zamanlı yapay zeka ses ajanları geliştirmek için açık kaynaklı bir çerçevedir.
  2. Bir ses ajanı dinler (konuşmayı metne çevirir), düşünür (bir yapay zeka modeli) ve konuşur (metni sese çevirir); ya da üçünü birden yapan gerçek zamanlı bir model kullanır.
  3. Konuşma sırası algılama, ajanın insanların sözünü cümle ortasında kesmesini önler.
  4. Fonksiyon araçları, ajanın tahmin yürütmek yerine satış rakamları veya hava durumu gibi gerçek verileri getirmesini sağlar.
  5. LiveKit, Retell AI veya Vapi gibi hazır platformlara göre daha fazla kontrol sunar, ancak daha fazla geliştirici zamanı gerektirir.
  6. Prototip ses ajanımız Ava, sesli bir iş özeti okumak ve takip sorularını yanıtlamak için 11 fonksiyon aracı kullanıyor.

Giriş

Sesli yapay zeka uzun bir yol kat etti. Birkaç yıl önce bir bilgisayarla konuşmak, garip duraksamaları beklemek ve söylediğinizi tekrar etmek demekti. Bugün iyi bir yapay zeka ses ajanı doğal bir sohbet yürütebiliyor, takip sorularını yanıtlayabiliyor ve siz konuşurken sistemlerinizden canlı veri çekebiliyor.

Kendiniz bir tane geliştirmek isterseniz iki ana seçeneğiniz var. Retell AI veya Vapi gibi hazır bir platform kullanabilirsiniz ya da ajanı Python ile yazdığınız ve her parçasını kontrol ettiğiniz LiveKit Agents gibi bir çerçeveyle geliştirebilirsiniz.

Bu rehberde LiveKit ses ajanlarının nasıl çalıştığını sade bir dille anlatıyor, Python ile bir tane geliştirmenin adımlarını gösteriyor ve yöneticilere günlük iş özetini okuyan, sorularını yanıtlayan ses ajanımız Ava'yı nasıl geliştirdiğimizi paylaşıyoruz.

LiveKit nedir?

LiveKit, gerçek zamanlı ses ve görüntü için açık kaynaklı bir platformdur. Canlı sesi insanlar ve cihazlar arasında taşımanın zor kısımlarını üstlenir: gecikmeyi düşük tutmak ve kötü ağ bağlantılarıyla başa çıkmak gibi.

Bunun üzerine LiveKit, bu canlı görüşmelere katılan yapay zeka ajanları geliştirmek için bir çerçeve olan LiveKit Agents'ı sunar. Ajanınız bir "odaya" tıpkı bir insan katılımcı gibi katılır. Kullanıcıyı dinler, düşünür ve gerçek zamanlı olarak yanıt verir.

LiveKit'i iki şekilde çalıştırabilirsiniz:

  • LiveKit Cloud. Gerçek zamanlı altyapıyı LiveKit sizin için barındırır; siz yalnızca ajanınızı yazar ve çalıştırırsınız.
  • Kendi sunucunuzda. LiveKit sunucusunu kendiniz çalıştırırsınız; bu da verilerinizin nereye gittiği üzerinde tam kontrol sağlar.

LiveKit'in kendi hızlı başlangıç rehberine göre, temel bir sesli asistanı 10 dakikadan kısa sürede çalıştırabilir ve onunla terminalinizden, tarayıcıdan, telefon görüşmesiyle veya bir mobil uygulamadan konuşabilirsiniz (LiveKit dokümanları).

LiveKit ses ajanı nasıl çalışır?

Her LiveKit ses ajanının üç şey yapması gerekir: dinlemek, düşünmek ve konuşmak. LiveKit Agents bunu yapmanın iki yolunu destekler (LiveKit dokümanları).

Seçenek 1: STT-LLM-TTS hattı

En yaygın kurulum budur. Üç uzman modeli art arda bağlar:

ParçaNe yaparBasitçe
STT (konuşmadan metne)Kullanıcının sesini metne çevirirAjanın kulakları
LLM (büyük dil modeli)Metni okur, ne söyleyeceğine veya ne yapacağına karar verirAjanın beyni
TTS (metinden konuşmaya)Yanıtı doğal bir sese dönüştürürAjanın ağzı

En büyük avantajı seçim özgürlüğüdür. En iyi konuşma tanıma modelini, en iyi yapay zeka modelini ve en iyi sesi ayrı ayrı seçebilir, sonradan herhangi birini değiştirebilirsiniz.

Seçenek 2: Gerçek zamanlı model

OpenAI'ın gerçek zamanlı modelleri gibi bazı yeni modeller, ayrı STT ve TTS adımları olmadan doğrudan dinleyip konuşabilir. Bu daha da hızlı ve doğal hissettirebilir, ancak her parça üzerindeki kontrolünüz azalır.

Konuşma sırası algılama: ne zaman konuşacağını bilmek

Sesli bir görüşmenin en zor kısmı kelimeleri anlamak değildir. Karşıdaki kişinin konuşmasını ne zaman bitirdiğini bilmektir. Ajan çok erken girerse insanların sözünü keser. Çok uzun beklerse görüşme yavaş hissettirir.

LiveKit bunu ses etkinliği algılama ve bir konuşma sırası algılayıcı modelle çözer. İkisi birlikte, bir duraksamanın kişinin sözünü bitirdiği anlamına mı geldiğini, yoksa sadece cümle ortasında düşündüğünü mü gösterdiğini anlar.

Python ile ilk ajanınızı geliştirme

Bir LiveKit ses ajanını çalıştırmanın temel süreci şöyle. LiveKit'in dokümanları ve başlangıç projesi tüm ayrıntıları içerir; burayı adımların bir haritası olarak düşünün.

Adım 1: Kurulumunuzu kontrol edin. LiveKit Agents için Python 3.10 veya daha yeni bir sürüm gerekir. LiveKit'in hızlı başlangıç rehberi uv paket yöneticisini kullanır, ancak pip de iş görür.

Adım 2: Bir LiveKit projesi oluşturun. LiveKit Cloud'a kaydolun (veya kendi sunucunuzu kurun), LiveKit CLI'ı yükleyin ve projenizin URL'sini, API anahtarını ve API gizli anahtarını bir .env.local dosyasına kaydedin.

Adım 3: LiveKit Agents'ı yükleyin. livekit-agents paketini ve kullanmak istediğiniz yapay zeka sağlayıcılarının eklentilerini yükleyin.

Adım 4: Ajanınızı yazın. Bir ajan, talimatları olan bir Python sınıfıdır. AgentSession ise onu dinlemesini, düşünmesini ve konuşmasını sağlayan modellere bağlar. Sadeleştirilmiş hali şöyle görünür:

from livekit.agents import Agent, AgentSession, inference, TurnHandlingOptions

class Assistant(Agent):
    def __init__(self):
        super().__init__(
            instructions="Sen güler yüzlü bir sesli asistansın. "
                         "Yanıtlarını kısa ve net tut."
        )

session = AgentSession(
    stt=inference.STT(model="deepgram/nova-3"),        # kulaklar
    llm=inference.LLM(model="openai/chat-latest"),     # beyin
    tts=inference.TTS(model="cartesia/sonic-3"),       # ses
    turn_handling=TurnHandlingOptions(
        turn_detection=inference.TurnDetector()       # ne zaman konuşacağını bilir
    ),
)

Tam sürümde bu kod, oturumu bir LiveKit odasında başlatan bir giriş fonksiyonunun içinde çalışır. LiveKit'in Python başlangıç projesi bu hazır kodu içerir; en kolay yol oradan başlamaktır.

Adım 5: Onunla konuşun. Ajanı geliştirme modunda çalıştırın, ardından tarayıcınızda LiveKit'in Agent Console'unu veya Agents Playground'unu açıp konuşmaya başlayın.

Adım 6: Talimatları iyileştirin. Bu noktadan sonra işin çoğu daha fazla kod yazmak değil, net talimatlar yazmak ve gerçek görüşmeleri test etmektir.

LiveKit'in API'leri hızlı gelişiyor; bu yüzden geliştirmeye başlamadan önce en güncel kod için her zaman resmi hızlı başlangıç rehberine bakın.

Ajanınıza araçlar kazandırma

Yalnızca sohbet edebilen bir ses ajanı pek kullanışlı değildir. Asıl değer, işlem yapabildiğinde veya gerçek bilgi getirebildiğinde ortaya çıkar. LiveKit Agents'ta bunu fonksiyon araçları ile yaparsınız.

Fonksiyon aracı, @function_tool dekoratörüyle işaretlediğiniz normal bir Python fonksiyonudur. Yapay zeka modeli fonksiyonun adını ve açıklamasını okur ve kullanıcı yardımcı olabileceği bir şey istediğinde onu çağırır.

from livekit.agents import function_tool

@function_tool
async def get_todays_sales() -> str:
    """Şirket panelinden bugünkü toplam satışı getirir."""
    # Kendi API'nizi burada çağırın
    return "Bugünkü satışlar 42.300 dolar."

Artık bir kullanıcı "Bugün satışlar nasıl gitti?" diye sorduğunda ajan bu fonksiyonu çağırır, gerçek rakamı alır ve sesli olarak söyler. Tahmin yürütmek zorunda kalmaz.

İyi fonksiyon araçlarının üç ortak noktası vardır:

  • Net bir açıklama. Yapay zeka araçları açıklamalarına göre seçer; bu yüzden açık ve belirgin olun.
  • Mümkünse salt okunur. Ajanın yalnızca bilgiye bakması gerekiyorsa, ona veri değiştiren veya silen araçlar vermeyin.
  • Hızlı yanıt. Sesli kullanıcılar gecikmeleri fark eder. Yavaş işler, ajan konuşmaya devam ederken arka planda çalışmalıdır.

Canlıya alma

Bir ajanı dizüstü bilgisayarınızda çalıştırmak işin kolay kısmıdır. Gerçek kullanıcılar için güvenilir hale getirmek biraz daha planlama ister.

Kesintisiz çalışan bir servis olarak kurun. Canlı ortamda ajanı üretim modunda başlatır ve bir sunucuda servis olarak çalıştırırsınız; böylece bir çökme veya yeniden başlatmanın ardından kendiliğinden yeniden ayağa kalkar. LiveKit Cloud da ajanınızı sizin için barındırabilir.

Kimin katılabileceğini kontrol edin. Kullanıcılar ajanınıza bir LiveKit odası üzerinden bağlanır. Sunucunuz önce kim olduklarını doğrulamalı, ardından özel bir oda için kısa ömürlü bir erişim belirteci (token) vermelidir; böylece rastgele kişiler ajanınızı kullanamaz.

Kötü bağlantılara hazırlıklı olun. Mobil kullanıcılar asansöre biner ve sinyali kaybeder. Bağlantı koptuğu anda görüşmeyi sonlandırmak yerine, ajanın kullanıcının yeniden bağlanmasını beklemesini sağlayın.

Her sürümden önce konuşmaları test edin. Talimatlardaki küçük değişiklikler ajanın davranışını değiştirebilir. Gerçek kullanıcıları simüle eden otomatik konuşma testleri, sorunları kullanıcılarınızdan önce yakalamanıza yardımcı olur.

Gerekiyorsa telefon aramalarını bağlayın. LiveKit, SIP üzerinden telefon altyapısını destekler; böylece aynı ajan yalnızca tarayıcı veya uygulama görüşmelerini değil, telefon aramalarını da yanıtlayabilir.

Gizli bilgileri kodun dışında tutun. API anahtarlarını ortam değişkenlerinde saklayın ve ajanınızın gönderdiği webhook'ları imzalayın; böylece diğer sistemler isteklerin gerçekten ajanınızdan geldiğine güvenebilir.

LiveKit ve hazır ses platformları

Ses ajanı geliştirmenin tek yolu LiveKit değildir. Retell AI ve Vapi gibi hazır platformlar, çok daha az kodla bir ajan kurmanıza olanak tanır. Karşılaştırması şöyle:

LiveKit Agents (Python)Hazır platformlar (Retell AI, Vapi)
Nasıl geliştirilirAjanı Python koduyla yazarsınızÇoğunlukla bir panelden yapılandırırsınız
İlk ajana kadar geçen süreBaşlaması hızlı, olgunlaştırması daha uzunGenellikle daha hızlı
KontrolModeller, mantık ve veri akışı üzerinde tam kontrolPlatformun sunduğu özellikler dahilinde kontrol
Özel araçlar ve API'lerYazabildiğiniz her türlü Python koduWebhook'lar ve hazır entegrasyonlar
BarındırmaLiveKit Cloud veya kendi sunucularınızPlatformun bulutu
Açık kaynakEvetHayır
En uygun olduğu durumKarmaşık mantığı veya sıkı veri gereksinimleri olan özel ajanlarStandart resepsiyonist ve satış ajanları

LiveKit'i seçin, eğer bir geliştiriciniz varsa, özel mantığa veya çok sayıda araca ihtiyacınız varsa, her şeyi kendiniz barındırmak istiyorsanız ya da sesi kendi ürününüze entegre ediyorsanız.

Hazır bir platform seçin, eğer standart bir yapay zeka resepsiyonistini veya randevu ajanını hızla devreye almak ve kod bakımıyla uğraşmamak istiyorsanız.

Her iki yol da çok iyi ses ajanları ortaya çıkarabilir. Doğru seçim, ajanınızın ne kadar özelleştirilmiş olması gerektiğine ve bakımını kimin yapacağına bağlıdır.

Gerçek örnek: Sabah özeti ses ajanımız Ava

Ava'yı, LiveKit Agents ve Python kullanarak, Harbor Point Logistics adlı örnek bir nakliye ve depolama şirketi için çalışan bir prototip olarak geliştirdik. Ava, yöneticilerin her sabah birkaç sistemi tek tek kontrol etmek yerine yalnızca bir güncelleme isteyebileceğini gösteriyor (proje sayfası). Prototipteki tüm şirket verileri örnek veridir.

Yönetici paneller açmak yerine telefonunda veya dizüstü bilgisayarında bir arama sayfası açar ve Ava'ya sorar. Ava satışlar, gecikmeler, acil destek talepleri ve toplantılar hakkında kısa bir sesli özet okur ve takip sorularını sade bir dille yanıtlar. Konuşmadan metne çeviri, yapay zeka modeli ve ses, hepsi LiveKit Inference üzerinden çalışır; bu yüzden ek hesap gerekmez.

Nasıl çalıştığı şöyle:

  1. Güvenli giriş. Kullanıcı ekip parolasını bir kez girer. Sunucu parolayı kontrol eder ve özel bir görüşme odası için kısa ömürlü bir LiveKit belirteci (token) verir.
  2. Sesli görüşme. LiveKit, Ava'yı görüşmeye dahil eder. Kullanıcının konuşması gerçek zamanlı olarak metne dönüştürülür ve bir konuşma sırası algılayıcısı Ava'nın kullanıcının sözünü cümle ortasında kesmemesini sağlar.
  3. Fonksiyon çağırma. Yapay zeka modeli hangi aracı kullanacağına karar verir ve gerçek verileri getirir: salt okunur şirket API'si, bilgi tabanı, canlı hava durumu ve saat. Asla uydurma rakam üretmez.
  4. Claude webhook. Daha derin analiz gerektiğinde Ava, bir Claude skill'ine imzalı bir webhook gönderir. Bu işlem Ava konuşmaya devam ederken arka planda çalışır ve sonuç geldiğinde Ava onu sesli olarak okur.
  5. Sesli yanıt ve görüşmeyi sonlandırma. Ava, ekranda canlı bir transkriptle birlikte doğal bir sesle yanıt verir. Kullanıcı işini bitirdiğinde veda eder, görüşmeyi sonlandırır ve arama geçmişine kaydeder.
  6. Kesintisiz çalışan dağıtım. Ajan ve arama sayfası, HTTPS ile bir Ubuntu sunucusunda servis olarak çalışır; bu sayede bir çökme veya yeniden başlatmanın ardından kendiliğinden yeniden ayağa kalkarlar.

Projede neler var:

SonuçNe anlama geliyor
11 fonksiyon aracıŞirket API'si, bilgi tabanı, canlı hava durumu, saat, Claude analizi ve görüşmeyi sonlandırma
2 kaynaktan günlük özetŞirket verileri ve canlı hava durumu, tek bir araç çağrısında paralel olarak alınır
20 saniyelik yeniden bağlanma süresiGörüşmeler ağ kesintilerine dayanır, çünkü Ava arayanın yeniden bağlanmasını bekler
10 otomatik konuşma testiSimülasyonlar, her sürümden önce Ava'nın davranışını kontrol eder

Prototip, bu tür bir ajanın gerçek bir işletme için neler yapabileceğini gösteriyor: yöneticiler sabah güncellemesini eller serbest, hatta araç kullanırken bile alır ve tek bir panel açmadan takip soruları sorabilir. Ava yalnızca okuyabildiği, hiçbir şeyi değiştiremediği ve her Claude isteği imzalandığı için şirket verileri güvende kalır.

Bu projenin kodu GitHub'da mevcut.

Sonuç

LiveKit Agents, Python ile konuşması doğal hissettiren, gerçek zamanlı bir yapay zeka ses ajanı geliştirmeyi mümkün kılar. Canlı sesin zor kısımlarını o üstlenir; siz de ajanın ne bilmesi ve ne yapması gerektiğine odaklanırsınız.

Temel fikir basittir: ajan dinler, düşünür ve konuşur; konuşma sırası algılama da görüşmeyi akıcı tutar. Onu bir sohbet botundan gerçekten kullanışlı bir şeye dönüştüren ise fonksiyon araçlarıdır, çünkü gerçek verileri getirmesini ve gerçek işlemler yapmasını sağlarlar.

Standart bir yapay zeka resepsiyonistine ihtiyacınız varsa, hazır bir platform sizi oraya daha hızlı götürebilir. Ancak özel mantığa, çok sayıda araca, verileriniz üzerinde tam kontrole veya kendi ürününüze entegre bir sese ihtiyacınız varsa, LiveKit ve Python çok iyi bir seçimdir.

Sıkça sorulan sorular

LiveKit ücretsiz mi?

LiveKit ve LiveKit Agents çerçevesi açık kaynaklıdır; bu yüzden kendi sunucunuzda ücretsiz çalıştırabilir, yalnızca sunucularınız ve yapay zeka modelleriniz için ödeme yaparsınız. LiveKit Cloud ise gerçek zamanlı altyapıyı sizin için çalıştıran barındırma seçeneğidir ve ücretsiz bir hesapla başlayabilirsiniz.

LiveKit ses ajanı geliştirmek için Python bilmem gerekir mi?

Python sürümü için evet. LiveKit Agents ayrıca Node.js'i de destekler. LiveKit, tarayıcıda hızlı prototipler için kodsuz bir Agent Builder da sunar, ancak tam SDK'ya göre daha az özelliğe sahiptir.

LiveKit ile hangi yapay zeka modellerini kullanabilirim?

Pek çoğunu. LiveKit; çok çeşitli konuşmadan metne, LLM ve metinden konuşmaya sağlayıcılarını, ayrıca OpenAI'ın gerçek zamanlı modelleri gibi doğrudan sesten sese çalışan modelleri destekler. Bunları dilediğiniz gibi birleştirebilirsiniz.

Bir LiveKit ajanı telefon aramalarını yanıtlayabilir mi?

Evet. LiveKit, SIP üzerinden telefon altyapısını destekler; böylece aynı ajan tarayıcıda veya uygulamada olduğu gibi normal bir telefon hattındaki arayanlarla da konuşabilir.

LiveKit, Retell AI veya Vapi'den daha mı iyi?

Daha iyi değil, sadece farklı. LiveKit daha fazla kontrol sunar ve açık kaynaklıdır, ancak daha fazla geliştirici emeği gerektirir. Retell AI ve Vapi ise standart kullanım senaryoları için daha hızlı kurulur.

Danışmanlık Planla