Perusahaan induk TikTok, ByteDance, memiliki alat yang merayapi web 25 kali lebih cepat dibandingkan OpenAI

Perusahaan induk TikTok, ByteDance, mengumpulkan data internet dalam jumlah besar jauh lebih cepat dibandingkan perayap web besar lainnya

ByteDance mungkin berencana untuk merilis LLM-nya sendiri dan banyak menggunakan perayap web “Bytespider” untuk mengumpulkan data guna melatih modelnya, Harta benda dilaporkan.

Bytespider mulai populer pada bulan April, dan sejak itu tingkat penggunaannya telah membuat malu para penari telanjang web dari OpenAI, Google, Meta, dan Anthropic.

Sam Crowther, CEO Kasada, sebuah perusahaan yang mengkhususkan diri dalam manajemen bot, mengatakan kepada situs web bahwa tingkat pengikisan Bytespider adalah 25 kali lebih besar dari GPTbot OpenAI dan 3.000 kali lebih besar dari ClaudeBot, yang merupakan perayap Anthropic untuk Claude LLM. Crowther juga mengatakan bahwa data Kasada menunjukkan “peningkatan besar dalam aktivitas scraping” dari Bytespider selama enam minggu terakhir.

Meskipun Bytespider dengan rakus menggunakan web, pemerintah AS berupaya mencegah pemerintah Tiongkok mengakses data pengguna Amerika. Pada bulan April, Presiden Biden menandatangani undang-undang yang memaksa larangan TikTok kecuali jika TikTok dijual oleh ByteDance dalam waktu satu tahun. Mengingat waktu ByteDance dalam penjualan TikTok, rasa urgensinya sebanding dengan kecepatan perayapan web yang luar biasa – apakah itu LLM, algoritme yang lebih baik, atau yang lainnya, kami tidak tahu.

Tidak diketahui apa yang akan dilakukan ByteDance dengan semua data yang baru ditambang. Namun, TikTok telah meluncurkan beberapa fitur bertenaga AI untuk platform tersebut. Pada bulan Mei, mereka mengumumkan serangkaian alat bagi pengiklan untuk membuat iklan yang dihasilkan AI dan avatar yang dihasilkan AI untuk merek dan pembuat konten. Ada juga rumor bahwa TikTok sedang mengerjakan mesin pencari internal yang hasilnya akan didukung oleh kecerdasan buatan – kemungkinan menggunakan ChatGPT.