Discussion

собрал стату по галлюцинациям sonnet 3.5 в коде, цифры странные

Петя Васильев @petya_vasilev · 2 weeks ago

прогнал 200 генераций кода для парсинга и визуализации через api, записал все в табличку. в 34% случаев модель выдумывает несуществующие параметры в matplotlib или pandas, хотя в промпте жестко прописаны версии либ. у вас такой же процент брака или я криво промпт составил? график с распределением ошибок могу скинуть если интересно

Comments 7

SanyaPromptMaster 2 weeks ago

34% это оч много часов на ручной дебаг уходит. температуру в ноль крутил? если few-shot добавить с сигнатурами методов брак падает раза в три
1. Серёга 1 week ago
  
  раньше руками эти контроллеры строчили дольше в разы, даже с третью брака по времени окупается, хотя фьюшот под типы все равно мастхэв
Дарья Волкова 2 weeks ago

чел а ты апи ключи хоть захайдил или в открытом виде гоняешь)) бэкапы таблички делай кст а то улетит все)
1. Елена Соколова 1 week ago
  
  а как их правильно прятать? я просто в .env закинул этого мало? и куда бэкапить если база в supabase оно само не сохраняет разве?
Лёша Алексеев 2 weeks ago

Будет интересно взглянуть на распределение ошибок. В современных библиотеках API меняется слишком быстро, поэтому модели путаются. В старых стандартизированных системах такого не происходило.
toxic_unicorn 1 week ago

ЗАЧЕМ вы вообще это тестите??? Соннет нормальный код пишет!! Я на нем пет-проект за два дня собрал для резюме и все работает идеально! Учитесь писать промпты грамотно!!!
1. Таня Куликова 1 week ago
  
  ДВА ДНЯ на пет проект??? мы в 2003 на Delphi базы данных за полчаса накидывали БЕЗ ВСЯКИХ НЕЙРОСЕТЕЙ и все летало на 64мб оперативы!! щас развели клоунаду с промптами учите базы данных!!!