4 Pythorch Lightning Community Computer Vision نمونه هایی برای الهام بخشیدن به پروژه بعدی شما!
4 Pythorch Lightning Community Computer Vision نمونه هایی برای الهام بخشیدن به پروژه بعدی شما!
TL؛ DR PyTorch Lightning توسط پروژه های اجتماعی بسیار شگفت انگیز برای انجام بیشتر با AI استفاده می شود. در این مجموعه من برخی از پروژه های مورد علاقه جامعه خود را که به من انگیزه می دهند بیشتر با هوش مصنوعی القا کنم ، پوشش می دهم.
PyTorch Lighting یک پوشش PyTorch سبک وزن برای تحقیقات AI با عملکرد بالا است. PyTorch Lightning با کاهش صفحه دیگ مهندسی و منابع مورد نیاز برای پیاده سازی هوش مصنوعی مدرن ، انعطاف پذیری واقعی را ارائه می دهد. سازماندهی کد PyTorch با Lightning ، آموزش یکپارچه را بر روی چند GPU ، TPU ، CPU و استفاده از بهترین شیوه های دشوار مانند خرد کردن مدل و حتی در دقت 16 بیت بدون تغییر کد شما امکان پذیر می کند.
همه راه هایی که رعد و برق می تواند کد PyTorch شما را به سطح بعدی برساند را بررسی کنید. 1 به زیرنویس تصویر پراکنده با ترانسفورماتور
این رپو جالب ارائه می دهد یک نمونه پیاده سازی از هر دو مدل LSTM Up-Down و Object Relation Transformer Image Captioning که با استفاده از Lighting PyTorch توسعه یافته اند. این بازپرداخت برخی از بهترین شیوه های هرس مدل بسیار جالب مانند هرس وزن بدون ساختار ، هرس با قدر تدریجی ، هرس یک بلیط بلیط بخت آزمایی و هرس شبکه ای (SNIP) را ارائه می دهد.
2. چالش مرحله رشد گندم Zindi CGIAR راه حل اول
تصویر- بیمه مبتنی بر (PBI) که در آن تصاویر دوربین تلفن های هوشمند ثبت رشد محصول و ثبت هرگونه خسارت وارده بر پرداخت بیمه را برای کشاورزان مقیاس کوچک در سراسر جهان بیمه می کند. PBI به بیمه گذاران این امکان را می دهد تا رشد محصول را بررسی و نظارت کنند ، اما می تواند حجم زیادی از داده ها را هنگامی که تصاویر از هزاران کشاورز پخش می شود ، تولید کند.
چالش رشد گندم Zindi CGIAR تخمین مرحله رشد گندم است. محصول بر اساس تصاویر کشاورزان در مقیاس 1 (محصول تازه نشان داده شده) تا 7 (محصول بالغ). راه حل برنده توسط Yauhen Babakhin با PyTorch Lightning توسعه یافته است.
3. Magic Leap ATLAS: بازسازی صحنه 3D به صورت پایان به انتها از تصاویر موضوعی
< /img> اطلس یک مدل یادگیری عمیق است که توسط MagicLeap توسعه یافته است و یک صحنه سه بعدی را از تصاویر تک چشمی دو بعدی بازسازی می کند. اطلس در بالای PyTorch Lightning توسعه داده شد و امکان ثبت بیشتر و آموزش مدل ها را فراهم کرد.
4 ارائه می دهیم. تحقیقات فیس بوک پیش بینی کووید
در سال گذشته ویروس COVID19 جهان ما را واژگون کرده است گسترش سریع موارد COVID-19 منابع بیمارستانی را تحت فشار قرار داده و انجام سریع و دقیق بیماران مراجعه کننده به بخش های اورژانس را ضروری می کند. از داده های بالینی مانند اشعه ایکس قفسه سینه می توان برای پیش بینی اینکه چه بیمارانی بیشتر در معرض وخامت هستند استفاده کرد.
این کار مبتنی بر PyTorch Lightning توسط Facebook Research یک معماری جدید مبتنی بر ترانسفورماتور را معرفی می کند که می تواند توالی ها را پردازش کند. از چندین تصویر برای پیش بینی و نشان می دهد که این مدل می تواند AUC 0.786 را برای پیش بینی عوارض جانبی در ساعت 96 و AUC 0.848 را برای پیش بینی مرگ و میر در 96 ساعت به دست آورد.
در اختیار شما قرار گرفته است ، چهار پروژه کامپیوتری چشم انداز عالی PyTorch Lightning که باید از آنها الهام بگیرید. اگر احساس می کنید نظرات جالب پروژه Pythorch Lightning Community Computer Vision زیر را از دست داده ام و آن را بررسی می کنم!
مراحل بعدی
تا زمانی که می خواهید اینجا باشید آموزش PyTorch Lightning خود را از لپ تاپ خود به سیستم ابری تغییر دهید بدون تغییر یک خط کد ، حتماً grid.ai را که در حال حاضر در دسترسی اولیه است بررسی کنید. در پیوند زیر می توانید برای لیست انتظار ثبت نام کنید.
ما همچنین همیشه به دنبال افراد با استعداد بیشتری برای پیوستن به تیم رعد و برق هستیم. بهترین راه برای جلب توجه این است که با رزومه خود به ایمیل Careers@grid.ai ارسال کنید! .png ">
درباره نویسنده
آرون (آری) برنستاین یک محقق هوش مصنوعی است که علاقه زیادی به تاریخ دارد و با فناوری های جدید و طب محاسباتی درگیر است. او به عنوان رئیس حمایت از توسعه دهندگان در Grid.ai ، با انجمن یادگیری ماشین همکاری می کند تا مشکلات دنیای واقعی را با فن آوری های تغییر بازی حل کند که سپس مستند ، منبع باز و با بقیه جهان به اشتراک گذاشته می شود.
یک پروژه بینایی رایانه ای کلاسیک - نحوه افزودن یک تصویر در پشت اشیاء در یک ویدیو
یک پروژه بینایی رایانه ای کلاسیک - نحوه افزودن یک تصویر در پشت اشیاء در یک ویدیو
مقدمه
یکی از همکارانم به چالش کشید - ساخت یک مدل بینایی کامپیوتری که می تواند هرگونه تصویری را در یک ویدئو بدون تحریف جسم متحرک وارد کند. این پروژه بسیار جذاب بود و من روی آن بسیار کار کردم.
کار با ویدئوها به دلیل ماهیت پویای آنها بسیار دشوار است. برخلاف تصاویر ، ما اشیاء ایستا نداریم که بتوانیم به راحتی آنها را شناسایی و ردیابی کنیم. سطح پیچیدگی چندین سطح افزایش می یابد - و…
چگونه با رایانه کتاب بخوانیم-و کودکان را نیز این کار را بیاموزید
چگونه با رایانه کتاب بخوانیم-و کودکان را نیز این کار را بیاموزید
دو سال است که من برای دانش آموزان دبیرستان یک رشته علوم انسانی دیجیتالی انتخابی تدریس کرده ام. موضوع تا حدودی بحث برانگیز است. (وقتی یکی از همکاران موافقت کرد که بخش دوم را تدریس کند ، یکی دیگر از همکارانش دچار ناراحتی شد و گفت: "Et tu؟") مطمئناً تا حدی به دلیل عنوان: خواندن از راه دور. به هر حال ، انگلیسی یک رشته است که به خواندن نزدیک جایزه می دهد.
رایانه و کتاب. در واقع ، فن آوری و کلاسهای انگلیسی-آخرین سنگر در برابر رگبار تکنولوژی در کلاس های درس دبیرستان ، جایی که دانش آموز و همسالانش می توانند بدون هیچ مانعی از طریق پینگ و بلوپ و انیمیشن کار کنند یاد بگیرند-کلاس های انگلیسی نیز افزایش یافته است. سقوط کرده اند.
چه کسی باید کتاب بخواند ، وقتی رایانه می تواند آن را برای شما بخواند؟ بالاخره یک کامپیوتر می تواند بارکد یا یک فایل را بخواند. چرا کتاب نیست؟ چند ثانیه طول می کشد.
چه؟ خواندن از راه دور؟
در واقع ، یک کتاب برای خواندن کتاب فقط چند ثانیه طول می کشد. اما البته ، این فقط خواندن از راه دور است ، نه خواندن نزدیک. شاخه جدیدی از نقد ادبی است.
خواندن از راه دور نتیجه ادبی جنبش داده های بزرگ است. این نوع خواندن نیازی به رایانه ندارد - قرن هاست که ادامه دارد - اما فناوری مطمئناً کارها را بسیار آسان تر می کند. به جای توضیح بخشهای متمرکز ، خواندن از راه دور به جای آن حجم زیادی از متن را ترکیب می کند. یک استدلال مهم برای خواندن از راه دور این است که مطالعه مقادیر زیادی از متون - رمان ، نامه ، مقاله ، هر چیزی با کلمات - محققان را قادر می سازد تا روندها و الگوها ، استثنائات ، ناهنجاری ها و سایر ویژگی های مجموعه های ادبی را به طور جامع تر (و بنابراین) دقیق تشخیص دهند. آیا مطالعه رمان نباید شامل همه رمان ها باشد؟ آیا تجزیه و تحلیل شکسپیر نمی تواند از ترکیب هر کلمه در هر نمایشنامه ای که می نویسد سود ببرد؟ مورتی آن را "تاریخ ادبی منطقی تر" می نامد. عمل خواندن - که ابتدا و همیشه ، خواندن نزدیک بود - و سکونت در افکار و صدای دیگران چیزی است که ویلیام درسیویچ منتقد و تحریک کننده آن را "تجمع آرام روح" می نامد. او آن را به ویژه در زمینه خواندن رمان توصیف می کند ، اما در مورد آثار کوتاهتر نیز صادق است. خواندن دقیق به معنای درک هر کلمه و طیف وسیعی از معانی آن است که از زمینه آن مطلع شده است.
در پایان ، Deresiewicz درست می گوید. خواندن یک عمل صمیمی و شخصی است. اما مورتتی هم درست می گوید. خواندن از راه دور ما را قادر می سازد تا واقعیت سرد و کمی را در کلمه ببینیم. کلمه: در غیر این صورت اختراع نمادین ، ذهنی و انسانی است.
"خواندن از راه دور ”نامی را بر رویکرد جدیدی برای نگاه به ادبیات بگذارید. پس چرا خواندن از راه دور را در دبیرستان آموزش می دهید؟
همه دلایل را قبلاً شنیده اید: در یک دنیای فزاینده تکنولوژیکی ، بلا بلابلا ... مشاغل آینده نیاز به بلا بلا دارد ... آیا بچه ها بومی دیجیتالی نیستند ، بلاه بلا؟ بله ، بله ، مطمئناً.
اینها دامنه ها و منطق ها ، دلایل و سیاست ها هستند و معنی دار هستند - اما آب و هوا و شرایط به خوبی به بچه ها نمی فروشند. گفتن به بچه ها که باید کاری را به دلیل گرایش های فرهنگی انجام دهند ، راهی مطمئن برای تخلیه انرژی از آنهاست.
چرا آموزش خواندن از راه دور؟ چرا علوم انسانی دیجیتال آموزش می دهیم؟ از آنجا که هنگامی که می توانید این کلمه را به صورت محاسباتی درگیر کنید ، ناگهان می توانید کارهای واقعاً جالبی انجام دهید!
وقتی در اواخر دهه 90 در دانشگاه بودم ، هنگام نوشتن مقاله ای در مورد قلب تاریکی ، ساعت ها تفتیش کردم متن برای هر بار استفاده از کلمه "تاریکی". سپس متوجه شدم ، در روزهای اولیه اینترنت ، می توانستم متن کامل را به صورت آنلاین پیدا کنم و فقط روی "پیدا کردن در صفحه" ضربه بزنم. رونق! همه 26 عدد وجود دارد! حالا من می توانم تک تک آنها را از نزدیک ببینم. این جالب است!
و خواندن از راه دور حتی فراتر از رمان ها نیز صدق می کند: هفت سال پیش ، با استفاده از لیست فرکانس کلمات و صفحات گسترده ، 14 میلیون کلمه از نظرات معلمان را اسکن کردم تا دریابم معلمان چه ویژگی های شخصیتی را در دانش آموزان ممتاز و در دانش آموزانی که تلاش می کردند تشویق می شد. جالب است!
و همچنین در جاهای دیگر قابل استفاده است: هنرمند جاناتان هریس چند اسکریپت نوشت که هزاران وبلاگ را در وب جستجو کرد ، کلمات "من احساس می کنم" را جستجو کرد و کلمات بعدی را فهرست بندی کرد. سالها چندین بار هر روز و هزاران وبلاگ را در بر می گیرد ، داده های جمع آوری شده-که اکنون در وب سایتی به نام We Feel Fen خوب است-تکرار می شود و ساعت به ساعت نمایشی از حال و هوای جهان را ارائه می دهد. جالب است!
بچه ها چیزهای جالب را دوست دارند و خواندن از راه دور چیزهای جالب و جدیدی را به آنها نشان می دهد.
و با این وجود ، در همه این مثالها ، پس از شناسایی گذرگاه ها از طریق تکنیک های خواندن از راه دور ، خواندن نزدیک آن معابر جایی است که معناداری ظریف اتفاق می افتد. این مدلی است که بطور فزاینده ای برای توصیف علوم انسانی دیجیتالی شنیده می شود: این تلسکوپ است که به یافتن محل قرار گرفتن میکروسکوپ کمک می کند. به ما کمک کنید تا یکدیگر یا خودمان را با عمق بیشتری بشناسیم. اما دسترسی به رگه های غنی از معنا را فراهم می کند که با توجه دقیق بعدی ، می تواند به ما در دیدن الگوها و درک اصول اساسی کمک کند ، یا می تواند ما را با مکان ها و قسمت های جدیدی آشنا کند که ممکن است دقیق تر بخوانیم.
نتایج حاصل از تجزیه و تحلیل 14 میلیون کلمه از نظرات معلم پایان دوره. آیا این به مهارتهای برنامه نویسی پیچیده نیاز ندارد؟
دیگر لازم نیست.
روزی روزگاری ، برنامه نویسی پیچیده بود ، پر از نحو پیچیده و دستورات محرمانه. حال ، اگر می خواهید یک کلمه ابری از یک متن ایجاد کنید ، می توانید متن را به صورت آنلاین پیدا کنید ، آن را در یک فایل مانند Word یا سند متنی کپی کنید ، آن را با استفاده از تابع Import به برنامه ای مانند Wolfram Mathematica وارد کنید و چیزی را به سادگی تایپ کنید as:
و پوف! شما یک کلمه ابر دریافت می کنید. و اگر می خواهید طول یک متن را ببینید ، تایپ کنید:
< /img> پوف! و اگر می خواهید ببینید چند کلمه در یک متن ظاهر می شود ، می توانید تایپ کنید(خود را در اینجا مهار کنید):
پوف! شبیه جادو است بدون "برای حلقه" ، بدون "الگوریتم بازگشتی" ، بدون "توابع مرتب سازی". فقط ، در بسیاری از موارد ، یک دستور تک خطی ، دستوراتی که به نظر می رسد باید انجام دهد.
به طور خلاصه ، برنامه نویسی دیگر شبیه برنامه نویسی نیست.
ابر کلمه ای از اشعار از دیسکوگرافی کامل بیتلز. Isn ' آیا این امر کمی ساده می کند؟
واقعاً نیست.
دوسوم دانش آموزانی که تا کنون به آنها آموزش داده ایم تجربه کد نویسی صفر داشته اند ، و در یک لحظه درباره انواع کارهایی که آنها یاد گرفتند انجام دهند بله ، برنامه نویسی پیچیده تر و پیچیده تر می شود ، اما این بدان معنا نیست که پیچیده می شود.
در اینجا یک چیز ترسناک در مورد علوم کامپیوتر وجود دارد: ما گاهی اوقات با معرفی انواع اصطلاحات و فرایندها آن را آموزش می دهیم. "بیایید از یک ماشین مجازی جاوا استفاده کنیم و قبل از تمرین با استفاده از شبه کد ، آرایه هایی را معرفی کنیم تا از اشکال زدایی برنامه ها اجتناب کنیم." اوه.
یا ما طبقه بندی ها را آموزش می دهیم - شناورها ، اعداد صحیح ، رشته ها ، لیست ها ، آرایه ها - بدون اینکه چگونه و چرا از آنها استفاده می کنیم.
اما ذهن ابتدا به عمل کشیده می شود ، نه انتزاع - مفهوم - برداشت. وقتی با ایده هایی آشنا می شویم که هیچ مبنایی برای آنها نداریم.
ابتدا نمایش دهید. بعدی انجام دهید. بعداً توضیح دهید.
ما از یک روش کارآموزی استفاده می کنیم ، نه از یک روش طبقه بندی یا نظری. ما شروع به درخواست از دانش آموزان برای کپی و تغییر کد می کنیم ، و سپس آنها در مورد کارهایی که انجام داده اند و دلیل عملکرد (یا عدم) آنها را می آموزند.
نمودارهای شبکه ای از پنج کتاب اول عهد جدید (KJV). علوم رایانه غوطه ور
مانند یک کلاس درس غوطه وری زبان ، اما با زبان برنامه نویسی.
در کلاس غوطه وری زبان ، روز اول ظاهر می شوید و به جای این که به شما بگویند ، "این یک دنباله اصلی مکالمه و یک صرف فعل است ، و در اینجا چیزی است که آنها به زبان انگلیسی معنی می کنند ، ”معلم زبان فقط شروع به صحبت با شما در یک زبان دیگر می کند. شما از آنچه می شنوید تقلید می کنید ، از نحوه تعامل با کلمات و اصوات و شخص معنا می گیرید و به تدریج قواعدی را تشخیص می دهید که بعضاً پس از استفاده از آنها به صراحت توضیح داده شده است.
همان کارها را می توان با برنامه نویسی انجام داد.
ما با انتخاب یک متن و مدل سازی چندین صفحه تجزیه و تحلیل ، تایپ کد و صحبت در مورد آنچه انجام می دهیم شروع می کنیم. سپس برای تکالیف ، PDF کارهایی را که در کلاس انجام دادیم به بچه ها می دهیم. آنها همان کار را در خانه انجام می دهند ، اما متن های خود را انتخاب می کنند - متن هایی که به آنها علاقه دارند. آنها از دستورات تقلید می کنند ، اما نتایج متفاوتی می گیرند. آنها در روز اول برنامه نویسی چیزهای جدیدی در مورد حوزه مورد علاقه خود می آموزند. آنها از قدرت فوق العاده ای برخوردارند ، حتی اگر هنوز نمی دانند چرا کار می کند.
یا مانند شاگردان آهنگر در حال کار در یک فورج ، آنها نحوه برخورد یک استاد با چکش و سندان را مشاهده می کنند و سپس خود آن را امتحان می کنند. ، تقلید از آنچه دیده اند. غوطه ور در محیط ، آنها بعداً با درجه حرارت و خواص فلزات ، نحوه تیز کردن لبه های آنها و تکنیک های خنک کننده آشنا می شوند. و طی چند هفته ، آنها می توانند کمی بداهه پردازی کنند. اما در ابتدا همه چیز روبه راه است.
و هنگامی که آنها با برنامه نویسی خود شروع به بداهه پردازی می کنند و با مشکلاتی روبرو می شوند- هنگامی که آنها سعی می کنند یک رشته را در تابعی که برای فهرست ها طراحی شده است قرار دهند - آن زمان است که با طبقه بندی ها و طبقه بندی ها آشنا می شوند. در آن لحظه ، وقتی یادگیری طبقه بندی ها مشکلی را برای آنها حل می کند ، خیلی بیشتر به آن اهمیت می دهند و آن را خوب یاد می گیرند.
توزیع واژه های منتخب از آهنگ هایی از کندریک لامار. به هر حال در علوم انسانی دیجیتال دبیرستان واقعا می توانید چه کاری انجام دهید؟
کمی معلوم می شود.
سionsالاتی که توسط سالمندان دبیرستانی پرسیده شده و مورد بررسی قرار گرفته است شامل موارد زیر است:
اینها پروژه هایی هستند که پس از چند هفته گرم شدن توسط دانشجویان دنبال می شوندبالا ما با تجزیه و تحلیل ادبیات و نوشتار خود دانش آموزان شروع می کنیم - آنها جملات ، واژگان و پاراگراف های خود را با نویسندگان بزرگ مقایسه می کنند - و سپس آنها را آزاد می گذاریم تا س questionsالات خود را بپرسند و متون خود را تشخیص دهند.
نمودارهای نمودار جامعه از متن کامل دو کتاب نمایشی برای مدرسه ما (2010 و 2017). در پایان ، درباره روشهای تفکر است
در کل ، ما در واقع روی یادگیری برنامه نویسی متمرکز نیستیم.
برنامه نویسی رسانه است ، نه پیام. (می دانم ، می دانم. منتظر بمانید ...)
در عوض ، ما بر روی مهارت ها و ویژگی های شخصیت متمرکز شده ایم.
از نظر مفید ، موفقیت در برنامه نویسی بیش از یادگیری نحو و دستورات این نیاز به پرسیدن سوالات خوب ، تجزیه و تحلیل مشکلات و تشکیل پرونده بر اساس شواهد دارد.
فرمول بندی پرسش ، تجزیه مشکل و استدلال: اینها اهداف واقعی هستند.
بنابراین ، بله ، موفقیت در رسانه پیام را آموزش می دهد (بالاخره مارشال مک لوهان درست گفت.)
و در توسعه این مهارت ها در برنامه درسی مبتنی بر پروژه که خودمختاری و انتخاب را ارائه می دهد ، هدف ما این است که ویژگی های شخصیتی کنجکاوی را از طریق بازی بدون ساختار ، نظم و انضباط بیشتر تقویت کنیم. آزمایش و تداوم ساختارمند از طریق حل مسئله.
اینها اهداف عمیق تری هستند.
و برای اینکه بدانیم آیا ما اصلاً موفق می شویم ، مطالعه عملکرد و تعامل دانش آموزان نیاز است.
< p> یادداشت تحریریه: برای مشاهده این که نویسنده این تکنیک های دور خواندن را عملی کرده است ، می توانید ارائه SXSW EDU 2018 خود را با عنوان "High School Digital Humanities: Live-Coding، a Course، and Next Step" در اینجا مشاهده کنید. < h4> درباره وبلاگ نویس:
پیتر نیلسون
پرورش خلاقیت از طریق علوم رایانه
پرورش خلاقیت از طریق علوم رایانه
"من به این برنامه رفتم و فکر کردم که قرار است از این مسیر عقب بمانم."
لری کورل ، معلم قدیمی در Glasgow High مدرسه ای در کنتاکی ، سالها تجربه تدریس دروس چالش برانگیز مانند شیمی ، جبر ، هندسه و فیزیک AP را داشت. او حتی یکبار به تحصیل در رشته علوم کامپیوتر فکر کرده بود. اما وقتی تابستان گذشته وارد کارگاه Code.org شد ، عصبی بود. در عوض ، او از یافتن اتاقی مملو از معلمان مانند خودش ، که بسیاری از آنها هیچ تجربه ای در علوم کامپیوتر ندارند ، شوکه شد.
"من فکر می کردم این یک کنفرانس با هزاران برنامه نویس است که تصمیم گرفته بودند معلم شوند اما وقتی به آنجا رسیدم ، متوجه شدم که مردم سراسر کشور همانند من هستند. ”
لری دو دانش آموز را در دبیرستان گلاسکو راهنمایی می کند مانند اکثر مربیان ، لری تصور می کرد که تدریس علوم کامپیوتر نیاز به تجربه گسترده دارد. تنها پس از اینکه مدیر برنامه های آموزشی Code.org با او تماس گرفت ، لری تشویق شد که به آموزش علوم کامپیوتر کمک کند.
مانند لری ، دیوید ونس در مدرسه راهنمایی گلاسکو نیز مورد تشویق قرار گرفت. مدیر وی برای برنامه آموزش حرفه ای Code.org اقدام کند و اولین دوره علوم کامپیوتر در مدرسه راهنمایی گلاسکو را آغاز کند. به عنوان یک کتابدار و معلم اسپانیایی ، دیوید هیچ سابقه کامپیوتر نداشت ، اما مدیر او متوجه عشق دیوید به ترفندها و معماها شد و دید که چگونه خلاقیت ترکیبی و حل مساله او می تواند در علوم رایانه مطابقت خوبی پیدا کند. "او فقط می تواند بگوید که این برنامه مناسب من بود و فکر می کنم او ایده درستی داشت." "من هرگز ندیده ام که تعداد زیادی از دانش آموزان در خارج از مدرسه برای پروژه های خود وقت بگذرانند بدون این که در تمام حرفه من الزامی باشد."
"در کلاس اسپانیایی ام ، دانش آموزانی داشتم که یک پروژه را تمام کنید باید آخر هفته به خانه بروید و کار کنید. این قرار بود با مهلتی روبرو شود که بسیار متفاوت از چیزی است که اکنون می بینم. اکنون افرادی را می بینم که به خانه می روند زیرا واقعاً از این موضوع هیجان زده هستند. آنها روز بعد آماده می شوند تا آنچه دارند نشان دهند. ”
در دبیرستان گلاسکو ، دانش آموزان به طور مشابه دوره جدید علوم کامپیوتر خود را دوست دارند. در آنجا ، علوم رایانه به عنوان یک گزینه انتخابی ارائه می شود و دانش آموزان در صورت مشکل در جاهای دیگر اغلب از رشته های انتخابی خود کناره گیری می کنند. لری می گوید: "من دانشجویانی دارم که در کلاس های دیگر خود بهتر عمل می کنند زیرا در رشته کامپیوتر مشغول به تحصیل هستند." "چند دانش آموز در درس ریاضی خود پایان نمی دادند و معلمان آنها می گفتند" خوب می دانید اگر گرفتار نشوید ، ما آماده ایم تا زمانی که شما این کار را نکنید ، شما را از علوم کامپیوتر خارج کنیم. " آنها خیلی سریع راست شدند زیرا نمی خواستند چیزی را از دست بدهند. "
علوم رایانه یک رسانه قدرتمند برای خلاقیت ، ارتباطات ، حل مشکلات و سرگرمی است و دو معلم معتقدند که CS کلید است درگیر نگه داشتن دانش آموزان در طول دوران تحصیل در مدرسه. "وقتی دانش آموزان به دوره های خود و آنچه که علاقه مند نیستند علاقه مند نیستندیادگیری ، آنها خاموش می شوند من فقط با آموزش علوم رایانه مشکلی ندارم زیرا بسیار مفید است. منظور من این است که این دانش آموزان ببینند که چگونه از این رایانه ها در هر زمینه ای استفاده می شود. " لری می گوید.
دیوید به یک دانش آموز در مدرسه راهنمایی گلاسکو کمک می کند. عکس از ویل پرکینز /گلاسکو دیلی تایمز < /img> دیوید موافق است. "این بسیار متفاوت از کلاس های دیگر است که من تدریس می کنم. من فکر می کنم دانش آموزان می توانند بسیار خلاق تر باشند و احساس آزادی بیشتری کنند تا خودشان چیزی را خلق کنند ، هر چند که از برنامه درسی پیروی می کنند. "
و لری و دیوید به معلمانی که در حضور در تردید دارند چه می گویند. کارگاه آموزشی و ارائه علوم رایانه به مدرسه آنها؟
«لازم نیست برنامه نویسی باتجربه در دنیای تجارت باشید تا بتوانید وارد شوید و کار خوبی انجام دهید. برنامه درسی برای تنظیم سطح بازی برای کودکانی که تجربه برنامه نویسی ندارند ، تنظیم شده است. احساس می کردم یادگیری حرفه ای به همان شیوه برای معلمان تنظیم شده است. "
" این برای من ساده نیست. دانش آموزان ما به این مهارت ها نیاز دارند. "
این بخشی از مجموعه" Profiles in CS "ما است که در آن می نشینیم و با افرادی که از طریق علوم رایانه در اجتماعات خود تغییر ایجاد می کنند ، گفتگو می کنیم.
< p> بیاموزید که چگونه می توانید به دانش آموزان خود این فرصت را بدهید که به یادگیری علوم کامپیوتر ادامه دهند و خلاقیت خود را بیدار کنند.مگی اسوریو ، Code.org
کسی را می شناسید که باید با او چت کنیم؟ یک خط برای من بگذار!
NLP و کامپیوتر بصری یکپارچه
NLP و کامپیوتر بصری یکپارچه
ادغام و بین رشته ای سنگ بنای علم و صنعت مدرن هستند. یکی از نمونه های تلاش های اخیر برای ترکیب همه چیز ، ادغام بینایی رایانه و پردازش زبان طبیعی (NLP) است. هر دوی این زمینه ها یکی از فعال ترین مناطق تحقیقاتی یادگیری ماشین هستند. با این حال ، تا همین اواخر ، آنها به عنوان مناطق جداگانه بدون راههای زیادی برای بهره مندی از یکدیگر رفتار می شدند. در حال حاضر ، با گسترش چند رسانه ای ، محققان بررسی امکان استفاده از هر دو رویکرد برای دستیابی به یک نتیجه را آغاز کرده اند. استخراج و تجزیه و تحلیل اطلاعات از منابع مختلف. این مطابق با نظریه نشانه شناسی است (گرینلی 1978) - مطالعه روابط بین علائم و معانی آنها در سطوح مختلف. نشانه شناسی رابطه بین علائم و معنا ، روابط رسمی بین نشانه ها (تقریباً معادل نحو) و نحوه تفسیر علائم توسط افراد بسته به زمینه (عملگرایی در نظریه زبانی) را مطالعه می کند. اگر نشانه های کاملاً بصری را در نظر بگیریم ، این نتیجه می شود که می توان با دید رایانه ای به نشانه شناسی نیز نزدیک شد و علائم جالبی را برای پردازش زبان طبیعی استخراج کرد تا معانی متناظر را متوجه شود.
بینایی رایانه ای و ارتباط آن با NLP
مالک وظایف Computer Vision را در 3R خلاصه می کند (Malik و همکاران 2016): بازسازی ، تشخیص و سازماندهی مجدد.
بازسازی به برآورد یک صحنه سه بعدی اشاره دارد که باعث ایجاد یک تصویر بصری خاص شده است. با ترکیب اطلاعات از نماهای متعدد ، سایه ، بافت یا حسگرهای عمق مستقیم. این فرایند به یک مدل سه بعدی مانند ابرهای نقطه ای یا تصاویر عمیق منجر می شود.
تشخیص شامل اختصاص برچسب به اشیاء در تصویر است. برای اشیاء دو بعدی ، نمونه های تشخیص عبارتند از دست خط یا تشخیص چهره ، و کارهای سه بعدی با مشکلاتی مانند تشخیص اشیا از ابرهای نقطه ای که به دستکاری روباتیک کمک می کند ، برخورد می کنند.
سازماندهی مجدد به معنای بینایی از پایین به بالا است ، زمانی که پیکسل های خام به بخش هایی تقسیم می شوند. گروه هایی که نمایانگر ساختار یک تصویر هستند. وظایف بینایی سطح پایین شامل تشخیص لبه ، خطوط و گوشه است ، در حالی که وظایف سطح بالا شامل تقسیم بندی معنایی است که تا حدی با وظایف تشخیص همپوشانی دارد.
این شناخت بیشترین ارتباط را با زبان دارد زیرا دارای خروجی است که می تواند به عنوان کلمات تفسیر شود. به عنوان مثال ، اشیاء را می توان با اسم ، فعالیتها را بر فعلها و ویژگیهای شی را با صفات نشان داد. از این نظر ، بینایی و زبان با استفاده از بازنمایی های معنایی به هم متصل می شوند (Gardenfors 2014 ؛ Gupta 2009). در مقایسه با بینایی رایانه ای و از نحو ، شامل ریخت شناسی و ترکیب بندی ، معناشناسی به عنوان مطالعه معنا ، شامل روابط بین کلمات ، عبارات ، جملات و گفتمان ها ، تا عمل گرایی ، مطالعه سایه های معنا ، در سطح ارتباط طبیعی است.
برخی از کارهای پیچیده در NLP شامل ترجمه ماشینی ، رابط گفتگو ، استخراج اطلاعات و خلاصه سازی است.
اعتقاد بر این است که تغییر تصویر از کلمات نزدیکترین به ترجمه ماشینی است. با این حال ، چنین "ترجمه" بین پیکسل های سطح پایین یا خطوط تصویر و توصیف سطح بالا در کلمات یا جملات-وظیفه ای که به عنوان پل شکاف معنایی شناخته می شود (ژائو و گروسکی 2002)-یک شکاف گسترده برایمتقاطع.
حوزه ادغام بینایی رایانه ای و NLP
ادغام بینایی و زبان به صورت عمدی از بالا به پایین بدون مشکل انجام نمی شد ، جایی که محققان مجموعه ای از اصول. تکنیک های یکپارچه از پایین به بالا توسعه یافتند ، زیرا برخی از پیشگامان مشکلات مشخص و باریک را شناسایی کردند ، چندین راه حل را امتحان کردند و نتیجه رضایت بخشی یافتند.
مسیر جدید با درک این نکته که اکثر فایل های امروزی چند رسانه ای ، که شامل تصاویر ، فیلم ها و متون به زبان طبیعی است. برای مثال ، یک مقاله خبری معمولی حاوی نوشته ای توسط یک روزنامه نگار و عکس مربوط به محتوای خبری است. علاوه بر این ، ممکن است یک ویدئوی کلیپی وجود داشته باشد که حاوی یک گزارشگر یا تصویر لحظه ای از صحنه ای باشد که رویداد در خبر رخ داده است. داده های زبانی و تصویری دو مجموعه اطلاعات را ارائه می دهد که در یک داستان واحد ترکیب شده و زمینه را برای ارتباط مناسب و بدون ابهام فراهم می کند. در کار با فایل های چند رسانه ای ، بلکه در زمینه های رباتیک ، ترجمه های بصری و معانی توزیعی.
فایل های چند رسانه ای
وظایف مربوط به چند رسانه ای برای NLP و بینایی رایانه ای در سه بخش اصلی قرار می گیرد. دسته ها: توصیف خواص بصری ، توصیف بصری و بازیابی بصری.
< p> توصیف ویژگیهای بصری: یک مرحله فراتر از طبقه بندی ، رویکرد توصیفی با اختصاص ویژگیها ، ویژگیهای شی را خلاصه می کند. چنین ویژگیهایی ممکن است هم ارزشهای دوتایی برای خواصی باشند که به راحتی قابل تشخیص هستند و هم ویژگیهای نسبی که با کمک یک چارچوب یادگیری-رتبه بندی یک ویژگی را توصیف می کنند. نکته اصلی این است که ویژگی ها مجموعه ای از زمینه ها را به عنوان منبع دانش برای تشخیص یک شیء خاص با ویژگی های آن ارائه می دهند. کلمات ویژگی به نمایشی متوسط تبدیل می شوند که به پل شکاف معنایی بین فضای بصری و فضای برچسب کمک می کند. توصیف بصری: در زندگی واقعی ، وظیفه توصیف بصری ارائه تصویر یا ویدئو است. اعتقاد بر این است که جملات توصیف آموزنده تری از یک تصویر ارائه می دهند تا یک کلمه از کلمات بی نظم. برای ایجاد جمله ای که یک تصویر را توصیف می کند ، باید مقدار مشخصی از اطلاعات بصری سطح پایین را استخراج کرد که اطلاعات اساسی "چه کسی با چه کسی و کجا و چگونه آن را انجام داد" را ارائه می دهد. از دیدگاه بخشی از گفتار ، چهارقلوهای "اسم ها ، افعال ، صحنه ها ، حروف اضافه" می توانند نشان دهنده معنی استخراج شده از آشکارسازهای بصری باشند. ماژول های بصری اشیائی را استخراج می کنند که در جمله یا فاعل یا شیء هستند. سپس از یک مدل مارکوف پنهان برای رمزگشایی محتمل ترین جمله از مجموعه ای از چهارقلوهای نامحدود به همراه تعدادی از پیشگامان راهنمای پیکر برای پیش بینی فعل و صحنه (حرف اضافه) استفاده می شود. این معنا با استفاده از اشیاء (اسم) ، ویژگی های بصری (صفت) و روابط فضایی (حروف اضافه) نشان داده می شود. سپس این جمله با استفاده از تکنیک ترکیب ترکیب با استفاده از n-gram در مقیاس وب برای تعیین احتمالات تولید می شود.
بازیابی بصری: بازیابی تصویر مبتنی بر محتوا (CBIR) یکی دیگر از زمینه های چند رسانه ای است که از زبان استفاده می کند. در قالب رشته ها یا مفاهیم پرس و جو. به عنوان یک قاعده ، تصاویر با ویژگی های سطح پایین مانند رنگ ، شکل و بافت نمایه می شوند. سیستم های CBIR سعی می کنند یک ناحیه تصویر را با a حاشیه نویسی کنندکلمه ، شبیه به تقسیم بندی معنایی ، بنابراین برچسب های کلیدواژه به تفسیر انسان نزدیک است. سیستم های CBIR از کلمات کلیدی برای توصیف یک تصویر برای بازیابی تصویر استفاده می کنند ، اما ویژگی های بصری یک تصویر را برای درک تصویر توصیف می کنند. با این وجود ، ویژگی های بصری یک لایه میانی مناسب برای CBIR با تطبیق با حوزه موردنظر فراهم می کند.
رباتیک
روباتیک بینایی: روبات ها باید محیط خود را از بیش از یک روش تعامل درک کنند به همانند انسان هایی که با استفاده از دانش خود در مورد اشیاء در قالب کلمات ، عبارات و جملات ، ورودی های ادراکی را پردازش می کنند ، روبات ها نیز باید تصور خود را با زبان ادغام کنند تا اطلاعات مربوط به اشیاء ، صحنه ها ، اقدامات یا رویدادهای موجود در آن را بدست آورند. دنیای واقعی ، آنها را درک کرده و اقدام مربوطه را انجام دهید. به عنوان مثال ، اگر یک شیء دور باشد ، یک اپراتور انسانی ممکن است به صورت شفاهی اقدامی را برای رسیدن به دیدگاه روشن تر درخواست کند. وظایف Robotics Vision مربوط به این است که چگونه یک روبات می تواند با استفاده از حسگرهای سخت افزاری مانند دوربین عمق یا دوربین حرکتی ، دنباله هایی از اقدامات را روی اشیا انجام دهد تا محیط واقعی را دستکاری کند.
< p> زبان موقعیتی: روباتها برای توصیف جهان فیزیکی و درک محیط خود از زبانها استفاده می کنند. علاوه بر این ، زبان گفتاری و حرکات طبیعی راه راحت تری برای تعامل با یک روبات برای انسان است ، در صورتی که روبات برای درک این شیوه تعامل آموزش دیده باشد. از دیدگاه انسان ، این روش تعامل طبیعی تر است. بنابراین ، یک روبات باید بتواند اطلاعات را از درک متنی خود با استفاده از ساختارهای معنایی درک و تبدیل کند. معروف ترین رویکرد برای بازنمایی معنا تجزیه معنایی است که کلمات را به محمولات منطقی تبدیل می کند. SP سعی می کند یک جمله زبان طبیعی را به نمایش معنای متناظر که می تواند یک شکل منطقی مانند λ-calculus با استفاده از گرامر طبقه بندی ترکیبی (CCG) به عنوان قواعدی برای ساخت ترکیبی درخت تجزیه باشد ، ترسیم کند.معناشناسی توزیعی
مدلهای معناشناسی توزیع چندوجهی اولیه: ایده ای که در مدلهای معناشناسی توزیعی وجود دارد این است که کلمات در زمینه های مشابه باید دارای معنای مشابه باشند ، بنابراین ، معنی کلمه را می توان از آمار همزمان بین کلمات و زمینه هایی که در آنها ظاهر می شود ، بازیابی کرد. اعتقاد بر این است که این روش در بینایی رایانه و پردازش زبان طبیعی به عنوان جاسازی تصویر و جاسازی کلمه مفید است. DSM ها برای مدل سازی معنایی مشترک بر اساس هر دو ویژگی بصری مانند رنگ ، شکل یا بافت و ویژگی های متنی مانند کلمات استفاده می شوند. خط متداول این است که داده های بصری را روی کلمات ترسیم کرده و مدلهای معناشناسی توزیعی مانند LSA یا مدلهای موضوعی را در بالای آنها اعمال کنید. ویژگیهای بصری می توانند ویژگیهای زبانی مدل معناشناسی توزیعی را تقریبی کنند.
مدلهای معناشناسی توزیع چندوجهی عصبی: مدلهای عصبی با یادگیری توزیع بهتر داده ها از بسیاری از روشهای سنتی در بینایی و زبانی پیشی گرفته اند. به عنوان مثال ، ماشینهای Multimodal Deep Boltzmann می توانند ویژگیهای بصری و متنی مشترک را بهتر از مدلهای موضوعی مدل کنند. علاوه بر این ، مدل های عصبی می توانند برخی از پدیده های قابل قبول شناختی مانند توجه و حافظه را الگو قرار دهند. برای توجه ، یک تصویر در ابتدا می تواند با استفاده از CNN وRNN ها یک شبکه LSTM را می توان در بالای صفحه قرار داد و مانند یک ماشین حالت دهنده عمل کرد که همزمان خروجی هایی تولید می کند ، مانند زیرنویس های تصویر یا به طور همزمان به مناطق مورد علاقه در یک تصویر نگاه می کند. برای حافظه ، دانش عمومی در پاسخ به س visualالات بصری
آینده ادغام NLP و بینایی رایانه
در صورت ترکیب ، دو وظیفه می تواند تعدادی از مشکلات طولانی مدت را در زمینه های مختلف حل کند ، از جمله:
با این حال ، از آنجا که ادغام بینایی و زبان یک مشکل اساسی شناختی است ، تحقیقات در این زمینه باید علوم شناختی را در نظر بگیرد که ممکن است بینش هایی را در مورد نحوه پردازش انسان ها به صورت کلی محتوای بصری و متنی و ایجاد داستان ارائه دهد. بر اساس آن.
منابع:
گوردنفورس ، ص. 2014. هندسه معنا: معناشناسی بر اساس فضاهای مفهومی. مطبوعات MIT.
گرینلی ، دی . 1978. نشانه شناسی و معنی. Int گل میخ فلسفه 10 (1978) ، 251-254.
گوپتا ، A. 2009. فراتر از اسمها و افعال. (2009).
مالک ، J. ، Arbeláez ، P. ، Carreira، J.، Fragkiadaki، K.، Girshick، R.، Gkioxari، G.، Gupta، S.، Hariharan، B. ، Kar ، A. و Tulsiani ، S. 2016. سه Rs بینایی رایانه ای: بازشناسی ، بازسازی و سازماندهی مجدد. تشخیص الگو.
شوکلا ، دی ، دسای A.A. یکپارچه سازی بینایی رایانه ای و پردازش زبان طبیعی: مسائل و چالش ها. مجله علم و فناوری VNSGU جلد. 4 ، №1 ، ص. 190–196.
Wiriyathammabhum، P.، Stay، D.S.، Fermüller C.، Aloimonos، Y. Computer Computer and Processing Natural Language Processing: Recent Approaches in Multimedia and Robotics. نظرسنجی های محاسباتی ACM 49 (4): 1–44